Наше выступление на конференции АСОПП

В среду 28 октября мы с Владимиром Балакиревым выступаем на конференции АСОПП (зал №2, 10.00-11.30, наше выступление – второе из трёх запланированных). Название выступления: «Стандарт доказательности практик в сфере детства: проблемы практического применения». Начнем с размышлений о том, чем нам нравится стандарт и в каких направлениях его развивать не стоит, с нашей точки зрения. А потом расскажем об опыте практического применения Стандарта и о некоторых идеях по его совершенствованию. В частности, предложим оценочные шкалы для того, чтобы по итогам анализа можно было представить «доказательный профиль» практики. Заходите, если тема интересует 😊

Как развивать самооценивание в НКО: что сказал ИИ

За последние несколько дней дважды довелось поучаствовать в обсуждении этого вопроса: вначале в заключительный день Школы оценки в Москве, а затем на октябрьском заседании клуба PROОЦЕНКУ. Вопрос важный и непростой. Очень признателен всем, кто принял участие в дискуссиях и поделился своим мнением! С результатами обоих обсуждений можно ознакомиться на сайте клуба PROОЦЕНКУ. Здесь же хочу поделиться некоторыми идеями от ИИ.

Постановка задачи. Загрузил в ИИ (DeepSeek) файл с результатами заседания клуба. Вначале попросил обобщить и перечислить основные направления действий по развитию самооценивания в НКО в РФ. Затем промпт был такой: «А теперь как специалист по оценке проектов и программ с 30-летним стажем в РФ критически переосмысли эти предложения и сделай свои».

Вот комментарии от ИИ, которые мне показались интересными (далее ответы ИИ без редактирования):

1. Сменить парадигму: от «внедрения оценки» к «выращиванию привычки»

Оценка не внедряется как CRM или регламент. Она выращивается как привычка рефлексии. Начинать нужно не с систем, а с простых вопросов:

• Что мы сделали?
• Что получилось?
• Что не получилось?
• Что изменим в следующий раз?

Эти четыре вопроса — основа самооценивания. Всё остальное — надстройка.

2. Работать с «точками боли», а не с «лучшими практиками»

НКО начнут оценивать, когда почувствуют боль от отсутствия оценки:

• Проект провалился, а почему — непонятно.
• Донор задаёт неудобные вопросы, а ответов нет.
• Команда выгорела, потому что делала не то.

В эти моменты оценка становится инструментом выживания, а не «дополнительной нагрузкой». Задача — создавать и использовать эти моменты, а не абстрактно пропагандировать оценку.

3. Сделать ставку на «оценку для себя», а не «оценку для отчёта»

Главный водораздел: оценка для донора (бюрократия) и оценка для себя (управление). Второе — единственное, что имеет смысл развивать. Всё, что делается «для галочки», — имитация.

Практически: помочь НКО сформулировать свои вопросы к своей работе. Не «что хочет донор», а «что мы сами хотим понять». Тогда оценка становится инструментом мышления, а не отчётности.

4. Использовать «малые формы» вместо «больших систем»

Не «система мониторинга и оценки», а:

• Дневник наблюдений — 5 минут в день.
• Опрос после мероприятия — 3 вопроса.
• Рефлексия на планёрке — 10 минут.
• Квартальный анализ — 1 час.

Это реально для любой НКО. И это даёт результат быстрее, чем многомесячная разработка системы.

5. Готовить «внутренних агентов оценки»

Не оценщиков-профессионалов, а людей внутри НКО, которые:

• Понимают ценность оценки.
• Умеют задавать вопросы.
• Могут организовать простые сборы данных.
• Не боятся говорить правду.

Это могут быть руководители, координаторы, волонтёры. Главное — мотивация и поддержка.

6. Создать «среду обитания», а не «инфраструктуру»

Не центры, не базы, не регламенты. А среду, где оценка — норма:

• Регулярные встречи, где можно рассказать о провалах без страха.
• Наставники, к которым можно обратиться с вопросом.
• Примеры, которые вдохновляют, а не подавляют.

Клуб PROOЦЕНКУ — уже такая среда. Нужно укреплять её, а не строить рядом "министерство оценки".

7. Признать ограничения

Честно: не все НКО будут заниматься самооцениванием. И это нормально. Есть организации, где оценка не нужна — либо потому что деятельность проста, либо потому что нет ресурсов, либо потому что культура не готова.

Стратегия: работать с теми, кто готов и может. Не тратить силы на тех, кто сопротивляется. Не пытаться «охватить всех». Лучше 10 организаций, которые реально используют оценку, чем 100, которые имитируют.

Систематический сбор информации

Всем, кто интересуется оценкой проектов и программ, хорошо знакомо определение, предложенное Майклом Пэттоном (Patton, 2008): «Оценка программы — это систематический сбор информации о деятельности в рамках программы, её характеристиках и результатах для вынесения суждений о программе, повышения эффективности программы и/или разработки планов на будущее». 

Что же такое «систематический»?

Систематический сбор информации — это регулярный и упорядоченный процесс поиска, получения и фиксации данных по заранее определенным правилам для решения конкретных задач.

Главные особенности:

• Информацию ищут для решения конкретных задач.
• Данные собирают не когда придется, а по четкому графику.
• Процесс сбора данных опирается на единые правила, стандарты и методы.
• Данные не просто беспорядочно накапливаются, а сразу приводятся в определённую форму (таблицы, базы данных, отчёты).
• Фиксируется не только сама информация, но и то, когда, кем и как она была получена.

Что является противоположностью систематического сбора информации?

Хаотичный / Бессистемный сбор

Характеристики: отсутствие плана, цели и методики. Информация собирается случайно, под влиянием момента или внешних обстоятельств. Пример: человек читает новости в ленте соцсетей, перескакивая с темы на тему, не сохраняя и не анализируя прочитанное. 

Разовый / Эпизодический сбор

Характеристики: данные собираются один раз или от случая к случаю, без периодичности. Это «снимок» реальности в конкретный момент, а не динамическая картина. Пример: проведение опроса благополучателей только один раз в начале проекта и больше никогда. 

Интуитивный / Субъективный сбор

Характеристики: основан не на данных и методологии, а на личных ощущениях, догадках, слухах или единичном опыте. Пример: Руководитель НКО решает, на что потратить грант в районе. Он не проводит опросов и не смотрит статистику, а опирается на личные ощущения: «Я гулял по району, площадка старая — значит, детям негде играть». Спрашивает пару знакомых, вспоминает пример из другого города и решает ремонтировать площадку. Итог: деньги потрачены, а выяснилось, что в районе почти не осталось детей, зато много пенсионеров, которым просто некуда пойти и нечем заняться в свободное время.

Нужно ли нам деколонизировать ИИ?

Недавно обсуждал с нейросетью предложенную ООН концепцию Национальной системы мониторинга и оценки, формирование и функционирование которой определяется самой страной, где эта система внедряется. По-английски называется country-owned (или country-led) monitoring and evaluation system. 

Развернутое определение выглядит так: 

Система мониторинга и оценки (МиО), находящаяся в ведении страны (или реализуемая под ее руководством), — это механизм национального управления, в рамках которого правительство самостоятельно организует разработку системы, сбор данных и использование полученной информации для формирования государственной политики и бюджетного планирования.

Мой вопрос состоял в следующем: как может быть НАЦИОНАЛЬНАЯ система МиО не под контролем той страны, где она внедряется? Другими словами, в чем «величие» идеи ООН? Вроде бы, по-другому и быть не может… 

И вот здесь ИИ мне говорит примерно следующее: «Но ведь во многих странах, например, в Центральной Азии, очень высок уровень коррупции, и они не могут нормальную систему МиО разработать и внедрить самостоятельно без внешней помощи и контроля со стороны». 

Как вам такое??? 

Ну, я развернуто ему показал, что подобный ответ совершенно очевидно дан в неоколониальной традиции, когда формально независимые государства, на самом деле, находятся под контролем стран Глобального Севера. 

Реакция ИИ была ожидаемой: согласился и признал свои ошибки. Но недаром говорят и пишут о том, что практически все системы ИИ отражают доминирующие западные нарративы; усиливают стереотипы. И даже появилось движение за деколонизацию ИИ. Деколонизация искусственного интеллекта — это концепция, направленная на устранение неравенства, при котором разработка и доминирование ИИ закрепляют технологическую, экономическую и культурную зависимость стран Глобального Юга от центров силы Глобального Севера.

В мае этого года в Стамбуле прошёл первый Всемирный форум деколонизации — новая интеллектуальная платформа Глобального Юга. Участники заявили: колониализм не исчез, он перешёл в науку, финансы и ИИ. Главная цель — освободить знания и сознание от западной гегемонии.

Как подготовиться к проведению внешней оценки вашего проекта

Многие НКО время от времени оказываются в ситуации, когда финансирующая организация (донор) принимает решение о проведении внешней оценки их проекта. В этом случае, естественно, консультанта выбирает и нанимает донор. Он же ставит задачу перед консультантом. НКО оказывается перед фактом: к вам едет оценщик. 

Сегодня на заседании клуба PROОЦЕНКУ обсуждали, как НКО подготовиться к проведению такой оценки. 

Вот рекомендации, которые могут пригодиться на практике:

1. Организационная и административная подготовка

• Выделить ресурсы. Запланировать время для встреч с оценщиком, подготовить помещение и собрать необходимые документы.
• Назначить ответственных. Руководитель организации должен контролировать весь процесс подготовки.
• Подготовить базу данных. Заранее подготовить материалы, документы и данные, необходимые для проведения оценки.
• Организовать сбор данных. Подготовить волонтеров или сотрудников, которые будут заниматься сбором необходимых данных.
• Сформировать пул респондентов. Запросить списки групп респондентов, договориться с ними об участии и проинформировать их о предстоящей оценке.

2. Взаимодействие с донором и оценщиком

• Запросить критерии. Уточнить у донора критерии оценки проекта.
• Понять цели и инструменты. Выяснить у донора и оценщика цель проведения оценки, перечень вопросов и используемые инструменты.
• Получить контакты. Узнать контакты оценщика, связаться с ним и обсудить специфику вашей организации/проекта.
• Личный контакт. Познакомиться с оценщиком как с человеком, чтобы наладить взаимодействие.
• Уточнить вопросы. Напрямую выяснить у внешнего оценщика, какие именно вопросы будут заданы.
• Оценить последствия. Прояснить возможные последствия проведения оценки и, в зависимости от них, выстроить алгоритм подготовки.

3. Подготовка команды

• Информирование и обучение. Поговорить с командой, объяснить цели и процесс оценки, чтобы снять напряжение.
• Моральная готовность. Подготовиться к тому, что оценка — это стресс для организации.
• Разграничение понятий. Не путать оценку проекта и административную оценку.
• Естественность. Не нужно излишне накручивать команду. Ситуация, когда все стоят «по стойке смирно», неудобна для внешнего оценщика.
• Оценка целесообразности. Задать вопрос: «Стоит ли подготовка к оценке затраченных усилий?»

4. Чего делать НЕ НАДО

• Не пугать. Не нужно нагнетать обстановку и создавать излишнее напряжение.
• Избегать «претензий». Не должно быть незначительных придирок или мелких претензий к процессу.
• Не давать установок. Категорически нельзя давать команде установки о том, что отвечать и о чем говорить. Это искажает данные и вредит оценке.

Оценка ситуации в социальном проектировании

В контексте социального проектирования оценка ситуации или ситуационный анализ — это этап исследования и всестороннего изучения конкретной социальной проблемы и среды, в которой она существует, проводимый до начала разработки самого проекта. Такой анализ иногда еще называют предпроектным, имея в виду, что он является источником информации для формирования и обоснования проектной идеи и проводится на стадии инициирования проекта.

Главная цель такого анализа —разобраться в причинах проблемы, масштабах, взаимосвязях и понять, как она влияет на жизнь конкретной целевой группы. Оценка ситуации в числе прочего, как правило, включает:

• Анализ проблемы. Что именно не так, в чём суть социальной проблемы, как она проявляется и почему её важно решать.
• Анализ причин и следствий. Почему проблема возникла и к каким последствиям она приводит.
• Анализ целевой аудитории. Кто страдает от проблемы, каковы их потребности, интересы, возможности и особенности.
• Анализ заинтересованных сторон (стейкхолдеров). Кто влияет на ситуацию, и кто заинтересован в её изменении.
• Анализ ресурсов и возможностей. Какие кадровые, финансовые, материальные, информационные и другие ресурсы доступны для решения проблемы.

В 80-е годы прошлого века рабочая группа Американской ассоциации оценки, в задачи которой входило определение рамок профессии, включила предпроектный анализ (front-end analysis) в число видов деятельности, относящихся к программной оценке (program evaluation). С одной стороны, это абсолютно логично. Однако, если руководствоваться широко известными определениями оценки программ, такой анализ оказывается «за бортом», поскольку на стадии инициирования проекта самого проекта не существует, то есть объект оценки отсутствует. Может быть, тогда это особый вид деятельности и к оценке программ его относить неправильно? Тут точно есть, над чем подумать.

"Кто бы мог подумать, что это окажется так сложно?"

В 2014 году в Канадском журнале программной оценки была опубликована статья с интригующим названием: «К определению понятия оценки в канадском контексте: кто бы мог подумать, что это окажется так сложно?». Дело в том, что Канадское общество оценки (Canadian Evaluation Society) предприняло тогда попытку сформулировать определение понятия «оценка», с которым бы согласились все члены общества. Итог оказался неутешительным: «Как показали обзор литературы, анализ социальных медиа и дискуссии в профессиональном сообществе, единого определения оценки на сегодняшний день не существует… Более того, есть основания полагать, что выработать такое определение в канадском оценочном сообществе было бы крайне сложно. Среди возможных последствий обсуждался риск того, что единое определение может сузить или упростить существующую практику оценки, учитывая многообразие контекстов и целей, в которых она применяется в Канаде». Короче, не договорились. И это в одной из старейших профессиональных ассоциаций! 

А мы бы могли договориться с учетом российского контекста? Как думаете? Обсудим на Институте оценки в ноябре.

Институт оценки в США развивает тему ИИ

Институт оценки (TEI) при Университете Клермонт-Грейдуэйт предлагает впечатляющий каталог курсов, который охватывает практически все аспекты современной оценочной деятельности. 

Сегодня пришло объявление о том, что открыта регистрация на осеннюю онлайновую программу 2026 года (26.10 - 06.11). 

Примечательно, что Институт активно реагирует на вызовы времени и включает множество курсов по использованию искусственного интеллекта в оценке, что делает его программу одной из самых прогрессивных в этой области:

TEI 340: Оценка программ с помощью ИИ — практический курс по использованию машинного обучения и больших языковых моделей (LLM) для автоматизации оценки с помощью платформы KNIME (без необходимости программирования).

TEI 336: Искусственный интеллект в оценке — курс, посвященный интеграции ИИ на всех этапах оценки: от разработки теории программы до анализа данных и визуализации.

TEI 343: Анализ данных и подготовка отчетов с помощью ИИ — практическое введение в использование ИИ для очистки данных, автоматизации статистического анализа и подготовки отчетов.

TEI 301: Основы теории и практики оценки в эпоху ИИ — базовый курс, обновленный с учетом влияния ИИ на оценочную практику.

TEI 334: Введение в генеративный ИИ для оценки — знакомство с такими инструментами, как ChatGPT, Gemini и NotebookLM для решения практических задач оценки.

На нашем Институте оценки, который пройдет офлайн в Москве в ноябре 2026 года тоже обязательно поговорим об использовании ИИ в оценке - в числе прочего (спойлер).  

Оценка заявок на исследовательские гранты: чем может быть полезен ИИ

Диссертация на эту темы была опубликована в 2024 году (ссылка в конце). Вот четыре сферы, в которых, по мнению автора, от искусственного интеллекта есть или может быть польза: 

• Скрининг и проверка заявок. Автоматическая проверка на соответствие требованиям. 
• Подбор рецензентов. Семантический анализ заявок и профилей экспертов
• Оценка и рейтингование. Переход от «одобрено/отклонено» к развернутой оценке. Объяснимость решений для стейкхолдеров.
• Стратегическое «выравнивание». Учёт стратегических приоритетов агентства. Прогнозирование успеха. Категоризация заявок по приоритету.

Al-Ibrahim, H. (2024). The potential for artificial intelligence assistance in funding research (Doctoral dissertation, Frederick S. Pardee RAND Graduate School). RAND Corporation. 

Контекст и ракурс: 3 принципиальных отличия

1. Природа.

Контекст — это объективно существующая среда влияния, которую мы субъективно ограничиваем рамками нашего анализа. Это совокупность внешних сущностей, процессов и законов, которые система не контролирует, но обязана учитывать. Контекст отвечает на вопрос: «С чем система взаимодействует и в чем протекает ее жизнь?» (законодательство, экология, смежные системы, временные тренды). Контекст един для всех участников в рамках нашей аналитической модели, пока мы не переопределили границы системы.

Ракурс — это субъективная позиция. Это ментальная модель, призма, через которую конкретный наблюдатель видит этот самый контекст и саму систему. Ракурс отвечает на вопрос: «С какой позиции мы смотрим?» (донор, грантополучатель, благополучатель, конкурент). Ракурсов может быть бесконечное множество, и они могут радикально отличаться друг от друга.

2. Функция в анализе 

Контекст связан с определением границ. Системное мышление требует определить, что внутри системы, а что снаружи. Контекст — это потенциальное поле влияния. Граница — это наш выбор, какую часть этого поля мы включаем внутрь системы, а какую оставляем снаружи.

Ракурс выполняет функцию проекции. Это способ «увидеть» систему в контексте. Ракурс можно и нужно сознательно переключать, чтобы получить объемное представление о системе. Например, один и тот же социальный проект может быть для кого-то возможностью расширить круг общения, а для кого-то – способом сохранить семью.

3. Возможность влияния 

Контекст по определению находится вне зоны нашего влияния, поэтому мы не можем менять его напрямую — мы можем лишь адаптироваться к его изменениям. В отличие от ракурса, который мы переключаем мгновенно и произвольно.

PS Навеяно обсуждениями на заседании клуба PROОЦЕНКУ «Учет контекста в оценке»

Эвалюатология: наука оценивания?

За 30 лет работы в области оценки не раз приходилось наблюдать, как люди, впервые пришедшие в эту сферу, берутся навести в ней порядок. Бывает, что такие инициативы проходят почти незаметно. Предполагаю, что статья, о которой пойдет речь ниже, незамеченной в международном профессиональном сообществе не останется, поскольку авторы претендуют на создание «науки и инженерии оценки».

Начну с цитаты.   

«Оценка является важнейшим аспектом человеческого существования и играет ключевую роль в каждой области. Однако зачастую к ней подходят эмпирически и ситуативно (ad-hoc), из-за чего отсутствует консенсус относительно универсальных понятий, терминологии, теорий и методологий. Это отсутствие согласия приводит к серьезным последствиям.

Данная статья призвана официально представить эвалюатологию (evaluatology) — дисциплину, которая охватывает науку и инженерию оценки. Мы предлагаем универсальную концептуальную базу для оценки, включающую понятия, терминологию, теории и методологии, которые могут применяться в различных, если не во всех дисциплинах».

Отметим, что журнал TBench и стоящий за ним BenchCouncil (International Open Benchmark Council) создавались и развивались в среде компьютерных наук и инженерии (бенчмарки производительности процессоров, систем ИИ и т.д.). Это как раз объясняет, почему язык и методология статей в этом журнале (включая статью про «эвалюатологию») радикально отличаются от языка, принятого в сообществе специалистов по оценке социальных программ. Для авторов статьи оценка — это эксперимент с контролируемыми условиями и математически формализованными переменными, что крайне сложно применить к социальным системам.

Ссылка на статью (есть в открытом доступе):

Zhan, J., Wang, L., Gao, W., Li, H., Wang, C., Huang, Y., Li, Y., Yang, Z., Kang, G., Luo, C., Ye, H., Dai, S., & Zhang, Z. (2024). Evaluatology: The science and engineering of evaluation. BenchCouncil Transactions on Benchmarks, Standards and Evaluations, 4(1), 1–25.

"Плесните колдовства в хрустальный мрак бокала..."

Неожиданно для себя наткнулся на термин evidence-based evaluation, который можно перевести как оценка, основанная на данных или на доказательствах. Google даёт на этот термин около 800 тыс. ссылок, то есть довольно много. Вот, к примеру, публикация от инновационно-исследовательской программы Евросоюза (2020), предлагающая обзор такого подхода к оценке. Следуя сложившейся традиции, такую оценку можно было бы назвать «доказательной» - по аналогии с доказательной медициной, доказательным менеджментом и т.д.

Цитата из упомянутого выше пособия: "Доказательную оценку можно отличить от субъективной оценки и оценки по жестко заданным шаблонам. В то время как субъективная оценка опирается на интуицию, устоявшиеся традиции или личные знания, доказательная оценка строится на строгом анализе наилучших доступных данных. С другой стороны, оценка по жестким шаблонам обычно предопределена заранее и основывается преимущественно на взглядах самого оценщика, тогда как доказательная оценка учитывает предпочтения, потребности, ценности и особенности контекста заинтересованных сторон".

Термины "доказательная оценка" или "оценка, основанная на данных" кажутся мне избыточными. Указанные выше отличия от "субъективной оценки" и "оценки по жестко заданным шаблонам" выглядят крайне неубедительно. Если авторы имели в виду экспертную оценку, то это вполне легитимный подход, когда суждение основывается не на «взглядах», а на экспертизе, глубоком знании предмета. "Оценка по шаблонам" для меня вообще непонятна. 

Вот часто цитируемое определение Майкла Пэттона: «Оценка программы — это систематический сбор информации о деятельности в рамках программы, её характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить её эффективность и/или разработать планы на будущее». 

Таким образом, оценка, не основанная на данных – это не оценка, если оставаться в профессиональном поле. 

Моя гипотеза: возможно, введение термина "доказательная оценка" было призвано добавить академизма. Отсюда - название сегодняшней публикации, заимствованное из известного романса "Напрасные слова" Давида Тухманова (музыка) и Ларисы Рубальской (стихи)  :)  На фото - Александр Малинин и Елена Темникова за исполнением этого произведения.

Как обосновать, что вы используете практику с доказанной эффективностью

Будем исходить из положений «Стандарта доказательности практик в сфере детства» (МГППУ, 2021). 

«Социальную практику» стандарт определяет как "совокупность взаимосвязанных процедур и способов профессионального воздействия, направленных на достижение заранее запланированных позитивных изменений (социальных результатов) в жизни конкретных социальных групп или общества в целом".

Практикой с доказанной эффективностью называется "социальная практика, описанная в соответствии с правилами доказательного подхода и продемонстрировавшая свою эффективность в ходе исследований (в пользу эффективности которой есть эмпирические свидетельства, полученные в научных исследованиях и представленные профессиональному сообществу)". 

Правила доказательного подхода, согласно Стандарту, предполагают оценку практики по четырем критериям: 

1. Обоснованность логической модели. Оценивается замысел практики — насколько действия соответствуют потребностям и позволяют достичь заявленных результатов. Максимальная оценка означает четкое понимание и обоснованность того, как и почему действия приведут к результату.
2. Результативность (достижение социальных результатов). Оценивается фактическая результативность практики. Максимальная оценка подразумевает достижение устойчивых положительных результатов в сфере детства без негативных побочных эффектов.
3. Обоснованность данных о результатах. Оценивается убедительность доказательств и строгость методологии оценки.
4. Регламентированность практики. Оценивается стандартизированность и воспроизводимость процедур. Максимальная оценка означает высокую предсказуемость и повторяемость действий, закрепленных в методических рекомендациях и регламентах.

Для оценки степени доказанности эффективности практики Стандарт предлагает использовать порядковую шкалу, включающую начальный, базовый и продвинутый уровни. При этом отнесение практики к тому или иному уровню потребует их более-менее развернутого описания, которого в Стандарте пока нет. 

Три практических соображения: 

• На мой взгляд было бы логично использовать идентичные шкалы для оценки по каждому из критериев. 
• Было бы здорово также иметь методику для вынесения общего суждения о практике с учетом полученных по каждому критерию оценок. 
• Я бы добавил к шкале «нулевой» уровень (когда какие-либо доказательства отсутствуют вовсе или почти отсутствуют), и «подтвержденный» уровень, следующий за продвинутым (когда есть все основания считать эффективность доказанной). 

Несколько вопросов об использовании результатов оценки

В октябре 2021 года вышло в свет 5-е издание книги Utilization Focused Evaluation (перевожу это название как «Оценка, ориентированная на практическое использование»). Автором первых 4-х изданий и автором самой концепции Utilization Focused Evaluation (UFE) является Майкл Куинн Пэттон (Michael Quinn Patton). Пятое издание гуру подготовил вместе со своей дочерью Шармейн (Charmagne E. Campbell-Patton).

У меня несколько вопросов:

• Почему использование результатов оценки остается в поле зрения теоретиков и практиков оценки с 70-х годов прошлого века, когда вышло первое издание книги Пэттона? 
• Означает ли это, что проблема использования результатов оценки сохраняется, как минимум, на протяжении последних 50 лет? 
• Не наводит ли это на некоторые мысли относительно самой оценки как функции, дисциплины и профессии?

Думаю, что простого ответа на эти вопросы не существует. И здесь точно есть, о чем подумать и поговорить. В частности, я бы поговорил о том, как обстоят дела с использованием результатов само-оценивания и внутренней оценки. В таких случаях организация точно знает, зачем нужна оценка и использует полученные результаты соответствующим образом. Возможно, если бы оценка развивалась преимущественно «изнутри» организаций как функция управления, проблем с её использованием удалось бы избежать? Как думаете?

Подмена проблемы

На семинаре по системному мышлению обсуждали концепцию «системных архетипов» Питера Сенге, описанных в книге «Пятая дисциплина» и в более поздних публикациях. Такие архетипы (по Сенге)  — это универсальные схемы, объясняющие, почему в разных ситуациях возникают схожие проблемы и почему стандартные решения часто не работают. Полагаю, это важно и для управленцев, и для тех, кто занимается оценкой проектов и программ.

Рассмотрим архетип «Подмена проблемы»: глубинная проблема проявляется в виде симптомов, требующих внимания. Однако зачастую из-за того, что она непонятна или ее решение слишком накладно, люди сдвигают фокус с проблемы на решения, которые им кажутся простыми и эффективными. К сожалению, простые «решения» ведут лишь к облегчению симптомов, тогда как сама проблема остается нерешенной. Она усугубляется, так как кажется, что симптомы исчезли, при этом постепенно система лишается оставшихся возможностей справиться с глубинной проблемой.

Ниже - примеры проявления этого архетипа для разных систем.

Управленческая система

• Проблема: снижение прибыли из-за падения качества продукта.
• Фундаментальное решение: вложиться в переобучение персонала, модернизацию контроля качества и доработку продукта (дорого и долго).
• Симптоматическое решение: провести агрессивную рекламную кампанию «скидки 50%» и сократить расходы на персонал.
• Подмена: прибыль временно растет за счет объема продаж, но качество падает еще сильнее. В итоге компания попадает в зависимость от постоянных скидок, а деньги на реальное улучшение продукта уже отсутствуют.

Личная продуктивность 

• Проблема: хроническая усталость и выгорание.
• Фундаментальное решение: нормализовать сон, уменьшить нагрузку, наладить баланс работа/отдых.
• Симптоматическое решение: пить энергетики, кофе в больших дозах, брать работу на выходные.
• Подмена: человек перестает искать причину усталости, полагаясь на стимуляторы. Со временем их эффективность падает, а здоровье ухудшается. Настоящая проблема (перегрузка) остается и усугубляется.

Здоровье

• Проблема: регулярные головные боли.
• Фундаментальное решение: обследование, поиск причины (например, проблемы с шеей, давлением или стресс).
• Симптоматическое решение: постоянный прием обезболивающих.
• Подмена: боли уходят на несколько часов, но причина не устранена. Возможно развитие лекарственно-индуцированной головной боли (от передозировки анальгетиков), и человек попадает в замкнутый круг: болит голова → пью таблетку → через время болит сильнее.

Четыре измерения «мировоззрения»

На семинаре по системному мышлению обсуждали Критическую системную эвристику (Critical Systems Heuristics / CSH) Вернера Ульриха. Интересная особенность этого метода, по моим наблюдениям, состоит в том, что даже обсуждение инструментария (не применение, а только обсуждение) стимулирует рефлексию и бывает весьма интересным. Обычно, CSH представляют как систематизированную практику критического анализа представлений о границах системы. Одна из категорий границ – то, что Ульрих называет мировоззрением.

Ниже – фрагмент вчерашнего обсуждения. В контексте CSH «мировоззрение» имеет 4 измерения.

Измерение мировоззрения	Вопрос, на который отвечает	Пример (для проекта по работе с подростками)
Онтологическое (природа бытия)	Что считается «реальным»?	«Улучшение — это измеримый навык» vs «Улучшение — это субъективное ощущение»
Эпистемологическое (природа знания)	Как мы узнаём, что улучшение достигнуто?	«Через тесты» vs «Через отзывы родителей» vs «Через интервью с подростком»
Этическое	Что хорошо, а что плохо?	«Равноправие важнее иерархии» vs «Семейная ценность важнее автономии подростка»
Политическое	Кто имеет право принимать решения?	«Команда профессионалов» vs «Родители» vs «Сами подростки»

На рисунке - символ CSH со странички Вернера Ульриха. 

На какие вопросы оценка не ответит

Оценка социального проекта проводится, чтобы что-то важное об этом проекте узнать. Вне зависимости от того, проводите ли Вы оценку своего проекта самостоятельно (само-оценивание) или привлекаете внешнего консультанта (внешняя оценка), в задание на проведение оценки всегда включаются вопросы, на которые надлежит ответить по результатам оценки. Ответы на эти вопросы и есть то самое, что нужно узнать о проекте, лицам, принимающим решения (ЛПР): руководителю проекта, руководителю организации, донору. Для чего им нужна эта информация? Чтобы принять важные хорошо обоснованные решения. Например, чтобы определиться, как дальше развивать проект или как сделать проект самоокупаемым. Именно здесь проходит граница между оценкой и принятием решений! 

Для того, чтобы определиться с тем, как дальше развивать проект, ЛПР может быть нужно что-то узнать, например: 

• В какой мере изменились потребности целевой группы за период реализации проекта? Насколько проект смог адаптироваться к этим изменениям?

Это вопросы можно включить в ТЗ на проведение оценки. Ответы на них помогут ЛПР ответить на следующий вопрос:

• Какова должна быть стратегия развития проекта на ближайшие годы? 

Но этот вопрос не может быть включен в задание на проведение оценки, т.к. ответ на него не может быть получен с помощью систематического сбора и анализа данных о ходе и результатах проекта (оценка). Ответ на него дает лицо, принимающее решения, с учетом многих факторов, включая результаты оценки.

Оценка, помогающая обрести веру в свои силы

Empowerment Evaluation (EE) — это подход, при котором участники программы сами проводят оценку, а профессиональный оценщик выступает в роли коуча или критического друга, помогающего им в этом процессе. Название перевести на русский язык довольно сложно. Смысл слова empowerment точнее всего можно описать как «обретение веры в свои силы». Таким образом получается, что ЕЕ – это «оценка, помогающая обрести веру в свои силы». Автор подхода американец Дэвид Феттерман в своих работах подчеркивает связь EE с концепциями самоопределения (self-determination) и создания потенциала (capacity building).

Замысел ЕЕ (с позиции внешнего консультанта) можно описать примерно так : «EE — это оценка, в которой профессиональный внешний оценщик сознательно уходит из позиции «эксперта, выносящего суждения» и занимает позицию «тренера-фасилитатора», передавая инструменты оценки участникам и благополучателям программы (стейкхолдерам). Успех оценки измеряется не точностью рекомендаций оценщика, а способностью сообщества самостоятельно продолжать оценочную практику после ухода внешнего консультанта (фасилитатора). При этом граница профессии проходит там, где оценщик начинает подменять своими действиями совместную деятельность участников. Его задачи в рамках ЕЕ - воодушевлять, учить, поддерживать».

Основные принципы ЕЕ:

1. Улучшение — фокус на том, чтобы помочь программе добиться успеха.
2. Общественное владение — контроль за оценкой принадлежит самой организации/сообществу.
3. Инклюзивность — вовлечение всех ключевых заинтересованных сторон.
4. Демократическое участие — оценка как сотрудничество, совместная деятельность.
5. Социальная справедливость — цель подхода — влиять на ситуацию с прицелом на общественное благо.
6. Знание сообщества — уважение и использование опыта и мудрости самого сообщества.
7. Использование доказательных стратегий — уважение к тому, что уже признано эффективным наукой и практикой.
8. Создание потенциала — обучение команды базовым навыкам оценки для лучшего понимания и использования данных.
9. Организационное обучение — формирование в организации культуры обучения.
10. Подотчетность — измерение достижения целей, при этом и положительные, и отрицательные результаты считаются ценными для дальнейших улучшений.

Вспоминаю обсуждение этого подхода с одной моей американской знакомой, которая хорошо известна в мире и как теоретик, и как практик в сфере оценки программ. Разговор был неформальный. Она сказала, что, будучи представителем среднего класса (весьма зажиточным), не считает себя вправе сподвигать малоимущих людей на ЕЕ. По её мнению, неэтично призывать таких людей поверить в свои силы, когда ты не являешься одним из них.

PS Картинка - из статьи про Employee Empowerment - как способствовать тому, чтобы сотрудники поверили в свои силы.

Оценка воздействия результатов оценки

В сообществе XCEval (значительно более 1000 подписчиков по всему миру) сейчас обсуждается свежая публикация EVALSDGs*, название которой по смыслу можно перевести как «Руководство по проведению оценки, следующей за оценкой» («Follow-up Evaluation Guidance»).

Автор (Denis Jobin) указывает на то, что мало отслеживать лишь выполнение рекомендаций, содержащихся в отчете о проведении внешней оценки (это отслеживание - вопрос внутреннего управленческого контроля). По мнению автора, нужно еще уделить внимание тому, каковы результаты внедрения этих рекомендаций. А для этого надо провести внешнюю оценку использования результатов внешней оценки.

Приведу определение такой оценки (будем называть её «последующей») из упомянутого руководства: 

«Последующая оценка представляет собой систематический и независимый ассесмент (assessment) того, были ли реализованы рекомендации и согласованные действия, полученные в ходе предыдущей оценки, были ли они достаточны для устранения первоначальных проблем и их коренных причин, а также способствовали ли они улучшению политики, программ, систем, процесса принятия решений или результатов.

Она отличается от рутинного отслеживания реакции менеджмента на результаты внешней оценки. Отслеживание реакции обычно заключается в проверке того, были ли выполнены согласованные по итогам оценки действия. Последующая (внешняя – АК) оценка задает более глубокий оценочный вопрос: привели ли предпринятые действия к результату, устранили ли первоначальную проблему и снизили ли связанные с ней риски?».

Как вам такая идея? Если «прокатит», то у внешних оценщиков в системе ООН появятся дополнительные заказы. Но что-то мне подсказывает, что менеджеры и руководители программ могут быть не в восторге от такого нововведения.

*EVALSDGs — это сеть заинтересованных и квалифицированных политиков, учреждений и практиков, которые отстаивают важнейшую роль оценки в достижении Целей устойчивого развития. 

PS Почему-то на платформе Blogspot проблемы с загрузкой картинок. Потому сегодня пост без иллюстрации.

Теория действия

Про теорию изменений у нас знают уже многие и, более того, применяют соответствующий инструментарий на практике. Теория изменений (ТИ) показывает, как наши действия в рамках программы или проекта связаны с ожидаемым результатом. Важнейший элемент ТИ – карта ожидаемых результатов, построенная по принципу «если, то». 

Но для того, чтобы в ТИ появился первый результат (нижнего уровня), необходимо совершить определенные действия. Зачастую эти действия достаточно сложны. Именно поэтому, описывая «теорию программы», Фаннелл и Роджерс* (Funnell, S. C., & Rogers, P. J. (2011). Purposeful program theory: Effective use of theories of change and logic models. San Francisco, CA: Jossey-Bass) предложили рассматривать её как состоящую из двух компонентов: «теории изменений» (в привычном нам значении) и «теории действия».

Теория действия описывает «как» программа будет реализована на практике. Она отвечает на вопрос: «Что именно программа будет делать и в какой последовательности?». В отличие от теории изменений, которая объясняет, почему и в какой последовательности должны наступить желаемые изменения, теория действия фокусируется на операционной логике программы — от ресурсов к активностям и непосредственным результатам. 

Соединяются две теории именно на непосредственных результатах. До них мы действуем, а когда получен непосредственный результат, дальше «запускаются» цепочки результатов более высокого уровня. Если, конечно, мы все правильно придумали и допущения наши сработают 😊