Руководство по практическому применению искусственного интеллекта в оценке

В открытом доступе размещено руководство по внедрению ИИ в деятельность по оценке программ и проектов социальной направлденности (на английском языке). Документ призывает оценивать ИИ-инструменты на предмет прозрачности, конфиденциальности и минимизации предвзятости, а также открыто обсуждать их использование со стейкхолдерами. Практическое руководство охватывает весь цикл оценки — от анализа данных до отчетности — с обязательным контролем со стороны человека. Как «бета-версия», этот документ призван стимулировать ответственные эксперименты и непрерывное обучение для повышения эффективности и инклюзивности оценки. Ознакомиться с полным текстом можно на сайте CGIAR.

CGIAR (Консультативная группа по международным сельскохозяйственным исследованиям) — это крупнейшее в мире глобальное партнерство в области продовольственной безопасности, объединяющее 15 международных исследовательских центров. Организация занимается борьбой с голодом и бедностью в развивающихся странах, разрабатывая инновационные аграрные технологии, устойчивые к климатическим изменениям сорта культур и методы управления природными ресурсами. 

Метод ретроспективной экспертной оценки влияния

Ретроспектива — это взгляд в прошлое, анализ уже произошедших событий.

Экспертная оценка — это метод получения информации, основанный на мнении квалифицированных специалистов (экспертов) в определенной области. Его применяют в ситуациях, когда задачу невозможно решить с помощью строгих математических расчетов из-за нехватки точных данных, высокой неопределенности или сложности объекта исследования. 

При разработке метода ретроспективной экспертной оценки влияния социальных программ или проектов мы использовали идею, лежащую в основе Most Significant Change Method (Метод наиболее значимых изменений). Это качественный метод мониторинга и оценки программ, основанный на сборе и систематическом анализе реальных историй участников о переменах в их жизни. В отличие от традиционных показателей (KPI), этот метод не использует цифры, а фокусируется на поиске ответа на вопрос: «Какое изменение за определенный период было самым важным и почему?». Мы говорили об этом подходе на заседании клуба PROОЦЕНКУ «Мониторинг без показателей» (сентябрь, 2025) 

Суть нашего метода состоит в том, чтобы предложить экспертам, знакомым с ситуацией в приоритетной для вас сфере и с деятельностью вашей организации, провести мысленный эксперимент и сравнить текущее положение дел с воображаемой ситуацией, которая отличается от реальной только отсутствием вашей деятельности. Вопрос, на который отвечают эксперты по поводу каждого выявленного изменения звучит так: «Что было бы, если бы не было вашей деятельности, а все остальное осталось прежним?». Экспертам предлагается шкала с вариантами ответов от «Все было бы так, как оно есть» (влияние вашей деятельности в данном случае отсутствует) до «Этого вообще бы не произошло» (влияние вашей деятельности в данном случае – определяющее).

Основные шаги:

1. Выявить наиболее значимые изменения, которые произошли в интересующей вас сфере.
2. Определить круг экспертов, которые хорошо знают соответствующие предметные области и знакомы с деятельностью вашей организации.
3. Узнать мнение экспертов относительно того, имеют ли место те изменения, которые вы выявили (анкета).
4. У тех экспертов, которые считают, что изменения имеют место, спросить о степени влияния вашей организации на каждое из изменений (анкета). 
5. Обработать полученные данные и представить их в виде таблиц и в виде диаграмм.

В ближайшее время подробная информация об этом методе с примерами его практического использования будет опубликована, о чем обязательно сообщу.

Кодекс для внутреннего специалиста по оценке

В дискуссиях на заседаниях клуба PROОЦЕНКУ мы часто обсуждаем разницу между внешней и внутренней оценкой, делая особый акцент на внутренней оценке и само-оценивании. Считаем развитие собственного потенциала НКО в сфере оценки стратегически значимой задачей. В связи с этим возникает вопрос о том, могут ли быть отличия между стандартами профессиональной деятельности и/или этическими кодексами для внешних и внутренних специалистов по оценке. 

Абсолютное большинство опубликованных на данный момент принципов и стандартов проведения оценки социально-ориентированных проектов и программ разработано для ситуации внешней оценки. Деятельность внутреннего специалиста по оценке, как правило, регламентируется соответствующими корпоративными документами, которые не размещаются в открытом доступе. 

Однако, если обратиться к опыту аудиторов, можно найти много интересного. В частности, есть материалы Института внутренних аудиторов (IIA), в которых учитывается главное отличие внутреннего аудита от внешнего: внутренний аудитор (как и внутренний специалист по оценке) является членом команды. Отсюда вытекает ряд требований к его работе: 

1. Принцип профессионального взаимодействия

• Аудитор обязан выстраивать коммуникацию с сотрудниками проверяемого подразделения на основе взаимного уважения и профессионального достоинства. Аудитор должен придерживаться нейтрального, делового стиля общения, избегая менторского тона, иронии или проявления превосходства.

2. Запрет на психологическое давление

В ходе сбора аудиторских доказательств запрещается использование тактик психологического давления, включая:

• Повышение голоса или использование некорректной лексики.
• Угрозы дисциплинарным взысканием или увольнением (решение об ответственности сотрудников принимается только уполномоченным руководством на основании фактов, а не аудитором).
• Создание условий, намеренно препятствующих выполнению сотрудником его текущих должностных обязанностей.

3. Этичное отношение к ошибкам

• Целью аудитора является оценка процесса, а не критика личности. Любые выявленные недостатки должны обсуждаться объективно. Аудитор обязан дать проверяемым возможность изложить свою аргументацию и предоставить пояснения.

4. Тактичность и минимальное вмешательство

• Аудитор должен уважать время и рабочее пространство проверяемых:
• Запрашивать документы заранее, соблюдая согласованные сроки.
• Минимизировать количество внеплановых отвлечений персонала.
• Соблюдать режим работы и внутренний распорядок проверяемого подразделения.

Думаю, эти положения могут быть полезны при формировании регламента работы службы или специалиста по внутренней оценке в НКО и не только.

OPRE ждут трудные времена

Профессиональное сообщество в США обеспокоено намерением федерального Министерства здравоохранения и социальных служб радикально реструктурировать Управление по планированию, исследованиям и оценке (OPRE). Привожу выдержку из письма, распространенного двумя американскими НКО среди специалистов по оценке в США для сбора подписей в поддержку OPRE. Такие вот новости о развитии оценки госпрограмм в США.

«13 февраля 2026 года Министерство здравоохранения и социальных служб США уведомило сотрудников Управления по планированию, исследованиям и оценке (OPRE) при Администрации по делам детей и семей (ACF) о решении радикально реструктурировать и фактически ликвидировать это управление. Как подробно описано в совместном заявлении Data Foundation и Results for America от 13 февраля 2026 года, это решение грозит уничтожением одного из самых эффективных и уважаемых подразделений федерального правительства по вопросам оценки — управления, которое на протяжении десятилетий служило администрациям обеих партий, предоставляя строгие и независимые доказательства по программам, обслуживающим миллионы американских детей и семей.

Исследовательский портфель OPRE охватывает некоторые из наиболее значимых программ федерального правительства, включая Head Start, программу посещения на дому матерей, младенцев и детей раннего возраста (MIECHV), временную помощь нуждающимся семьям (TANF), услуги по защите детей и уход за детьми. В рамках реструктуризации ожидается продолжение только обязательных исследований, и даже эта работа теперь потребует прямого одобрения политических назначенцев, что ставит под угрозу научную независимость, обеспечивающую достоверность и полезность результатов оценки. Бюджетные ассигнования Конгресса на 2026 финансовый год в значительной степени поддерживали функции OPRE в их текущем виде, что вызывает серьезные вопросы о том, соответствует ли эта реструктуризация намерениям Конгресса».

Справка: 

• Data Foundation — это некоммерческая организация, занимающаяся исследованиями и просвещением в области использования данных для принятия обоснованных решений, формирования политики, повышения ценности данных и улучшения отчетности.
• Results for America (RFA) — это некоммерческая организация, целью которой является внедрение практики принятия государственных решений на основе данных и доказательств. Основная миссия RFA заключается в том, чтобы сделать инвестиции в «то, что работает», новой нормой для правительств всех уровней — от федерального до местного.

Онлайновый курс по системному мышлению

Недавно ИНА-ЦЕНТР открыл регистрацию на платный курс по системному мышлению. Полное название курса: «Системное мышление в контексте социального проектирования, оценки и организационного развития НКО». Этот курс был разработан и проведен мною впервые в прошлом году. Получилось интересно. Пару моментов в новой версии курса исправим с учетом полученного опыта, но в целом все останется как в 2025. 

Основные разделы курса: 

• Системное видение мира. Свойства систем. Системное мышление.  
• Характеристики ситуаций и оптимизация стратегий воздействия.
• Взаимосвязи и взаимозависимости.
• Ракурсы.
• Границы.
• Динамика.
• Системное мышление и управление некоммерческой организацией.

В этом блоге можно почитать публикации по ярлыку «Системное мышление».

Обучение будет построено так: 

• Начинаем 1 апреля, заканчиваем 27 мая.
• Раз в неделю встречаемся онлайн на 1,5 часа. На этих встречах будет теория и практические задания.  
• Перед каждым следующим занятием нужно будет выполнить домашнее задание в малой группе из 3 человек. Основная идея домашних заданий – подумать о новом материале индивидуально и обсудить его с коллегами. 
• Каждое занятие начинаем с обзора результатов выполнения домашних заданий. 
• Завершаем курс Неконференцией.
• По ходу обучения можно будет провести индивидуальную онлайн-консультацию продолжительностью 1 час. Я бы рекомендовал это сделать ближе к окончанию курса. 

Стоимость обучения с получением удостоверения о повышении квалификации 14 тыс. рублей. Если удостоверение не нужно и достаточно сертификата, то стоимость 11,5 тыс.

Театр метрик

На днях попалась статья (англ.) с интересной метафорой «театр метрик». В контексте бизнеса это выглядит так: сотрудники и менеджеры начинают "ставить спектакль" для отчетности, где главные зрители — это высшее руководство или акционеры. Цель — показать красивые цифры в дашбордах, часто в ущерб истинным целям компании.

Характерные признаки "театра метрик":

1. Подмена цели. Метрика из инструмента для оценки прогресса становится самой целью. Пример: не "сделать клиентов счастливыми", а "повысить NPS до 50 баллов" любыми способами (включая навязчивые просьбы поставить оценку).
2. Оптимизация ради отчета. Работа ведется так, чтобы улучшить показатель в отчете, а не решить проблему пользователя.
3. Игра с формулами. Постоянные споры о том, как именно считать метрику, чтобы цифра выглядела лучше, вместо улучшения самого процесса.
4. Локальная оптимизация. Одна команда улучшает свой KPI за счет других команд или общего результата компании (например, отдел продаж обещает все, чтобы выполнить план, перегружая отдел разработки и ухудшая качество продукта).
5. "Потолок" метрик. Достигнув целевого значения, команда теряет мотивацию развиваться дальше или начинает искусственно сдерживать рост, чтобы не повышали планку на следующий квартал.
6. Культура страха. Плохие цифры ведут к наказаниям, поэтому данные начинают скрывать, приукрашивать или искажать.

Почему результаты оценки могут оказаться бесполезными

На прошлом заседании клуба PROОЦЕНКУ мы обсуждали эту тему. Хочу поделиться несколькими возможными причинами на основании нашего опыта. Естественно, список не исчерпывающий. 

1. 
   Задачу на проведение оценки ставят одни, а использовать результаты должны другие. Такая ситуация складывается, например, в больших бюрократических структурах, где за организацию проведения оценки может отвечать специальное подразделение, а использование результатов остается за руководителями программ, которые оцениваются.
2. Оценка проводится так, что к ее результатам нет доверия со стороны предполагаемых пользователей. Такая ситуация может сложиться, если, например, методология проведения оценки не согласована с будущими пользователями результатов: используются методы и/или источники информации, которые не вызывают доверия у пользователей. Само собой, такое может случиться и в силу недостаточной компетентности тех, кто проводит оценку.
3. Результаты оценки появляются не ко времени. Если, к примеру, предполагается принятие каких-то решений с использованием результатов оценки, то последние должны быть готовы к моменту принятия решения. Если они появляются позже, то их использование проблематично.
4. Оценка ориентирована на «символическое использование», то есть изначально имеет значение сам факт проведения оценки, но не её результаты. В этом случае имеет место использование процесса оценки. 

Самые популярные публикации в блоге в 2025 году

По традиции в конце года отмечу топ-5 публикаций, вызвавших наибольший интерес (максимальное число просмотров на Blogspot):

1. Практикуй то, что проповедуешь 
2. Результаты оценки клуба PROОЦЕНКУ 
3. Мой начальник велел использовать ИИ 
4. Ракурсы 
5. 14 привычек системного мыслителя 

Первые два поста относятся к самооцениванию клуба PROОЦЕНКУ, отметившему в этом году свое четырехлетие. На третьем месте по числу просмотров один из постов про искусственный интеллект и его использование в НКО. На четвертом и пятом местах посты о системном мышлении.

Когда увидел эту статистику, то подумал, что все три темы были для меня точно в числе самых важных:

• Онлайновый курс по системному мышлению, который мы провели вместе с новосибирским ИнА-Центром, прошел хорошо. Очень рад, что получилось интересно. Несколько публикаций о системном мышлении именно с этим курсом связаны.
• С искусственным интеллектом работаю практически каждый день. Накапливается интересный опыт. Стараюсь следить за тем, что в этой сфере в мире происходит. 
• Само-оценивание клуба PROОЦЕНКУ считаю важным этапом в развитии этой инициативы. С группой волонтеров мы смогли за месяц провести большую работу и получили важные с практической точки зрения результаты.

В общем, из того, о чем можно было написать в блоге, это было самым интересным и важным для меня. Конечно, было ещё много интересного и важного с профессиональной точки зрения. По понятным причинам оно осталось «за кадром» 😊 

С наступающим Новым Годом! Всего самого доброго! До встречи в 2026!

Компетенции специалиста по оценке: всё непросто

В середине 90-х годов канадские коллеги (Канадское общество оценки) начали работу по описанию компетенций специалиста по оценке. Вскоре после этого аналогичная работа была проведена американцами (Американская ассоциация оценки) и австралийцами (Австралийское общество оценки). Во всех трех случаях подходы по формированию перечня компетенций были идентичными ("снизу -  вверх"): коллеги просили опытных специалистов по оценке отрефлексировать свой опыт. На основании их ответов были подготовлены проекты документов, которые предлагались для обсуждения в профессиональном сообществе. По итогам этих обсуждений принимались окончательные версии. Таким образом, первые перечни компетенций формировались на основании многолетнего практического опыта проведения оценки в странах, где степень зрелости оценки как профессии была достаточно высокой. Можно предположить, что проведение подобной работы было признаком зрелости профессии в этих странах. В этой презентации есть информация о профессионализации оценки. 

В начале 2000-х было опубликовано уже около полутора десятков перечней компетенций. В 2016 году появились компетенции специалиста по оценки от Группы оценки ООН. В этой презентации есть несколько перечней компетенций, включая ооновский.   

Многие считают, что сущностных отличий между этими перечнями нет. Именно поэтому Американская ассоциация оценки выступила с инициативой договориться всем о некотором «ядре» компетенций, которое стало бы общим для всех стран и составило бы ориентировочно 60-80% от национальных перечней. Оставшиеся 20-40% могли бы быть специфичными для конкретной страны. Была даже сформирована международная рабочая группа для реализации этой идеи. Вроде бы, все логично: речь же идет об одной и той же профессии. Но не тут-то было…

И здесь перехожу к тому, что всё непросто 😊 (см. заголовок). Список сложностей, конечно, не исчерпывающий. 

• Договориться не удалось. Не буду вдаваться в подробности, но полагаю, что, степень зрелости оценки как профессии в мировом масштабе оказалась недостаточно высокой для достижения консенсуса даже по 60% компетенций. 
• Одна из сложностей связана с тем, что в зависимости от особенностей выбранной карьеры в оценке (практик, теоретик, преподаватель, менеджер – см. рисунок) перечни компетенций могут быть разными. В связи с этим возникают интересные вопросы, связанные с различными сочетаниями особенностей карьеры, например, «практик + преподаватель». Подробнее здесь можно посмотреть об этом.  
• Еще одна сложность связана с тем, что при наличии большого количества публикаций о компетенциях повышается вероятность принятия компетенций по принципу «сверху вниз» без обсуждения с профессиональным сообществом в той или иной стране. В принципе, такое возможно даже до появления такого сообщества в отдельно взятой стране.
• В заключение хотел бы сказать еще об одной сложности, о которой писал и говорил ранее (подробнее здесь). На мой взгляд, внешняя оценка является одним из видов консультирования, что предполагает включение навыков консультирования в перечень компетенций специалиста по оценке. Пока этого не происходит.

Оценка или измерение?

Если очень коротко, то это, конечно, не одно и то же: оценка (применительно к социальным проектам и программам) – это про ценность, а измерение – это про показатели. Если кого-то спросят: «Как тебе новая квартира?», он, скорее всего, скажет что-то вроде «уютная, удобная, просторная, тихая, вид из окна замечательный» и т.д. Ответ типа «44 кв.м., кухня 12 кв.м.» в этом случае выглядел бы немного странно, хотя эти показатели, безусловно, характеризуют квартиру и связаны с тем, как она воспринимается хозяином. Однако вопрос был о ценности квартиры для хозяина, а не о ее параметрах. Уточню: я ни в коем случае не против использования показателей. Я о том, что не всё ценное измеримо и что измерение не может и не должно заменять смысл. 

Несколько лет назад в публичной дискуссии об оценке социальных проектов и программ участвовал Епископ Пантелеимон. Закончу эту публикацию его словами: «Нельзя посчитать добро и любовь, сострадание и сочувствие. Считать можно только деньги».

PS В качестве иллюстрации использована обложка книги Дугласа Хаббарда «Как измерить все, что угодно». Позиция автора: «Среди людей бытует мнение, что многие вещи в мире не поддаются количественной оценке. Это широко распространенное заблуждение наносит существенный ущерб экономике, общественному благосостоянию, окружающей среде и даже национальной безопасности».