Что мы называем «оценкой»

В начале 80-х годов прошлого века Американская ассоциация оценки (American evaluation association) сформировала рабочую группу, задачей которой было определить виды деятельности, относящиеся к оценке в контексте социального проектирования и управления социальными проектами и программами.  

Вот что у них получилось: 

• Предпроектная оценка
• Оценка оцениваемости
• Мониторинг
• Формирующая оценка (formative evaluation)
• Суммирующая оценка (summative evaluation)
• Мета-оценка

Все что перечислено выше, относится к program evaluation. Термин этот можно понять и перевести и как «оценка программ», и как «программная оценка». «Программная оценка» по-русски звучит не очень. Прижился первый вариант перевода. Сейчас мы часто используем расширенную формулировку: «оценка программ и проектов социальной направленности». Такая формулировка соответствует общепринятым определениям program evaluation за рубежом. Например, Майкл Пэттон определяет такую оценку как «систематический сбор информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее». То есть речь идет об оценке программы (проекта) на стадии реализации либо по завершении. 

А как быть тогда с предпроектной оценкой? Оценкой ситуации? Оценкой потребностей? Оценкой заявок? Оценкой оцениваемости? Все виды оценки, которые не относятся к фазам реализации либо завершения проекта оказываются за пределами program evaluation.

Мне кажется важным сделать определение инклюзивным, чтобы не оставлять «за кадром» перечисленные выше виды оценки, значимые для социальных проектов и программ. Предлагаю к размышлению и обсуждению экспериментальную формулировку такого определения (все, что выделено курсивом). 

Оценка в контексте социального проектирования и управления социальными проектами – это систематический сбор и анализ информации

• о ситуации, на которую призван повлиять проект,
• о замысле проекта, 
• о деятельности в рамках проекта, ее характеристиках и результатах. 

На стадиях инициирования и планирования проекта оценка проводится для того, чтобы разработать проект наилучшим образом или усовершенствовать его дизайн.

По завершении планирования проекта оценка проводится для того, чтобы обосновать решение о его финансировании. 

На стадии реализации оценка проводится для обеспечения эффективного выполнения проекта. 

На стадии завершения проекта оценка проводится, чтобы вынести обоснованные суждения о результатах проекта и эффективности использования средств; а также, чтобы  определить целесообразность продолжения деятельности, начатой в рамках проекта, и разработать планы на будущее.

Строим или оцениваем?

Те, кто начинает знакомиться с оценкой проектов и программ социальной направленности, часто сталкиваются с проблемой использования оценки при разработке чего-либо. Проблема состоит в следующем. Новые знания хочется применить для решения актуальной задачи. При этом актуальная задача может заключаться в разработке чего-либо, например, нового проекта или новой организационной системы. И здесь оказывается, что инструменты оценки не работают как надо. Скажем, формулирование вопросов задания, сразу ставит в тупик: «Что вы хотели бы узнать о проекте?». А проекта-то пока и нет вовсе. Оценка предполагает наличие объекта, который оценивается. В отличие от разработки, когда результатом является создание объекта. 

Может ли оценка пригодиться при разработке проекта? Конечно! Один из распространенных вариантов – оценка ситуации или оценка потребностей. Объектами оценки в этом случае будут, соответственно, ситуация или потребности целевой группы. Полученная информация поможет в разработке проекта. Ключевые вопросы при использовании оценки для разработки: «Что вам нужно узнать для разработки … (сюда вставляем наименование объекта, который разрабатывается)? Как вы будете использовать эту информацию при разработке?». 

Хорошая идея

Тарек Аззам (на фото) из университета Калифорнии в Санта-Барбаре – один из ведущих специалистов нового поколения, обладатель премии Американской ассоциации оценки 2025 года в номинации «Исследования в сфере оценки». Сегодня от него пришло приглашение принять участие в анкетировании. Замысел исследования мне понравился. Хочу поделиться.

Тарек принял решение проводить опрос практикующих специалистов на предмет использования искусственного интеллекта в оценке. «Цель состоит в том, чтобы проводить этот опрос ежегодно для отслеживания использования ИИ в оценке, изучения оптимальных методов его применения и предотвращения возможных ошибок и проблем. Я планирую составлять ежегодный отчет и распространять его среди членов AEA (Американской ассоциации оценки)», -пишет Тарек Аззам в своем приглашении.

Может, и у нас кто-то подхватит эту идею? 

Интересная беседа в хорошей компании

Завтра состоится очередное заседание клуба PROОЦЕНКУ. Сегодня кто-то в одном из чатов спросил, можно ли прийти новичкам. Конечно, можно! Мы рады всем, кому интересна тема заседания. Для того, чтобы поддерживать позитивную атмосферу и создать комфортные условия, в том числе, для тех, кто приходит впервые, мы сформулировали ряд правил:

1. Степень вашей активности на заседании зависит только от вас. Можно просто послушать; можно принять участие в обсуждении; можно предложить тему заседания и участвовать в его подготовке и проведении.
2. Общайтесь уважительно. Избегайте агрессии, неконструктивной критики, перехода на личности и любых форм дискриминации.
3. Cоблюдайте регламент. Старайтесь высказываться кратко, поддерживайте порядок обсуждения и следите за рекомендациями модератора.
4. Давайте высказаться каждому. Не перебивайте, цените вклад каждого участника.
5. Поддерживайте новичков. Помогайте включиться новым участникам, отвечайте на вопросы, делитесь знаниями.
6. Соблюдайте конфиденциальность. Не распространяйте содержание дискуссий и практические кейсы за пределами клуба без согласия участников.

Тема завтрашнего заседания такая: «Можно ли измерить все, что угодно?». Интересует? Заходите! Начало в 11.00 (мск). Регистрация здесь. 

PS На рисунке - версия интересной беседы в хорошей компании от нейросети ШЕДЕВРУМ.

Тема конференции Европейского общества оценки

Конференция Европейского общества оценки (European Evaluation Society) проходит раз в два года. В этом году она состоится в городе Лилль (Франция) с 26 по 30 октября. Тема конференции такая: «Зачем нужна оценка для жизнеспособных демократий?». 

Вот перевод краткого описания этой темы: «Демократия, основанная на правах, свободах и подотчетности, сегодня сталкивается с давлением по всему миру. Поляризация, снижение доверия и рост популизма бросают вызов качеству управления в Европе и за ее пределами. Оценка, опирающаяся на доказательную базу, прозрачность и этические стандарты, может сыграть ключевую роль в укреплении демократических систем. Она помогает принимать обоснованные решения, дает возможность услышать разные голоса и способствует восстановлению общественного доверия».

PS На картинке – логотип конференции.

Руководство по практическому применению искусственного интеллекта в оценке

В открытом доступе размещено руководство по внедрению ИИ в деятельность по оценке программ и проектов социальной направлденности (на английском языке). Документ призывает оценивать ИИ-инструменты на предмет прозрачности, конфиденциальности и минимизации предвзятости, а также открыто обсуждать их использование со стейкхолдерами. Практическое руководство охватывает весь цикл оценки — от анализа данных до отчетности — с обязательным контролем со стороны человека. Как «бета-версия», этот документ призван стимулировать ответственные эксперименты и непрерывное обучение для повышения эффективности и инклюзивности оценки. Ознакомиться с полным текстом можно на сайте CGIAR.

CGIAR (Консультативная группа по международным сельскохозяйственным исследованиям) — это крупнейшее в мире глобальное партнерство в области продовольственной безопасности, объединяющее 15 международных исследовательских центров. Организация занимается борьбой с голодом и бедностью в развивающихся странах, разрабатывая инновационные аграрные технологии, устойчивые к климатическим изменениям сорта культур и методы управления природными ресурсами. 

Метод ретроспективной экспертной оценки влияния

Ретроспектива — это взгляд в прошлое, анализ уже произошедших событий.

Экспертная оценка — это метод получения информации, основанный на мнении квалифицированных специалистов (экспертов) в определенной области. Его применяют в ситуациях, когда задачу невозможно решить с помощью строгих математических расчетов из-за нехватки точных данных, высокой неопределенности или сложности объекта исследования. 

При разработке метода ретроспективной экспертной оценки влияния социальных программ или проектов мы использовали идею, лежащую в основе Most Significant Change Method (Метод наиболее значимых изменений). Это качественный метод мониторинга и оценки программ, основанный на сборе и систематическом анализе реальных историй участников о переменах в их жизни. В отличие от традиционных показателей (KPI), этот метод не использует цифры, а фокусируется на поиске ответа на вопрос: «Какое изменение за определенный период было самым важным и почему?». Мы говорили об этом подходе на заседании клуба PROОЦЕНКУ «Мониторинг без показателей» (сентябрь, 2025) 

Суть нашего метода состоит в том, чтобы предложить экспертам, знакомым с ситуацией в приоритетной для вас сфере и с деятельностью вашей организации, провести мысленный эксперимент и сравнить текущее положение дел с воображаемой ситуацией, которая отличается от реальной только отсутствием вашей деятельности. Вопрос, на который отвечают эксперты по поводу каждого выявленного изменения звучит так: «Что было бы, если бы не было вашей деятельности, а все остальное осталось прежним?». Экспертам предлагается шкала с вариантами ответов от «Все было бы так, как оно есть» (влияние вашей деятельности в данном случае отсутствует) до «Этого вообще бы не произошло» (влияние вашей деятельности в данном случае – определяющее).

Основные шаги:

1. Выявить наиболее значимые изменения, которые произошли в интересующей вас сфере.
2. Определить круг экспертов, которые хорошо знают соответствующие предметные области и знакомы с деятельностью вашей организации.
3. Узнать мнение экспертов относительно того, имеют ли место те изменения, которые вы выявили (анкета).
4. У тех экспертов, которые считают, что изменения имеют место, спросить о степени влияния вашей организации на каждое из изменений (анкета). 
5. Обработать полученные данные и представить их в виде таблиц и в виде диаграмм.

В ближайшее время подробная информация об этом методе с примерами его практического использования будет опубликована, о чем обязательно сообщу.

Кодекс для внутреннего специалиста по оценке

В дискуссиях на заседаниях клуба PROОЦЕНКУ мы часто обсуждаем разницу между внешней и внутренней оценкой, делая особый акцент на внутренней оценке и само-оценивании. Считаем развитие собственного потенциала НКО в сфере оценки стратегически значимой задачей. В связи с этим возникает вопрос о том, могут ли быть отличия между стандартами профессиональной деятельности и/или этическими кодексами для внешних и внутренних специалистов по оценке. 

Абсолютное большинство опубликованных на данный момент принципов и стандартов проведения оценки социально-ориентированных проектов и программ разработано для ситуации внешней оценки. Деятельность внутреннего специалиста по оценке, как правило, регламентируется соответствующими корпоративными документами, которые не размещаются в открытом доступе. 

Однако, если обратиться к опыту аудиторов, можно найти много интересного. В частности, есть материалы Института внутренних аудиторов (IIA), в которых учитывается главное отличие внутреннего аудита от внешнего: внутренний аудитор (как и внутренний специалист по оценке) является членом команды. Отсюда вытекает ряд требований к его работе: 

1. Принцип профессионального взаимодействия

• Аудитор обязан выстраивать коммуникацию с сотрудниками проверяемого подразделения на основе взаимного уважения и профессионального достоинства. Аудитор должен придерживаться нейтрального, делового стиля общения, избегая менторского тона, иронии или проявления превосходства.

2. Запрет на психологическое давление

В ходе сбора аудиторских доказательств запрещается использование тактик психологического давления, включая:

• Повышение голоса или использование некорректной лексики.
• Угрозы дисциплинарным взысканием или увольнением (решение об ответственности сотрудников принимается только уполномоченным руководством на основании фактов, а не аудитором).
• Создание условий, намеренно препятствующих выполнению сотрудником его текущих должностных обязанностей.

3. Этичное отношение к ошибкам

• Целью аудитора является оценка процесса, а не критика личности. Любые выявленные недостатки должны обсуждаться объективно. Аудитор обязан дать проверяемым возможность изложить свою аргументацию и предоставить пояснения.

4. Тактичность и минимальное вмешательство

• Аудитор должен уважать время и рабочее пространство проверяемых:
• Запрашивать документы заранее, соблюдая согласованные сроки.
• Минимизировать количество внеплановых отвлечений персонала.
• Соблюдать режим работы и внутренний распорядок проверяемого подразделения.

Думаю, эти положения могут быть полезны при формировании регламента работы службы или специалиста по внутренней оценке в НКО и не только.

OPRE ждут трудные времена

Профессиональное сообщество в США обеспокоено намерением федерального Министерства здравоохранения и социальных служб радикально реструктурировать Управление по планированию, исследованиям и оценке (OPRE). Привожу выдержку из письма, распространенного двумя американскими НКО среди специалистов по оценке в США для сбора подписей в поддержку OPRE. Такие вот новости о развитии оценки госпрограмм в США.

«13 февраля 2026 года Министерство здравоохранения и социальных служб США уведомило сотрудников Управления по планированию, исследованиям и оценке (OPRE) при Администрации по делам детей и семей (ACF) о решении радикально реструктурировать и фактически ликвидировать это управление. Как подробно описано в совместном заявлении Data Foundation и Results for America от 13 февраля 2026 года, это решение грозит уничтожением одного из самых эффективных и уважаемых подразделений федерального правительства по вопросам оценки — управления, которое на протяжении десятилетий служило администрациям обеих партий, предоставляя строгие и независимые доказательства по программам, обслуживающим миллионы американских детей и семей.

Исследовательский портфель OPRE охватывает некоторые из наиболее значимых программ федерального правительства, включая Head Start, программу посещения на дому матерей, младенцев и детей раннего возраста (MIECHV), временную помощь нуждающимся семьям (TANF), услуги по защите детей и уход за детьми. В рамках реструктуризации ожидается продолжение только обязательных исследований, и даже эта работа теперь потребует прямого одобрения политических назначенцев, что ставит под угрозу научную независимость, обеспечивающую достоверность и полезность результатов оценки. Бюджетные ассигнования Конгресса на 2026 финансовый год в значительной степени поддерживали функции OPRE в их текущем виде, что вызывает серьезные вопросы о том, соответствует ли эта реструктуризация намерениям Конгресса».

Справка: 

• Data Foundation — это некоммерческая организация, занимающаяся исследованиями и просвещением в области использования данных для принятия обоснованных решений, формирования политики, повышения ценности данных и улучшения отчетности.
• Results for America (RFA) — это некоммерческая организация, целью которой является внедрение практики принятия государственных решений на основе данных и доказательств. Основная миссия RFA заключается в том, чтобы сделать инвестиции в «то, что работает», новой нормой для правительств всех уровней — от федерального до местного.

Онлайновый курс по системному мышлению

Недавно ИНА-ЦЕНТР открыл регистрацию на платный курс по системному мышлению. Полное название курса: «Системное мышление в контексте социального проектирования, оценки и организационного развития НКО». Этот курс был разработан и проведен мною впервые в прошлом году. Получилось интересно. Пару моментов в новой версии курса исправим с учетом полученного опыта, но в целом все останется как в 2025. 

Основные разделы курса: 

• Системное видение мира. Свойства систем. Системное мышление.  
• Характеристики ситуаций и оптимизация стратегий воздействия.
• Взаимосвязи и взаимозависимости.
• Ракурсы.
• Границы.
• Динамика.
• Системное мышление и управление некоммерческой организацией.

В этом блоге можно почитать публикации по ярлыку «Системное мышление».

Обучение будет построено так: 

• Начинаем 1 апреля, заканчиваем 27 мая.
• Раз в неделю встречаемся онлайн на 1,5 часа. На этих встречах будет теория и практические задания.  
• Перед каждым следующим занятием нужно будет выполнить домашнее задание в малой группе из 3 человек. Основная идея домашних заданий – подумать о новом материале индивидуально и обсудить его с коллегами. 
• Каждое занятие начинаем с обзора результатов выполнения домашних заданий. 
• Завершаем курс Неконференцией.
• По ходу обучения можно будет провести индивидуальную онлайн-консультацию продолжительностью 1 час. Я бы рекомендовал это сделать ближе к окончанию курса. 

Стоимость обучения с получением удостоверения о повышении квалификации 14 тыс. рублей. Если удостоверение не нужно и достаточно сертификата, то стоимость 11,5 тыс.