- В какой мере изменились потребности целевой группы за период реализации проекта? Насколько проект смог адаптироваться к этим изменениям?
- Какова должна быть стратегия развития проекта на ближайшие годы?
Замысел ЕЕ (с позиции внешнего консультанта) можно описать примерно так : «EE — это оценка, в которой профессиональный внешний оценщик сознательно уходит из позиции «эксперта, выносящего суждения» и занимает позицию «тренера-фасилитатора», передавая инструменты оценки участникам и благополучателям программы (стейкхолдерам). Успех оценки измеряется не точностью рекомендаций оценщика, а способностью сообщества самостоятельно продолжать оценочную практику после ухода внешнего консультанта (фасилитатора). При этом граница профессии проходит там, где оценщик начинает подменять своими действиями совместную деятельность участников. Его задачи в рамках ЕЕ - воодушевлять, учить, поддерживать».
Основные принципы ЕЕ:
В сообществе XCEval (значительно более 1000 подписчиков по всему миру) сейчас обсуждается свежая публикация EVALSDGs*, название которой по смыслу можно перевести как «Руководство по проведению оценки, следующей за оценкой» («Follow-up Evaluation Guidance»).
Автор (Denis Jobin) указывает на то, что мало отслеживать лишь выполнение рекомендаций, содержащихся в отчете о проведении внешней оценки (это отслеживание - вопрос внутреннего управленческого контроля). По мнению автора, нужно еще уделить внимание тому, каковы результаты внедрения этих рекомендаций. А для этого надо провести внешнюю оценку использования результатов внешней оценки.
Приведу определение такой оценки (будем называть её «последующей») из упомянутого руководства:
«Последующая оценка представляет собой систематический и независимый ассесмент (assessment) того, были ли реализованы рекомендации и согласованные действия, полученные в ходе предыдущей оценки, были ли они достаточны для устранения первоначальных проблем и их коренных причин, а также способствовали ли они улучшению политики, программ, систем, процесса принятия решений или результатов.
Она отличается от рутинного отслеживания реакции менеджмента на результаты внешней оценки. Отслеживание реакции обычно заключается в проверке того, были ли выполнены согласованные по итогам оценки действия. Последующая (внешняя – АК) оценка задает более глубокий оценочный вопрос: привели ли предпринятые действия к результату, устранили ли первоначальную проблему и снизили ли связанные с ней риски?».
Как вам такая идея? Если «прокатит», то у внешних оценщиков в системе ООН появятся дополнительные заказы. Но что-то мне подсказывает, что менеджеры и руководители программ могут быть не в восторге от такого нововведения.
*EVALSDGs — это сеть заинтересованных и квалифицированных политиков, учреждений и практиков, которые отстаивают важнейшую роль оценки в достижении Целей устойчивого развития.
PS Почему-то на платформе Blogspot проблемы с загрузкой картинок. Потому сегодня пост без иллюстрации.
Про теорию изменений у нас знают уже многие и, более того, применяют соответствующий инструментарий на практике. Теория изменений (ТИ) показывает, как наши действия в рамках программы или проекта связаны с ожидаемым результатом. Важнейший элемент ТИ – карта ожидаемых результатов, построенная по принципу «если, то».
Но для того, чтобы в ТИ появился первый результат (нижнего уровня), необходимо совершить определенные действия. Зачастую эти действия достаточно сложны. Именно поэтому, описывая «теорию программы», Фаннелл и Роджерс* (Funnell, S. C., & Rogers, P. J. (2011). Purposeful program theory: Effective use of theories of change and logic models. San Francisco, CA: Jossey-Bass) предложили рассматривать её как состоящую из двух компонентов: «теории изменений» (в привычном нам значении) и «теории действия».
Теория действия описывает «как» программа будет реализована на практике. Она отвечает на вопрос: «Что именно программа будет делать и в какой последовательности?». В отличие от теории изменений, которая объясняет, почему и в какой последовательности должны наступить желаемые изменения, теория действия фокусируется на операционной логике программы — от ресурсов к активностям и непосредственным результатам.
Соединяются две теории именно на непосредственных результатах. До них мы действуем, а когда получен непосредственный результат, дальше «запускаются» цепочки результатов более высокого уровня. Если, конечно, мы все правильно придумали и допущения наши сработают 😊
Вот что у них получилось:
Все что перечислено выше, относится к program evaluation. Термин этот можно понять и перевести и как «оценка программ», и как «программная оценка». «Программная оценка» по-русски звучит не очень. Прижился первый вариант перевода. Сейчас мы часто используем расширенную формулировку: «оценка программ и проектов социальной направленности». Такая формулировка соответствует общепринятым определениям program evaluation за рубежом. Например, Майкл Пэттон определяет такую оценку как «систематический сбор информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее». То есть речь идет об оценке программы (проекта) на стадии реализации либо по завершении.
А как быть тогда с предпроектной оценкой? Оценкой ситуации? Оценкой потребностей? Оценкой заявок? Оценкой оцениваемости? Все виды оценки, которые не относятся к фазам реализации либо завершения проекта оказываются за пределами program evaluation.
Мне кажется важным сделать определение инклюзивным, чтобы не оставлять «за кадром» перечисленные выше виды оценки, значимые для социальных проектов и программ. Предлагаю к размышлению и обсуждению экспериментальную формулировку такого определения (все, что выделено курсивом).
Оценка в контексте социального проектирования и управления социальными проектами – это систематический сбор и анализ информации
На стадиях инициирования и планирования проекта оценка проводится для того, чтобы разработать проект наилучшим образом или усовершенствовать его дизайн.
По завершении планирования проекта оценка проводится для того, чтобы обосновать решение о его финансировании.
На стадии реализации оценка проводится для обеспечения эффективного выполнения проекта.
На стадии завершения проекта оценка проводится, чтобы вынести обоснованные суждения о результатах проекта и эффективности использования средств; а также, чтобы определить целесообразность продолжения деятельности, начатой в рамках проекта, и разработать планы на будущее.
Может ли оценка пригодиться при разработке проекта? Конечно! Один из распространенных вариантов – оценка ситуации или оценка потребностей. Объектами оценки в этом случае будут, соответственно, ситуация или потребности целевой группы. Полученная информация поможет в разработке проекта. Ключевые вопросы при использовании оценки для разработки: «Что вам нужно узнать для разработки … (сюда вставляем наименование объекта, который разрабатывается)? Как вы будете использовать эту информацию при разработке?».
Тарек принял решение проводить опрос практикующих специалистов на предмет использования искусственного интеллекта в оценке. «Цель состоит в том, чтобы проводить этот опрос ежегодно для отслеживания использования ИИ в оценке, изучения оптимальных методов его применения и предотвращения возможных ошибок и проблем. Я планирую составлять ежегодный отчет и распространять его среди членов AEA (Американской ассоциации оценки)», -пишет Тарек Аззам в своем приглашении.
Может, и у нас кто-то подхватит эту идею?
Тема завтрашнего заседания такая: «Можно ли измерить все, что угодно?». Интересует? Заходите! Начало в 11.00 (мск). Регистрация здесь.
PS На рисунке - версия интересной беседы в хорошей компании от нейросети ШЕДЕВРУМ.
Вот перевод краткого описания этой темы: «Демократия,
основанная на правах, свободах и подотчетности, сегодня сталкивается с
давлением по всему миру. Поляризация, снижение доверия и рост популизма бросают
вызов качеству управления в Европе и за ее пределами. Оценка, опирающаяся на
доказательную базу, прозрачность и этические стандарты, может сыграть ключевую
роль в укреплении демократических систем. Она помогает принимать обоснованные
решения, дает возможность услышать разные голоса и способствует восстановлению общественного
доверия».
PS На картинке – логотип конференции.
CGIAR (Консультативная группа по международным сельскохозяйственным исследованиям) — это крупнейшее в мире глобальное партнерство в области продовольственной безопасности, объединяющее 15 международных исследовательских центров. Организация занимается борьбой с голодом и бедностью в развивающихся странах, разрабатывая инновационные аграрные технологии, устойчивые к климатическим изменениям сорта культур и методы управления природными ресурсами.
При разработке метода ретроспективной экспертной оценки
влияния социальных программ или проектов мы использовали идею, лежащую в основе Most Significant Change Method (Метод наиболее
значимых изменений). Это качественный метод мониторинга и оценки программ,
основанный на сборе и систематическом анализе реальных историй участников о
переменах в их жизни. В отличие от традиционных показателей (KPI), этот метод
не использует цифры, а фокусируется на поиске ответа на вопрос: «Какое
изменение за определенный период было самым важным и почему?». Мы говорили об этом подходе на заседании клуба PROОЦЕНКУ
«Мониторинг без показателей» (сентябрь, 2025)
Суть нашего метода состоит в том, чтобы предложить экспертам,
знакомым с ситуацией в приоритетной для вас сфере и с деятельностью вашей
организации, провести мысленный эксперимент и сравнить текущее положение дел с
воображаемой ситуацией, которая отличается от реальной только отсутствием вашей
деятельности. Вопрос, на который отвечают эксперты по поводу каждого выявленного
изменения звучит так: «Что было бы, если бы не было вашей деятельности, а все
остальное осталось прежним?». Экспертам предлагается шкала с вариантами ответов
от «Все было бы так, как оно есть» (влияние вашей деятельности в данном случае отсутствует)
до «Этого вообще бы не произошло» (влияние вашей деятельности в данном случае –
определяющее).
Основные шаги:
Абсолютное большинство опубликованных на данный момент принципов и стандартов проведения оценки социально-ориентированных проектов и программ разработано для ситуации внешней оценки. Деятельность внутреннего специалиста по оценке, как правило, регламентируется соответствующими корпоративными документами, которые не размещаются в открытом доступе.
Однако, если обратиться к опыту аудиторов, можно найти много интересного. В частности, есть материалы Института внутренних аудиторов (IIA), в которых учитывается главное отличие внутреннего аудита от внешнего: внутренний аудитор (как и внутренний специалист по оценке) является членом команды. Отсюда вытекает ряд требований к его работе:
1. Принцип профессионального взаимодействия
2. Запрет на психологическое давление
В ходе сбора аудиторских доказательств запрещается использование тактик психологического давления, включая:
3. Этичное отношение к ошибкам
4. Тактичность и минимальное вмешательство
Думаю, эти положения могут быть полезны при формировании регламента работы службы или специалиста по внутренней оценке в НКО и не только.
«13 февраля 2026 года Министерство здравоохранения и социальных служб США уведомило сотрудников Управления по планированию, исследованиям и оценке (OPRE) при Администрации по делам детей и семей (ACF) о решении радикально реструктурировать и фактически ликвидировать это управление. Как подробно описано в совместном заявлении Data Foundation и Results for America от 13 февраля 2026 года, это решение грозит уничтожением одного из самых эффективных и уважаемых подразделений федерального правительства по вопросам оценки — управления, которое на протяжении десятилетий служило администрациям обеих партий, предоставляя строгие и независимые доказательства по программам, обслуживающим миллионы американских детей и семей.
Исследовательский портфель OPRE охватывает некоторые из наиболее значимых программ федерального правительства, включая Head Start, программу посещения на дому матерей, младенцев и детей раннего возраста (MIECHV), временную помощь нуждающимся семьям (TANF), услуги по защите детей и уход за детьми. В рамках реструктуризации ожидается продолжение только обязательных исследований, и даже эта работа теперь потребует прямого одобрения политических назначенцев, что ставит под угрозу научную независимость, обеспечивающую достоверность и полезность результатов оценки. Бюджетные ассигнования Конгресса на 2026 финансовый год в значительной степени поддерживали функции OPRE в их текущем виде, что вызывает серьезные вопросы о том, соответствует ли эта реструктуризация намерениям Конгресса».
Справка:
Основные разделы курса:
В этом блоге можно почитать публикации по ярлыку «Системное мышление».
Обучение будет построено так:
Стоимость обучения с получением удостоверения о повышении квалификации 14 тыс. рублей. Если удостоверение не нужно и достаточно сертификата, то стоимость 11,5 тыс.
Характерные признаки "театра метрик":
На прошлом заседании клуба PROОЦЕНКУ мы обсуждали эту тему. Хочу поделиться несколькими возможными причинами на основании нашего опыта. Естественно, список не исчерпывающий.