Оценка, помогающая обрести веру в свои силы

Empowerment Evaluation (EE) — это подход, при котором участники программы сами проводят оценку, а профессиональный оценщик выступает в роли коуча или критического друга, помогающего им в этом процессе. Название перевести на русский язык довольно сложно. Смысл слова empowerment точнее всего можно описать как «обретение веры в свои силы». Таким образом получается, что ЕЕ – это «оценка, помогающая обрести веру в свои силы». Автор подхода американец Дэвид Феттерман в своих работах подчеркивает связь EE с концепциями самоопределения (self-determination) и создания потенциала (capacity building).

Замысел ЕЕ (с позиции внешнего консультанта) можно описать примерно так : «EE — это оценка, в которой профессиональный внешний оценщик сознательно уходит из позиции «эксперта, выносящего суждения» и занимает позицию «тренера-фасилитатора», передавая инструменты оценки участникам и благополучателям программы (стейкхолдерам). Успех оценки измеряется не точностью рекомендаций оценщика, а способностью сообщества самостоятельно продолжать оценочную практику после ухода внешнего консультанта (фасилитатора). При этом граница профессии проходит там, где оценщик начинает подменять своими действиями совместную деятельность участников. Его задачи в рамках ЕЕ - воодушевлять, учить, поддерживать».

Основные принципы ЕЕ:

1. Улучшение — фокус на том, чтобы помочь программе добиться успеха.
2. Общественное владение — контроль за оценкой принадлежит самой организации/сообществу.
3. Инклюзивность — вовлечение всех ключевых заинтересованных сторон.
4. Демократическое участие — оценка как сотрудничество, совместная деятельность.
5. Социальная справедливость — цель подхода — влиять на ситуацию с прицелом на общественное благо.
6. Знание сообщества — уважение и использование опыта и мудрости самого сообщества.
7. Использование доказательных стратегий — уважение к тому, что уже признано эффективным наукой и практикой.
8. Создание потенциала — обучение команды базовым навыкам оценки для лучшего понимания и использования данных.
9. Организационное обучение — формирование в организации культуры обучения.
10. Подотчетность — измерение достижения целей, при этом и положительные, и отрицательные результаты считаются ценными для дальнейших улучшений.

Вспоминаю обсуждение этого подхода с одной моей американской знакомой, которая хорошо известна в мире и как теоретик, и как практик в сфере оценки программ. Разговор был неформальный. Она сказала, что, будучи представителем среднего класса (весьма зажиточным), не считает себя вправе сподвигать малоимущих людей на ЕЕ. По её мнению, неэтично призывать таких людей поверить в свои силы, когда ты не являешься одним из них.

PS Картинка - из статьи про Employee Empowerment - как способствовать тому, чтобы сотрудники поверили в свои силы.

Оценка воздействия результатов оценки

В сообществе XCEval (значительно более 1000 подписчиков по всему миру) сейчас обсуждается свежая публикация EVALSDGs*, название которой по смыслу можно перевести как «Руководство по проведению оценки, следующей за оценкой» («Follow-up Evaluation Guidance»).

Автор (Denis Jobin) указывает на то, что мало отслеживать лишь выполнение рекомендаций, содержащихся в отчете о проведении внешней оценки (это отслеживание - вопрос внутреннего управленческого контроля). По мнению автора, нужно еще уделить внимание тому, каковы результаты внедрения этих рекомендаций. А для этого надо провести внешнюю оценку использования результатов внешней оценки.

Приведу определение такой оценки (будем называть её «последующей») из упомянутого руководства: 

«Последующая оценка представляет собой систематический и независимый ассесмент (assessment) того, были ли реализованы рекомендации и согласованные действия, полученные в ходе предыдущей оценки, были ли они достаточны для устранения первоначальных проблем и их коренных причин, а также способствовали ли они улучшению политики, программ, систем, процесса принятия решений или результатов.

Она отличается от рутинного отслеживания реакции менеджмента на результаты внешней оценки. Отслеживание реакции обычно заключается в проверке того, были ли выполнены согласованные по итогам оценки действия. Последующая (внешняя – АК) оценка задает более глубокий оценочный вопрос: привели ли предпринятые действия к результату, устранили ли первоначальную проблему и снизили ли связанные с ней риски?».

Как вам такая идея? Если «прокатит», то у внешних оценщиков в системе ООН появятся дополнительные заказы. Но что-то мне подсказывает, что менеджеры и руководители программ могут быть не в восторге от такого нововведения.

*EVALSDGs — это сеть заинтересованных и квалифицированных политиков, учреждений и практиков, которые отстаивают важнейшую роль оценки в достижении Целей устойчивого развития. 

PS Почему-то на платформе Blogspot проблемы с загрузкой картинок. Потому сегодня пост без иллюстрации.

Теория действия

Про теорию изменений у нас знают уже многие и, более того, применяют соответствующий инструментарий на практике. Теория изменений (ТИ) показывает, как наши действия в рамках программы или проекта связаны с ожидаемым результатом. Важнейший элемент ТИ – карта ожидаемых результатов, построенная по принципу «если, то». 

Но для того, чтобы в ТИ появился первый результат (нижнего уровня), необходимо совершить определенные действия. Зачастую эти действия достаточно сложны. Именно поэтому, описывая «теорию программы», Фаннелл и Роджерс* (Funnell, S. C., & Rogers, P. J. (2011). Purposeful program theory: Effective use of theories of change and logic models. San Francisco, CA: Jossey-Bass) предложили рассматривать её как состоящую из двух компонентов: «теории изменений» (в привычном нам значении) и «теории действия».

Теория действия описывает «как» программа будет реализована на практике. Она отвечает на вопрос: «Что именно программа будет делать и в какой последовательности?». В отличие от теории изменений, которая объясняет, почему и в какой последовательности должны наступить желаемые изменения, теория действия фокусируется на операционной логике программы — от ресурсов к активностям и непосредственным результатам. 

Соединяются две теории именно на непосредственных результатах. До них мы действуем, а когда получен непосредственный результат, дальше «запускаются» цепочки результатов более высокого уровня. Если, конечно, мы все правильно придумали и допущения наши сработают 😊

Что мы называем «оценкой»

В начале 80-х годов прошлого века Американская ассоциация оценки (American evaluation association) сформировала рабочую группу, задачей которой было определить виды деятельности, относящиеся к оценке в контексте социального проектирования и управления социальными проектами и программами.  

Вот что у них получилось: 

• Предпроектная оценка
• Оценка оцениваемости
• Мониторинг
• Формирующая оценка (formative evaluation)
• Суммирующая оценка (summative evaluation)
• Мета-оценка

Все что перечислено выше, относится к program evaluation. Термин этот можно понять и перевести и как «оценка программ», и как «программная оценка». «Программная оценка» по-русски звучит не очень. Прижился первый вариант перевода. Сейчас мы часто используем расширенную формулировку: «оценка программ и проектов социальной направленности». Такая формулировка соответствует общепринятым определениям program evaluation за рубежом. Например, Майкл Пэттон определяет такую оценку как «систематический сбор информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее». То есть речь идет об оценке программы (проекта) на стадии реализации либо по завершении. 

А как быть тогда с предпроектной оценкой? Оценкой ситуации? Оценкой потребностей? Оценкой заявок? Оценкой оцениваемости? Все виды оценки, которые не относятся к фазам реализации либо завершения проекта оказываются за пределами program evaluation.

Мне кажется важным сделать определение инклюзивным, чтобы не оставлять «за кадром» перечисленные выше виды оценки, значимые для социальных проектов и программ. Предлагаю к размышлению и обсуждению экспериментальную формулировку такого определения (все, что выделено курсивом). 

Оценка в контексте социального проектирования и управления социальными проектами – это систематический сбор и анализ информации

• о ситуации, на которую призван повлиять проект,
• о замысле проекта, 
• о деятельности в рамках проекта, ее характеристиках и результатах. 

На стадиях инициирования и планирования проекта оценка проводится для того, чтобы разработать проект наилучшим образом или усовершенствовать его дизайн.

По завершении планирования проекта оценка проводится для того, чтобы обосновать решение о его финансировании. 

На стадии реализации оценка проводится для обеспечения эффективного выполнения проекта. 

На стадии завершения проекта оценка проводится, чтобы вынести обоснованные суждения о результатах проекта и эффективности использования средств; а также, чтобы  определить целесообразность продолжения деятельности, начатой в рамках проекта, и разработать планы на будущее.

Строим или оцениваем?

Те, кто начинает знакомиться с оценкой проектов и программ социальной направленности, часто сталкиваются с проблемой использования оценки при разработке чего-либо. Проблема состоит в следующем. Новые знания хочется применить для решения актуальной задачи. При этом актуальная задача может заключаться в разработке чего-либо, например, нового проекта или новой организационной системы. И здесь оказывается, что инструменты оценки не работают как надо. Скажем, формулирование вопросов задания, сразу ставит в тупик: «Что вы хотели бы узнать о проекте?». А проекта-то пока и нет вовсе. Оценка предполагает наличие объекта, который оценивается. В отличие от разработки, когда результатом является создание объекта. 

Может ли оценка пригодиться при разработке проекта? Конечно! Один из распространенных вариантов – оценка ситуации или оценка потребностей. Объектами оценки в этом случае будут, соответственно, ситуация или потребности целевой группы. Полученная информация поможет в разработке проекта. Ключевые вопросы при использовании оценки для разработки: «Что вам нужно узнать для разработки … (сюда вставляем наименование объекта, который разрабатывается)? Как вы будете использовать эту информацию при разработке?». 

Хорошая идея

Тарек Аззам (на фото) из университета Калифорнии в Санта-Барбаре – один из ведущих специалистов нового поколения, обладатель премии Американской ассоциации оценки 2025 года в номинации «Исследования в сфере оценки». Сегодня от него пришло приглашение принять участие в анкетировании. Замысел исследования мне понравился. Хочу поделиться.

Тарек принял решение проводить опрос практикующих специалистов на предмет использования искусственного интеллекта в оценке. «Цель состоит в том, чтобы проводить этот опрос ежегодно для отслеживания использования ИИ в оценке, изучения оптимальных методов его применения и предотвращения возможных ошибок и проблем. Я планирую составлять ежегодный отчет и распространять его среди членов AEA (Американской ассоциации оценки)», -пишет Тарек Аззам в своем приглашении.

Может, и у нас кто-то подхватит эту идею? 

Интересная беседа в хорошей компании

Завтра состоится очередное заседание клуба PROОЦЕНКУ. Сегодня кто-то в одном из чатов спросил, можно ли прийти новичкам. Конечно, можно! Мы рады всем, кому интересна тема заседания. Для того, чтобы поддерживать позитивную атмосферу и создать комфортные условия, в том числе, для тех, кто приходит впервые, мы сформулировали ряд правил:

1. Степень вашей активности на заседании зависит только от вас. Можно просто послушать; можно принять участие в обсуждении; можно предложить тему заседания и участвовать в его подготовке и проведении.
2. Общайтесь уважительно. Избегайте агрессии, неконструктивной критики, перехода на личности и любых форм дискриминации.
3. Cоблюдайте регламент. Старайтесь высказываться кратко, поддерживайте порядок обсуждения и следите за рекомендациями модератора.
4. Давайте высказаться каждому. Не перебивайте, цените вклад каждого участника.
5. Поддерживайте новичков. Помогайте включиться новым участникам, отвечайте на вопросы, делитесь знаниями.
6. Соблюдайте конфиденциальность. Не распространяйте содержание дискуссий и практические кейсы за пределами клуба без согласия участников.

Тема завтрашнего заседания такая: «Можно ли измерить все, что угодно?». Интересует? Заходите! Начало в 11.00 (мск). Регистрация здесь. 

PS На рисунке - версия интересной беседы в хорошей компании от нейросети ШЕДЕВРУМ.

Тема конференции Европейского общества оценки

Конференция Европейского общества оценки (European Evaluation Society) проходит раз в два года. В этом году она состоится в городе Лилль (Франция) с 26 по 30 октября. Тема конференции такая: «Зачем нужна оценка для жизнеспособных демократий?». 

Вот перевод краткого описания этой темы: «Демократия, основанная на правах, свободах и подотчетности, сегодня сталкивается с давлением по всему миру. Поляризация, снижение доверия и рост популизма бросают вызов качеству управления в Европе и за ее пределами. Оценка, опирающаяся на доказательную базу, прозрачность и этические стандарты, может сыграть ключевую роль в укреплении демократических систем. Она помогает принимать обоснованные решения, дает возможность услышать разные голоса и способствует восстановлению общественного доверия».

PS На картинке – логотип конференции.

Руководство по практическому применению искусственного интеллекта в оценке

В открытом доступе размещено руководство по внедрению ИИ в деятельность по оценке программ и проектов социальной направлденности (на английском языке). Документ призывает оценивать ИИ-инструменты на предмет прозрачности, конфиденциальности и минимизации предвзятости, а также открыто обсуждать их использование со стейкхолдерами. Практическое руководство охватывает весь цикл оценки — от анализа данных до отчетности — с обязательным контролем со стороны человека. Как «бета-версия», этот документ призван стимулировать ответственные эксперименты и непрерывное обучение для повышения эффективности и инклюзивности оценки. Ознакомиться с полным текстом можно на сайте CGIAR.

CGIAR (Консультативная группа по международным сельскохозяйственным исследованиям) — это крупнейшее в мире глобальное партнерство в области продовольственной безопасности, объединяющее 15 международных исследовательских центров. Организация занимается борьбой с голодом и бедностью в развивающихся странах, разрабатывая инновационные аграрные технологии, устойчивые к климатическим изменениям сорта культур и методы управления природными ресурсами. 

Метод ретроспективной экспертной оценки влияния

Ретроспектива — это взгляд в прошлое, анализ уже произошедших событий.

Экспертная оценка — это метод получения информации, основанный на мнении квалифицированных специалистов (экспертов) в определенной области. Его применяют в ситуациях, когда задачу невозможно решить с помощью строгих математических расчетов из-за нехватки точных данных, высокой неопределенности или сложности объекта исследования. 

При разработке метода ретроспективной экспертной оценки влияния социальных программ или проектов мы использовали идею, лежащую в основе Most Significant Change Method (Метод наиболее значимых изменений). Это качественный метод мониторинга и оценки программ, основанный на сборе и систематическом анализе реальных историй участников о переменах в их жизни. В отличие от традиционных показателей (KPI), этот метод не использует цифры, а фокусируется на поиске ответа на вопрос: «Какое изменение за определенный период было самым важным и почему?». Мы говорили об этом подходе на заседании клуба PROОЦЕНКУ «Мониторинг без показателей» (сентябрь, 2025) 

Суть нашего метода состоит в том, чтобы предложить экспертам, знакомым с ситуацией в приоритетной для вас сфере и с деятельностью вашей организации, провести мысленный эксперимент и сравнить текущее положение дел с воображаемой ситуацией, которая отличается от реальной только отсутствием вашей деятельности. Вопрос, на который отвечают эксперты по поводу каждого выявленного изменения звучит так: «Что было бы, если бы не было вашей деятельности, а все остальное осталось прежним?». Экспертам предлагается шкала с вариантами ответов от «Все было бы так, как оно есть» (влияние вашей деятельности в данном случае отсутствует) до «Этого вообще бы не произошло» (влияние вашей деятельности в данном случае – определяющее).

Основные шаги:

1. Выявить наиболее значимые изменения, которые произошли в интересующей вас сфере.
2. Определить круг экспертов, которые хорошо знают соответствующие предметные области и знакомы с деятельностью вашей организации.
3. Узнать мнение экспертов относительно того, имеют ли место те изменения, которые вы выявили (анкета).
4. У тех экспертов, которые считают, что изменения имеют место, спросить о степени влияния вашей организации на каждое из изменений (анкета). 
5. Обработать полученные данные и представить их в виде таблиц и в виде диаграмм.

В ближайшее время подробная информация об этом методе с примерами его практического использования будет опубликована, о чем обязательно сообщу.