Метод ретроспективной экспертной оценки влияния

Ретроспектива — это взгляд в прошлое, анализ уже произошедших событий.

Экспертная оценка — это метод получения информации, основанный на мнении квалифицированных специалистов (экспертов) в определенной области. Его применяют в ситуациях, когда задачу невозможно решить с помощью строгих математических расчетов из-за нехватки точных данных, высокой неопределенности или сложности объекта исследования. 

При разработке метода ретроспективной экспертной оценки влияния социальных программ или проектов мы использовали идею, лежащую в основе Most Significant Change Method (Метод наиболее значимых изменений). Это качественный метод мониторинга и оценки программ, основанный на сборе и систематическом анализе реальных историй участников о переменах в их жизни. В отличие от традиционных показателей (KPI), этот метод не использует цифры, а фокусируется на поиске ответа на вопрос: «Какое изменение за определенный период было самым важным и почему?». Мы говорили об этом подходе на заседании клуба PROОЦЕНКУ «Мониторинг без показателей» (сентябрь, 2025) 

Суть нашего метода состоит в том, чтобы предложить экспертам, знакомым с ситуацией в приоритетной для вас сфере и с деятельностью вашей организации, провести мысленный эксперимент и сравнить текущее положение дел с воображаемой ситуацией, которая отличается от реальной только отсутствием вашей деятельности. Вопрос, на который отвечают эксперты по поводу каждого выявленного изменения звучит так: «Что было бы, если бы не было вашей деятельности, а все остальное осталось прежним?». Экспертам предлагается шкала с вариантами ответов от «Все было бы так, как оно есть» (влияние вашей деятельности в данном случае отсутствует) до «Этого вообще бы не произошло» (влияние вашей деятельности в данном случае – определяющее).

Основные шаги:

1. Выявить наиболее значимые изменения, которые произошли в интересующей вас сфере.
2. Определить круг экспертов, которые хорошо знают соответствующие предметные области и знакомы с деятельностью вашей организации.
3. Узнать мнение экспертов относительно того, имеют ли место те изменения, которые вы выявили (анкета).
4. У тех экспертов, которые считают, что изменения имеют место, спросить о степени влияния вашей организации на каждое из изменений (анкета). 
5. Обработать полученные данные и представить их в виде таблиц и в виде диаграмм.

В ближайшее время подробная информация об этом методе с примерами его практического использования будет опубликована, о чем обязательно сообщу.

«Импакт» или «воздействие»?

Тема конференции АСОПП в этом году «Импакт и оценка». Организаторы конференции поясняют, что «английский термин «импакт» (impact - АК) на русский переводят и как влияние, и как воздействие, а в последнее время все чаще используют и без перевода». Оправдано ли такое заимствование? 

РБК-тренды справедливо пишут о том, что споры вокруг заимствований в русском языке не утихают со времен Пушкина.  Действительно, как удобнее сказать «кешбэк» или «деньги обратно»? Языковое «импортозамещение» является предметом серьезных исследований. К примеру, ИНИОН в 2018 году выпустил целый сборник научных трудов, где современная языковая ситуация рассматривается как следствие процесса глобализации. 

До последнего времени в русском языке на практике чаще использовалось выражение «оценка социального воздействия», а не «оценка импакта». Это было связано с устоявшейся терминологией, привычными для специалистов концепциями и традиционным понятием результата социально-ориентированных проектов, программ и инициатив. Замечу, что термин «импакт» не особенно приживался несмотря на то, что в хрестоматийном варианте логики социального проекта на английском языке (outputs-outcomes-impact) этот термин присутствовал. 

Мне кажется, что переломным моментом стало продвижение в нашей стране концепции импакт-инвестиций. Так называют "вложения капитала в предприятия, проекты и фонды, которые имеют целью не только получение финансовой прибыли, но и создание измеримого позитивного социального или экологического эффекта для общества". Варианты «инвестиции социального воздействия» или «социально-преобразующие инвестиции», похоже оказались тяжеловатыми (вроде «денег обратно»). Кроме того, к продвижению термина приложили руку ведущие международные консалтинговые компании, исопльзующие английскую терминологию. «Импакт» стали использовать в бизнесе в значении «измеримый, ощутимый, экономически доказанный социальный либо экологический эффект». 

В итоге, сегодня оба термина существуют параллельно: «социальное воздействие» сохраняется как устоявшийся и понятный термин; «импакт» широко используется бизнесом в контексте ESG-инвестирования и/или импакт-инвестирования.  

По большому счету, надо просто понимать, что стоит за тем или иным термином. Тогда общий язык найти несложно. Но есть один важный нюанс. В оценке социальных проектов и программ существует общепринятое и общепризнанное определение «impact evaluation» (оценка социального воздействия), которое подразумевает выявление и обоснование причинно-следственной связи между воздействием и его эффектами. 

"Не по бумагам"

РИА Новости сообщает, что сегодня на совещании с членами правительства Путин обсуждал нацпроекты. В частности, он сказал, что: 

(а) вся работа по нацпроектам должна быть ориентирована на реальный результат;

(б) работа по реализации нацпроектов должна идти по плану;

(в) результаты работы над нацпроектами будут оцениваться не "по бумагам", а исходя из реалий и влияния на жизнь людей.

Пункт (а) относится к дизайну проектов и к формулированию их целей. 

Пункт (б) предполагает осуществление мониторинга.

Для реализации пункта (в) понадобится каким-то образом понять реалии и влияние на жизнь людей. Очевидно, что здесь речь должна идти об эмпирической оценке. 

Такое вот начало года!

Оценка влияния мероприятий на целевую аудиторию: все непросто

Счетная палата проверила деятельность Роспатриотцентра*. Аудитор Счетной палаты Даниил Шилков сообщил, что в целом все неплохо.  

При этом отмечаются два недостатка: 

1. Невозможно оценить охват целевой аудитории из-за того, что в разных мероприятиях могут по несколько раз участвовать одни и те же люди. Регистрация уникальных участников (по аналогии с уникальными посетителями сайтов) не организована. 
2. «Государственное задание Центра и результаты федеральных проектов, в реализации которых он участвует, не содержат параметров, позволяющих оценивать влияние проводимых мероприятий на целевую аудиторию. В связи с этим отсутствует возможность оценки возникающих социальных эффектов, что в свою очередь не позволяет оценить обоснованность масштабов организации мероприятий в сфере молодежной политики».

Неоднократный учет одних и тех же участников – проблема, с которой сталкиваются и многие НКО. Скажем, в 5 мероприятиях участвует один и тот же человек. При определении общего числа участников мероприятий его учитывают 5 раз, т.к. подсчитывается общая сумма по спискам участников. При такой системе подсчета результаты могут быть парадоксальными: если группа из 5 человек соберётся 20 раз, то общее число участников мероприятий будет 100! 

Оценка влияния программ патриотического воспитания на целевую аудиторию действительно представляется весьма сложной задачей. Тут одними индикаторами, скорее всего, не обойтись. 

* ФГБУ «Российский центр гражданского и патриотического воспитания детей и молодежи» был создан в 2002 году для реализации полномочий государства в сфере молодежной политики. В его задачи входит организация мероприятий, направленных на гражданско-патриотическое воспитание молодежи, развитие ее гражданской активности, вовлечение в добровольческую деятельность, а также популяризацию волонтерства в России. Ежегодно в мероприятиях Центра участвуют около 5 млн человек. Ежегодный общий объем субсидий составляет около 1 млрд рублей.

Почему нас никогда не просили оценить «качество жизни»

До сих пор в наших технических заданиях на проведение внешней оценки программ и проектов ни разу не было вопроса, содержащего словосочетание «качество жизни». То есть в буквальном смысле нас никогда не просили оценить, как изменилось качество жизни благополучателей под влиянием программы или проекта. При этом многие инициативы, которые нам приходилось оценивать, делали вклад, иногда очень существенный, в улучшение качества жизни определенных целевых групп. Почему так получилось? Вероятнее всего, тому есть несколько причин. 

1. Когда ставится задача на проведение оценки, мы спрашиваем заказчика: «Что Вы хотели бы узнать о своей программе?». Отвечая на этот вопрос, люди склонны говорить об очень конкретных вещах.
2. Даже если бы нам предложили оценить «качество жизни», мы наверняка спросили бы, что имеется в виду. Таким образом, разговор перешел бы в плоскость обсуждения характеристик или отдельных параметров качества жизни благополучателей. Соответственно, в вопросах задания упоминались бы именно эти характеристики. 
3. Влияние программы или проекта, как правило, выборочно и ориентировано на те или иные аспекты качества жизни людей, например, связанные с их здоровьем, трудоустройством, социализацией и т.д., но не на все характеристики качества жизни в комплексе. 

Тем не менее, анализ наших отчетов о проведенных за 27 лет оценках проектов и программ, показывает, что тема повышения качества жизни иногда возникала в общении с участниками и благополучателями - в тех случаях, когда оцениваемые инициативы существенным образом меняли жизнь людей к лучшему. Например, когда в результате проекта одинокие пожилые люди, проживающие в сельской местности, получали квалифицированную медицинскую помощь и из слепых становились зрячими. Или, когда проект помогал молодым людям с инвалидностью получить хорошо оплачиваемую постоянную работу.

Продолжаем размышлять и готовиться к конференции АСОПП-2023 на тему «Качество жизни. Благополучие. Оценка.» 

Работает ли brainstorming или размышления об оценке влияния практик с доказанной эффективностью

В конце 80-х годов прошлого века мне попалась статья об исследовании, в котором советские психологи проверяли эффективность метода "мозгового штурма" (brainstorming) как средства решения проблем. Исследователи сформировали две одинаковые по численности группы, которым была предложена одна и та же задача. В одной группе использовался "мозговой штурм", в другой - нет. Результаты работы групп оказались одинаковыми, из чего исследователи сделали вывод о том, что brainstorming не работает. Замечу, что к тому моменту метод "мозгового штурма" был признан во всем мире как эффективный и успешно использовался для решения самых разных задач. То есть, по существу, brainstorming можно было считать практикой с доказанной эффективностью. Результаты упомянутого выше исследования ставили этот тезис под сомнение. В чем же могло быть дело? 

Думаю, что следовало бы, в первую очередь, проверить корректность использования метода в ходе эксперимента. В частности, я бы обратил особое внимание на то, соблюдались ли базовые правила проведения "мозгового штурма", а также на компетентность ведущего. Мой собственный многолетний опыт, как и опыт многих моих коллег, свидетельствует о том, что если все делать правильно, метод работает. 

Вспомнил об этом вчера на заседании клуба PROОЦЕНКУ, когда мы обсуждали, следует ли оценивать влияние проектов, в которых используются практики с доказанной эффективностью. Думаю, что смысл использования практик с доказанной эффективностью как раз и состоит в том, что их влияние гарантировано. Но при условии, что сама практика используется корректно. То есть, необходимо строго контролировать правильность применения практики. Тогда её воздействие будет гарантировано, и можно его не оценивать. 

Однако не все так просто... Дело в том, что в сложных динамических системах, с которыми имеют дело все, кто реализует программы социальной направленности, результаты воздействия очень сильно зависят от контекста и от начальных условий. Это означает, что даже абсолютно корректное применение практики, эффективность которой была доказана в другом контексте либо при иных начальных условиях, может не привести к желаемым результатам. 

Следующее заседание клуба PROОЦЕНКУ пройдет онлайн 9 сентября 2021 года с 11 до 12.30 мск. Объявление о регистрации участников будет размещено в группе "Проектирование и оценка в социальной сфере" на Facebook.  

Что за история с оценкой влияния (воздействия)?

Ближайшее заседание клуба PROОЦЕНКУ (12 августа с 11.00 до 12.30 мск.) будет посвящено оценке влияния или оценке воздействия. Регистрация здесь. 

Тема заседания в этот раз такая, что вопросов может оказаться больше, чем ответов. Но  мы же живем в мирах, которые создаются нашими вопросами :) 

Первый вопрос связан с самим термином "оценка влияния" (или воздействия). По-английски он звучит как impact evaluation. Оказалось, что найти адекватный перевод не так уж легко. Но главное, конечно, смысл. А смысл состоит в том, чтобы выявить влияние программы на те изменения, которые произошли по ходу её реализации, по её окончании или даже спустя некоторое (порой значительное) время. Другими словами, оценка влияния предполагает выявление и обоснование причинно-следственной связи между программой и достигнутыми результатами. 

Почему это важно? 

Когда мы говорим о непосредственных результатах деятельности, их связь с самой деятельностью, как правило, вопросов не вызывает. Например, улучшение знаний участников семинара по теме семинара, очевидно, происходит именно в результате семинара. Другие факторы здесь наверняка также имеются, но их влияние на изменение знаний участников - по сравнению с влиянием собственно обучения - минимально. 

Когда же мы рассматриваем отсроченные эффекты обучения (результаты более высокого уровня), то все сильно усложняется. Представьте, что кто-то говорит: "Мы провели обучение сотрудников, и они стали работать совершенно по-другому!". Здесь наверняка могут возникнуть вопросы о том, в какой мере этот эффект связан именно с обучением. Причина проста: то, как человек работает, зависит от множества факторов. Обучение, как правило, не является среди них определяющим. И тут возникает новый вопрос: а стоит ли вообще вкладываться в обучение? Не является ли обучение своего рода "квази-проектом", который направлен на достижение того, что и так произойдет или на борьбу с тем, чего и так не произойдет? 

Как выделить влияние программы или проекта на фоне множества других факторов? Поговорим об этом в четверг на следующей неделе.