Как обосновать, что вы используете практику с доказанной эффективностью

Будем исходить из положений «Стандарта доказательности практик в сфере детства» (МГППУ, 2021). 

«Социальную практику» стандарт определяет как "совокупность взаимосвязанных процедур и способов профессионального воздействия, направленных на достижение заранее запланированных позитивных изменений (социальных результатов) в жизни конкретных социальных групп или общества в целом".

Практикой с доказанной эффективностью называется "социальная практика, описанная в соответствии с правилами доказательного подхода и продемонстрировавшая свою эффективность в ходе исследований (в пользу эффективности которой есть эмпирические свидетельства, полученные в научных исследованиях и представленные профессиональному сообществу)". 

Правила доказательного подхода, согласно Стандарту, предполагают оценку практики по четырем критериям: 

1. Обоснованность логической модели. Оценивается замысел практики — насколько действия соответствуют потребностям и позволяют достичь заявленных результатов. Максимальная оценка означает четкое понимание и обоснованность того, как и почему действия приведут к результату.
2. Результативность (достижение социальных результатов). Оценивается фактическая результативность практики. Максимальная оценка подразумевает достижение устойчивых положительных результатов в сфере детства без негативных побочных эффектов.
3. Обоснованность данных о результатах. Оценивается убедительность доказательств и строгость методологии оценки.
4. Регламентированность практики. Оценивается стандартизированность и воспроизводимость процедур. Максимальная оценка означает высокую предсказуемость и повторяемость действий, закрепленных в методических рекомендациях и регламентах.

Для оценки степени доказанности эффективности практики Стандарт предлагает использовать порядковую шкалу, включающую начальный, базовый и продвинутый уровни. При этом отнесение практики к тому или иному уровню потребует их более-менее развернутого описания, которого в Стандарте пока нет. 

Три практических соображения: 

• На мой взгляд было бы логично использовать идентичные шкалы для оценки по каждому из критериев. 
• Было бы здорово также иметь методику для вынесения общего суждения о практике с учетом полученных по каждому критерию оценок. 
• Я бы добавил к шкале «нулевой» уровень (когда какие-либо доказательства отсутствуют вовсе или почти отсутствуют), и «подтвержденный» уровень, следующий за продвинутым (когда есть все основания считать эффективность доказанной). 

Несколько вопросов об использовании результатов оценки

В октябре 2021 года вышло в свет 5-е издание книги Utilization Focused Evaluation (перевожу это название как «Оценка, ориентированная на практическое использование»). Автором первых 4-х изданий и автором самой концепции Utilization Focused Evaluation (UFE) является Майкл Куинн Пэттон (Michael Quinn Patton). Пятое издание гуру подготовил вместе со своей дочерью Шармейн (Charmagne E. Campbell-Patton).

У меня несколько вопросов:

• Почему использование результатов оценки остается в поле зрения теоретиков и практиков оценки с 70-х годов прошлого века, когда вышло первое издание книги Пэттона? 
• Означает ли это, что проблема использования результатов оценки сохраняется, как минимум, на протяжении последних 50 лет? 
• Не наводит ли это на некоторые мысли относительно самой оценки как функции, дисциплины и профессии?

Думаю, что простого ответа на эти вопросы не существует. И здесь точно есть, о чем подумать и поговорить. В частности, я бы поговорил о том, как обстоят дела с использованием результатов само-оценивания и внутренней оценки. В таких случаях организация точно знает, зачем нужна оценка и использует полученные результаты соответствующим образом. Возможно, если бы оценка развивалась преимущественно «изнутри» организаций как функция управления, проблем с её использованием удалось бы избежать? Как думаете?

Подмена проблемы

На семинаре по системному мышлению обсуждали концепцию «системных архетипов» Питера Сенге, описанных в книге «Пятая дисциплина» и в более поздних публикациях. Такие архетипы (по Сенге)  — это универсальные схемы, объясняющие, почему в разных ситуациях возникают схожие проблемы и почему стандартные решения часто не работают. Полагаю, это важно и для управленцев, и для тех, кто занимается оценкой проектов и программ.

Рассмотрим архетип «Подмена проблемы»: глубинная проблема проявляется в виде симптомов, требующих внимания. Однако зачастую из-за того, что она непонятна или ее решение слишком накладно, люди сдвигают фокус с проблемы на решения, которые им кажутся простыми и эффективными. К сожалению, простые «решения» ведут лишь к облегчению симптомов, тогда как сама проблема остается нерешенной. Она усугубляется, так как кажется, что симптомы исчезли, при этом постепенно система лишается оставшихся возможностей справиться с глубинной проблемой.

Ниже - примеры проявления этого архетипа для разных систем.

Управленческая система

• Проблема: снижение прибыли из-за падения качества продукта.
• Фундаментальное решение: вложиться в переобучение персонала, модернизацию контроля качества и доработку продукта (дорого и долго).
• Симптоматическое решение: провести агрессивную рекламную кампанию «скидки 50%» и сократить расходы на персонал.
• Подмена: прибыль временно растет за счет объема продаж, но качество падает еще сильнее. В итоге компания попадает в зависимость от постоянных скидок, а деньги на реальное улучшение продукта уже отсутствуют.

Личная продуктивность 

• Проблема: хроническая усталость и выгорание.
• Фундаментальное решение: нормализовать сон, уменьшить нагрузку, наладить баланс работа/отдых.
• Симптоматическое решение: пить энергетики, кофе в больших дозах, брать работу на выходные.
• Подмена: человек перестает искать причину усталости, полагаясь на стимуляторы. Со временем их эффективность падает, а здоровье ухудшается. Настоящая проблема (перегрузка) остается и усугубляется.

Здоровье

• Проблема: регулярные головные боли.
• Фундаментальное решение: обследование, поиск причины (например, проблемы с шеей, давлением или стресс).
• Симптоматическое решение: постоянный прием обезболивающих.
• Подмена: боли уходят на несколько часов, но причина не устранена. Возможно развитие лекарственно-индуцированной головной боли (от передозировки анальгетиков), и человек попадает в замкнутый круг: болит голова → пью таблетку → через время болит сильнее.

Четыре измерения «мировоззрения»

На семинаре по системному мышлению обсуждали Критическую системную эвристику (Critical Systems Heuristics / CSH) Вернера Ульриха. Интересная особенность этого метода, по моим наблюдениям, состоит в том, что даже обсуждение инструментария (не применение, а только обсуждение) стимулирует рефлексию и бывает весьма интересным. Обычно, CSH представляют как систематизированную практику критического анализа представлений о границах системы. Одна из категорий границ – то, что Ульрих называет мировоззрением.

Ниже – фрагмент вчерашнего обсуждения. В контексте CSH «мировоззрение» имеет 4 измерения.

Измерение мировоззрения	Вопрос, на который отвечает	Пример (для проекта по работе с подростками)
Онтологическое (природа бытия)	Что считается «реальным»?	«Улучшение — это измеримый навык» vs «Улучшение — это субъективное ощущение»
Эпистемологическое (природа знания)	Как мы узнаём, что улучшение достигнуто?	«Через тесты» vs «Через отзывы родителей» vs «Через интервью с подростком»
Этическое	Что хорошо, а что плохо?	«Равноправие важнее иерархии» vs «Семейная ценность важнее автономии подростка»
Политическое	Кто имеет право принимать решения?	«Команда профессионалов» vs «Родители» vs «Сами подростки»

На рисунке - символ CSH со странички Вернера Ульриха. 

На какие вопросы оценка не ответит

Оценка социального проекта проводится, чтобы что-то важное об этом проекте узнать. Вне зависимости от того, проводите ли Вы оценку своего проекта самостоятельно (само-оценивание) или привлекаете внешнего консультанта (внешняя оценка), в задание на проведение оценки всегда включаются вопросы, на которые надлежит ответить по результатам оценки. Ответы на эти вопросы и есть то самое, что нужно узнать о проекте, лицам, принимающим решения (ЛПР): руководителю проекта, руководителю организации, донору. Для чего им нужна эта информация? Чтобы принять важные хорошо обоснованные решения. Например, чтобы определиться, как дальше развивать проект или как сделать проект самоокупаемым. Именно здесь проходит граница между оценкой и принятием решений! 

Для того, чтобы определиться с тем, как дальше развивать проект, ЛПР может быть нужно что-то узнать, например: 

• В какой мере изменились потребности целевой группы за период реализации проекта? Насколько проект смог адаптироваться к этим изменениям?

Это вопросы можно включить в ТЗ на проведение оценки. Ответы на них помогут ЛПР ответить на следующий вопрос:

• Какова должна быть стратегия развития проекта на ближайшие годы? 

Но этот вопрос не может быть включен в задание на проведение оценки, т.к. ответ на него не может быть получен с помощью систематического сбора и анализа данных о ходе и результатах проекта (оценка). Ответ на него дает лицо, принимающее решения, с учетом многих факторов, включая результаты оценки.

Оценка, помогающая обрести веру в свои силы

Empowerment Evaluation (EE) — это подход, при котором участники программы сами проводят оценку, а профессиональный оценщик выступает в роли коуча или критического друга, помогающего им в этом процессе. Название перевести на русский язык довольно сложно. Смысл слова empowerment точнее всего можно описать как «обретение веры в свои силы». Таким образом получается, что ЕЕ – это «оценка, помогающая обрести веру в свои силы». Автор подхода американец Дэвид Феттерман в своих работах подчеркивает связь EE с концепциями самоопределения (self-determination) и создания потенциала (capacity building).

Замысел ЕЕ (с позиции внешнего консультанта) можно описать примерно так : «EE — это оценка, в которой профессиональный внешний оценщик сознательно уходит из позиции «эксперта, выносящего суждения» и занимает позицию «тренера-фасилитатора», передавая инструменты оценки участникам и благополучателям программы (стейкхолдерам). Успех оценки измеряется не точностью рекомендаций оценщика, а способностью сообщества самостоятельно продолжать оценочную практику после ухода внешнего консультанта (фасилитатора). При этом граница профессии проходит там, где оценщик начинает подменять своими действиями совместную деятельность участников. Его задачи в рамках ЕЕ - воодушевлять, учить, поддерживать».

Основные принципы ЕЕ:

1. Улучшение — фокус на том, чтобы помочь программе добиться успеха.
2. Общественное владение — контроль за оценкой принадлежит самой организации/сообществу.
3. Инклюзивность — вовлечение всех ключевых заинтересованных сторон.
4. Демократическое участие — оценка как сотрудничество, совместная деятельность.
5. Социальная справедливость — цель подхода — влиять на ситуацию с прицелом на общественное благо.
6. Знание сообщества — уважение и использование опыта и мудрости самого сообщества.
7. Использование доказательных стратегий — уважение к тому, что уже признано эффективным наукой и практикой.
8. Создание потенциала — обучение команды базовым навыкам оценки для лучшего понимания и использования данных.
9. Организационное обучение — формирование в организации культуры обучения.
10. Подотчетность — измерение достижения целей, при этом и положительные, и отрицательные результаты считаются ценными для дальнейших улучшений.

Вспоминаю обсуждение этого подхода с одной моей американской знакомой, которая хорошо известна в мире и как теоретик, и как практик в сфере оценки программ. Разговор был неформальный. Она сказала, что, будучи представителем среднего класса (весьма зажиточным), не считает себя вправе сподвигать малоимущих людей на ЕЕ. По её мнению, неэтично призывать таких людей поверить в свои силы, когда ты не являешься одним из них.

PS Картинка - из статьи про Employee Empowerment - как способствовать тому, чтобы сотрудники поверили в свои силы.

Оценка воздействия результатов оценки

В сообществе XCEval (значительно более 1000 подписчиков по всему миру) сейчас обсуждается свежая публикация EVALSDGs*, название которой по смыслу можно перевести как «Руководство по проведению оценки, следующей за оценкой» («Follow-up Evaluation Guidance»).

Автор (Denis Jobin) указывает на то, что мало отслеживать лишь выполнение рекомендаций, содержащихся в отчете о проведении внешней оценки (это отслеживание - вопрос внутреннего управленческого контроля). По мнению автора, нужно еще уделить внимание тому, каковы результаты внедрения этих рекомендаций. А для этого надо провести внешнюю оценку использования результатов внешней оценки.

Приведу определение такой оценки (будем называть её «последующей») из упомянутого руководства: 

«Последующая оценка представляет собой систематический и независимый ассесмент (assessment) того, были ли реализованы рекомендации и согласованные действия, полученные в ходе предыдущей оценки, были ли они достаточны для устранения первоначальных проблем и их коренных причин, а также способствовали ли они улучшению политики, программ, систем, процесса принятия решений или результатов.

Она отличается от рутинного отслеживания реакции менеджмента на результаты внешней оценки. Отслеживание реакции обычно заключается в проверке того, были ли выполнены согласованные по итогам оценки действия. Последующая (внешняя – АК) оценка задает более глубокий оценочный вопрос: привели ли предпринятые действия к результату, устранили ли первоначальную проблему и снизили ли связанные с ней риски?».

Как вам такая идея? Если «прокатит», то у внешних оценщиков в системе ООН появятся дополнительные заказы. Но что-то мне подсказывает, что менеджеры и руководители программ могут быть не в восторге от такого нововведения.

*EVALSDGs — это сеть заинтересованных и квалифицированных политиков, учреждений и практиков, которые отстаивают важнейшую роль оценки в достижении Целей устойчивого развития. 

PS Почему-то на платформе Blogspot проблемы с загрузкой картинок. Потому сегодня пост без иллюстрации.

Теория действия

Про теорию изменений у нас знают уже многие и, более того, применяют соответствующий инструментарий на практике. Теория изменений (ТИ) показывает, как наши действия в рамках программы или проекта связаны с ожидаемым результатом. Важнейший элемент ТИ – карта ожидаемых результатов, построенная по принципу «если, то». 

Но для того, чтобы в ТИ появился первый результат (нижнего уровня), необходимо совершить определенные действия. Зачастую эти действия достаточно сложны. Именно поэтому, описывая «теорию программы», Фаннелл и Роджерс* (Funnell, S. C., & Rogers, P. J. (2011). Purposeful program theory: Effective use of theories of change and logic models. San Francisco, CA: Jossey-Bass) предложили рассматривать её как состоящую из двух компонентов: «теории изменений» (в привычном нам значении) и «теории действия».

Теория действия описывает «как» программа будет реализована на практике. Она отвечает на вопрос: «Что именно программа будет делать и в какой последовательности?». В отличие от теории изменений, которая объясняет, почему и в какой последовательности должны наступить желаемые изменения, теория действия фокусируется на операционной логике программы — от ресурсов к активностям и непосредственным результатам. 

Соединяются две теории именно на непосредственных результатах. До них мы действуем, а когда получен непосредственный результат, дальше «запускаются» цепочки результатов более высокого уровня. Если, конечно, мы все правильно придумали и допущения наши сработают 😊

Что мы называем «оценкой»

В начале 80-х годов прошлого века Американская ассоциация оценки (American evaluation association) сформировала рабочую группу, задачей которой было определить виды деятельности, относящиеся к оценке в контексте социального проектирования и управления социальными проектами и программами.  

Вот что у них получилось: 

• Предпроектная оценка
• Оценка оцениваемости
• Мониторинг
• Формирующая оценка (formative evaluation)
• Суммирующая оценка (summative evaluation)
• Мета-оценка

Все что перечислено выше, относится к program evaluation. Термин этот можно понять и перевести и как «оценка программ», и как «программная оценка». «Программная оценка» по-русски звучит не очень. Прижился первый вариант перевода. Сейчас мы часто используем расширенную формулировку: «оценка программ и проектов социальной направленности». Такая формулировка соответствует общепринятым определениям program evaluation за рубежом. Например, Майкл Пэттон определяет такую оценку как «систематический сбор информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее». То есть речь идет об оценке программы (проекта) на стадии реализации либо по завершении. 

А как быть тогда с предпроектной оценкой? Оценкой ситуации? Оценкой потребностей? Оценкой заявок? Оценкой оцениваемости? Все виды оценки, которые не относятся к фазам реализации либо завершения проекта оказываются за пределами program evaluation.

Мне кажется важным сделать определение инклюзивным, чтобы не оставлять «за кадром» перечисленные выше виды оценки, значимые для социальных проектов и программ. Предлагаю к размышлению и обсуждению экспериментальную формулировку такого определения (все, что выделено курсивом). 

Оценка в контексте социального проектирования и управления социальными проектами – это систематический сбор и анализ информации

• о ситуации, на которую призван повлиять проект,
• о замысле проекта, 
• о деятельности в рамках проекта, ее характеристиках и результатах. 

На стадиях инициирования и планирования проекта оценка проводится для того, чтобы разработать проект наилучшим образом или усовершенствовать его дизайн.

По завершении планирования проекта оценка проводится для того, чтобы обосновать решение о его финансировании. 

На стадии реализации оценка проводится для обеспечения эффективного выполнения проекта. 

На стадии завершения проекта оценка проводится, чтобы вынести обоснованные суждения о результатах проекта и эффективности использования средств; а также, чтобы  определить целесообразность продолжения деятельности, начатой в рамках проекта, и разработать планы на будущее.

Строим или оцениваем?

Те, кто начинает знакомиться с оценкой проектов и программ социальной направленности, часто сталкиваются с проблемой использования оценки при разработке чего-либо. Проблема состоит в следующем. Новые знания хочется применить для решения актуальной задачи. При этом актуальная задача может заключаться в разработке чего-либо, например, нового проекта или новой организационной системы. И здесь оказывается, что инструменты оценки не работают как надо. Скажем, формулирование вопросов задания, сразу ставит в тупик: «Что вы хотели бы узнать о проекте?». А проекта-то пока и нет вовсе. Оценка предполагает наличие объекта, который оценивается. В отличие от разработки, когда результатом является создание объекта. 

Может ли оценка пригодиться при разработке проекта? Конечно! Один из распространенных вариантов – оценка ситуации или оценка потребностей. Объектами оценки в этом случае будут, соответственно, ситуация или потребности целевой группы. Полученная информация поможет в разработке проекта. Ключевые вопросы при использовании оценки для разработки: «Что вам нужно узнать для разработки … (сюда вставляем наименование объекта, который разрабатывается)? Как вы будете использовать эту информацию при разработке?».