Как обосновать, что вы используете практику с доказанной эффективностью

Будем исходить из положений «Стандарта доказательности практик в сфере детства» (МГППУ, 2021). 

«Социальную практику» стандарт определяет как "совокупность взаимосвязанных процедур и способов профессионального воздействия, направленных на достижение заранее запланированных позитивных изменений (социальных результатов) в жизни конкретных социальных групп или общества в целом".

Практикой с доказанной эффективностью называется "социальная практика, описанная в соответствии с правилами доказательного подхода и продемонстрировавшая свою эффективность в ходе исследований (в пользу эффективности которой есть эмпирические свидетельства, полученные в научных исследованиях и представленные профессиональному сообществу)". 

Правила доказательного подхода, согласно Стандарту, предполагают оценку практики по четырем критериям: 

1. Обоснованность логической модели. Оценивается замысел практики — насколько действия соответствуют потребностям и позволяют достичь заявленных результатов. Максимальная оценка означает четкое понимание и обоснованность того, как и почему действия приведут к результату.
2. Результативность (достижение социальных результатов). Оценивается фактическая результативность практики. Максимальная оценка подразумевает достижение устойчивых положительных результатов в сфере детства без негативных побочных эффектов.
3. Обоснованность данных о результатах. Оценивается убедительность доказательств и строгость методологии оценки.
4. Регламентированность практики. Оценивается стандартизированность и воспроизводимость процедур. Максимальная оценка означает высокую предсказуемость и повторяемость действий, закрепленных в методических рекомендациях и регламентах.

Для оценки степени доказанности эффективности практики Стандарт предлагает использовать порядковую шкалу, включающую начальный, базовый и продвинутый уровни. При этом отнесение практики к тому или иному уровню потребует их более-менее развернутого описания, которого в Стандарте пока нет. 

Три практических соображения: 

• На мой взгляд было бы логично использовать идентичные шкалы для оценки по каждому из критериев. 
• Было бы здорово также иметь методику для вынесения общего суждения о практике с учетом полученных по каждому критерию оценок. 
• Я бы добавил к шкале «нулевой» уровень (когда какие-либо доказательства отсутствуют вовсе или почти отсутствуют), и «подтвержденный» уровень, следующий за продвинутым (когда есть все основания считать эффективность доказанной). 

Доказательный подход и оценка

К сожалению, не смогу присутствовать на следующем заседании клуба PROОЦЕНКУ 9 ноября, которое будет посвящено обсуждению связи доказательного подхода в социальной сфере и оценки проектов и программ. Поучаствую в обсуждении через блог – авансом 😊 

Остановлюсь на вопросе о том, как доказательный подход соотносится с оценкой проектов и программ. Полагаю, что для ответа на этот вопрос нужно, в первую очередь, разобраться с терминологией.

1) «Доказательный подход» к управлению социальными проектами.

Доказательный подход к управлению чаще называют «доказательным менеджментом». По ярлычку «доказательный менеджмент» в этом блоге можно найти несколько публикаций. В одной из них (2016 г.) предлагаются следующие характеристики доказательного подхода к управлению социальными проектами: 

• Подразумевает обязательное обоснование решений, принимаемых на всех стадиях жизненного цикла проекта.
• Предполагает использование лучших из доступных доказательств для обоснования решений.
• Не предполагает жесткого увязывания качества доказательств со способами их получения (как это принято, например, в доказательной медицине). 
• Учитывает возможные различия в восприятии качества доказательств различными заинтересованными сторонами.
• Допускает использование в виде доказательств научных данных, организационных данных, живого опыта, ценностей и принципов. 
• Учитывает, что большинство проектов содержат и простые, и сложные, и динамичные компоненты. Предполагает использование разных доказательств для разных компонентов. При выборе обоснований применительно к динамичным компонентам учитывает контекст и начальные условия.

В этот контекст оценка абсолютно органично вписывается как средство получения тех самых «доказательств».

2) «Доказательная практика» (evidence-based practice). 

Словарь определяет понятие «практика» как «деятельность людей, в к-рой они, воздействуя на материальный мир в процессе производства, преобразуют его». Если толковать понятие «практика» широко именно как «практическую деятельность», например, по управлению социальными проектами, то все сказанное выше оказывается применимо и здесь. 

В «Стандарте доказательности социальных практик в сфере детства» находим более узкое определение: «Практика (социальная практика) – система взаимосвязанных действий, направленных на достижение позитивных изменений (социальных результатов) в жизни конкретных групп благополучателей». Там же «доказательный подход» определяется как «основанный на систематическом поиске обоснований и применении методов, призванных доказать, что реализация той или иной практики приводит к достижению социальных результатов для конкретных групп благополучателей». 

Заглядываем в «Реестр (банк) доказательных практик» на сайте Фонда Тимченко. 

Пример: «Практика оказания комплексной помощи беременным женщинам и женщинами с новорожденными детьми, находящимся в трудной жизненной ситуации, в том числе изъявляющим намерение отказаться от новорожденного ребёнка, а также в риске причинения жестокого обращения, включает в себя социальное сопровождение целевой группы на этапах беременности (поздние сроки) и актуального материнства в течение первого года после рождения ребенка, а также развитие семейных ресурсов, необходимых для полноценного выполнения родительских функций». 

Что в этом случае означает «доказательная практика»? То, что специалисты «Службы помощи матери и ребенку «Млада» в своей деятельности руководствуются доказательным подходом? Или то, что, если работать в точности как они, то желаемый результат гарантирован? Если имеется в виду второе (вроде бы, так оно и есть), то мне кажется более корректным термин «практика с доказанной эффективностью», который также используется Фондом Тимченко.

Кстати, есть еще одно понятие, которое близко по смыслу и достаточно широко используется у нас: «социальная технология» (совокупность методов и приемов для достижения определенного социального результата). 

Как оценка проектов и программ социальной направленности соотносится с обоснованием ("доказыванием") эффективности «практик» или «социальных технологий»? Очевидно, что вопросы об эффективности и о возможности тиражирования «практики» могут входить в задание на проведение оценки проекта или программы. Соответственно, по результатам оценки может быть вынесено суждение о том, что "практика" эффективна в данном проекте и может быть использована в других аналогичных проектах.

Данные исследований и личный опыт: что работает при принятии решений?

Пфеффер и Саттон - авторы книги "Доказательный менеджмент. Новейшая концепция управления от Гарвардской школы бизнеса" - пишут: "Предположим, врач или менеджер принимает решение, которое не основано на лучших на данный момент доказательствах. В чем его винить? Проще всего предположить худшее: глупость, лень, обман. Но в реальности дело обстоит несколько иначе. Опытные практики избегают поиска новых доказательств (лучших на данный момент - АК), потому что они доверяют своему собственному опыту больше, чем исследованиям. Большинство из них почти наверняка признали бы проблемы с небольшим размером выборки, на базе которой формировался личный опыт, но, тем не менее, информация, полученная из первых рук, часто кажется богаче и ближе к реальным знаниям, чем слова и данные в журнальной статье" (Evidence-Based Management by Jeffrey Pfeffer and Robert I. Sutton).

В качестве подтверждения наблюдения Пфеффера и Саттона приведу две цитаты. 

Президент Беларуси А.Лукашенко (опубликовано РИА "Новости" 02.04.2020):
"Вчера один очень умный россиянин (ученый – ред.), я послушал, сказал: надо физически бороться с ним (коронавирусом – ред.). Я думаю, как же физически? Надо себя защитить от опасности. Спортом заниматься надо и на свежем воздухе быть. Надо легким помочь. Мы, говорит, на диете сидели, а нужна жирная пища. И я тоже ограничивал себя. А сливочное масло надо сейчас есть, оказывается, жир помогает легким бороться с вирусами", - сказал Лукашенко. По словам президента, если специалист, ученый, такое говорит, "наверное, не дурак". "Вот я из опыта своего его в этом поддерживаю" (выделено мной - АК), - заметил он".

Президент США Д.Трамп (опубликовано BBC News 19 мая 2020 года):
"На вопрос о том, что он считает доказательствами положительных качеств  гидроксихлорохина (для профилактики COVID-19 - АК), г-н Трамп ответил: "Вот мои доказательства: я получил много положительных отзывов об этом"  (выделено мной - АК). Он добавил: "Я слышал много хороших историй [о гидроксихлорохине]  (выделено мной - АК), и если это нехорошо, я скажу вам прямо: я не собираюсь причинять себе вред".

Наверное, этот эффект следует отнести к сфере психологии. Мы более склонны признавать данные исследований в качестве доказательств, если они соответствуют нашему личному опыту. И, наоборот, если данные исследований не подтверждаются нашим личным опытом либо противоречат ему, использование таких данных может оказаться под вопросом. Можете провести мысленный эксперимент и проверить, так ли это в Вашем случае применительно к тем решениям, которые принимаете Вы.

Доказательная филантропия

Несмотря на то, что международные эксперты считают доказательность одной из значимых и наиболее вероятных характеристик будущего филантропии, термин "доказательная филантропия" у нас пока не очень распространен. Google дает всего три (!) ссылки на русскоязычные публикации, в которых этот термин используется. Хронологически первая из них под названием "Доказательная филантропия: практические советы" относится к 2016 году и представляет собой краткий обзор некоторых зарубежных публикаций, подготовленный АНО "Эволюция и филантропия". В 2018 году АСИ опубликовало большое интервью с директором КАФ Марией Черток, которое называется "Доказательная благотворительность". 

Доказательный подход предполагает обоснованное принятие наиболее значимых решений с использованием надежных данных. 

Имеются в виду, например, такие решения, которые приходится принимать руководителям филантропических организаций: 

• Как выбрать проблему, на решение которой направить усилия? 
• Что именно поддерживать? 
• Как финансировать? (несколько больших или много маленьких грантов? продолжительность финансирования? насколько ограничивать грантополучателя? и т.д.)

В качестве обоснования используются знания и опыт грантодателя, мнение благополучателей, результаты научных исследований, результаты оценки деятельности организации и её результатов. Очевидно, что оценка проектов и программ органично встраивается в концепцию доказательной филантропии как механизм, позволяющий получать информацию для принятия значимых управленческих решений. 

Один из дискуссионных вопросов в сфере доказательной филантропии выглядит следующим образом.

Что правильнее:

• Жестко увязывать качество данных со способом их получения (в традициях доказательной медицины).

                                         или

• Использовать критическое мышление в сочетании с лучшими из доступных доказательств, не увязывая их качество со способом получения (что ближе к традициям доказательного менеджмента).

А как бы на этот вопрос ответили Вы? 

Социальное проектирование и оценка: взгляд в будущее

В Алматы проходит международная конференция, посвященная обсуждению развития гражданского общества в странах Центральной Азии. Организатор конференции - Ассоциация развития гражданского общества (АРГО). Мне предложили выступить с 5-минутным "импульсным" докладом на тему "Социальное проектирование и оценка: взгляд в будущее", чтобы обозначить несколько возможных тем для дискуссии. В очередной раз убедился, что подготовить 5-минутное выступление намного сложнее, чем 1,5-часовое :) 

Вот мой "взгляд в будущее" (имеется в виду наш регион): 

1) ТВОРЧЕСТВО. Будет расти значимость творческой составляющей в социальном проектировании. Люди будут уделять больше времени именно поиску оптимального решения. Повысится интерес к методам поиска новых идей и решений, к т.н. дизайн-мышлению. 

2) ДОКАЗАТЕЛЬНОСТЬ. Будет расти стремление лучше обосновывать замысел проекта и решения, связанные с управлением проектом. В том или ином виде будет внедряться доказательный подход к проектированию. Соответственно, будет расти запрос на оценку на всех стадиях жизненного цикла проекта.

3) ОТ ТОГО, ЧТО ПРОЩЕ, К ТОМУ, ЧТО ВАЖНЕЕ. В развитии оценки будет происходить смещение фокуса с того, что проще оценить (мероприятия), на то, что важнее оценить (результаты, воздействие). 

4) АДАПТИВНОСТЬ. И в проектировании, и в оценке социальных программ и проектов все большее значение будет приобретать адаптивность - способность перестраиваться на ходу с учетом изменяющихся условий.  

Нашего полку прибыло

В России появилась новая некоммерческая организация - Центр перспективных управленческих решений (ЦПУР). Её единственный учредитель и руководитель Мария Шклярук поясняет: "У ЦПУР есть понятная миссия: мы хотим развивать в России принятие решений, основанное на данных (evidence-based & data-driven policymaking). Политики, государственные чиновники должны уметь просчитывать последствия своего выбора и в своих решениях опираться в том числе на доказательственные методы. Наша задача — с помощью этих методов, донесенных в простой и понятной форме, показать, как правильно принимать решения, которые будут достигать изначально задуманного результата, а не порождать больше проблем, чем было до начала их внедрения. Про российских чиновников часто говорят известную фразу: «Хотели как лучше, а получилось как всегда». Мы хотим сделать так, чтобы если «хотели как лучше», то и получилось лучше".

Конференция по доказательному подходу в социальном проектировании в МГППУ

Сегодня был первый день конференции "Доказательный подход к проектированию и оценке результатов программ в сфере детства", которая проходит в МГППУ. Конференция организована Межотраслевым профессиональным объединением «Оценка программ в сфере детства». 

Мне, к большому сожалению, не удалось попасть вчера на семинары. Говорят, было интересно! Сегодня выступал с сообщением "Доказательный подход к управлению социальными проектами". 

Вот моя версия основных характеристик такого подхода: 

• Подразумевает обязательное обоснование решений, принимаемых на всех стадиях жизненного цикла проекта.
• Предполагает использование лучших из доступных доказательств для обоснования решений.
• Не предполагает жесткого увязывания качества доказательств со способами их получения (как это принято, например, в доказательной медицине). 
• Учитывает возможные различия в восприятии качества доказательств различными заинтересованными сторонами.
• Допускает использование в виде доказательств научных данных, организационных данных, живого опыта, ценностей и принципов. 
• Учитывает, что большинство проектов содержат и простые, и сложные, и динамичные компоненты. Предполагает использование разных доказательств для разных компонентов. При выборе обоснований применительно к динамичным компонентам учитывает контекст и начальные условия.

Полная версия моей презентации здесь.

Хотел бы поздравить всех организаторов конференции с таким важным шагом в развитии доказательного подхода в социальной сфере в нашей стране! Насколько мне известно это первая конференция такого уровня по данной теме в России. 

Отдельная благодарность коллегам из Центра доказательного социального проектирования за саму идею конференции!

Оценочные исследования и доказательный менеджмент в социальной сфере

Вчера в Общественной Палате РФ состоялся "круглый стол" на тему "Актуальные проблемы профессионализации социальных инициатив: вызовы времени и перспективы сотрудничества ВУЗов с негосударственными организациями". Мероприятие было организовано Центром доказательного социального проектирования при МГППУ, о котором я писал недавно.

Свое выступление в рамках "круглого стола" я назвал "Оценочные исследования и доказательный менеджмент в социальной сфере". Тезисы выступления приведены ниже. Презентацию в формате PDF можно посмотреть или скачать здесь. 

Доказательность аргументации

Сегодня в СМИ прошла информация о диалоге, состоявшемся между Советом по правам человека при Президенте РФ и Минкомсвязи. Приведу две цитаты.

Доказательный менеджмент и выборы

В 2008 году у нас была опубликована книга профессоров Гарварда Джеффри Пфеффера и Роберта Саттона, название которой на русском языке звучит как "Доказательный менеджмент" - по аналогии с прижившимся уже термином "доказательная медицина". В оригинале название звучит примерно так: "Менеджмент с опорой на факты" (Evidence-based management). Суть подхода состоит в том, чтобы при принятии важнейших решений опираться на надежную информацию, которую надо уметь находить и интерпретировать. А для этого нужны соответствующие управленческие системы и процедуры.
В Газете.ру опубликована интересная статья, в которой приводятся аргументы в пользу того, что результаты Единой России на прошедших выборах были искуственно завышены. Статья мне понравилась именно характером аргументов. Автор использует официальные статистические данные (как наши, так и зарубежные). Думаю, что дискуссию по такому важному вопросу следует вести именно на таком уровне, а не обсуждать качество нескольких снятых на мобильник видео-сюжетов. Интересно было бы увидеть развернутый ответ на упомянутую статью - в лучших традициях доказательного менеджмента.