Как обосновать, что вы используете практику с доказанной эффективностью

Будем исходить из положений «Стандарта доказательности практик в сфере детства» (МГППУ, 2021). 

«Социальную практику» стандарт определяет как "совокупность взаимосвязанных процедур и способов профессионального воздействия, направленных на достижение заранее запланированных позитивных изменений (социальных результатов) в жизни конкретных социальных групп или общества в целом".

Практикой с доказанной эффективностью называется "социальная практика, описанная в соответствии с правилами доказательного подхода и продемонстрировавшая свою эффективность в ходе исследований (в пользу эффективности которой есть эмпирические свидетельства, полученные в научных исследованиях и представленные профессиональному сообществу)". 

Правила доказательного подхода, согласно Стандарту, предполагают оценку практики по четырем критериям: 

1. Обоснованность логической модели. Оценивается замысел практики — насколько действия соответствуют потребностям и позволяют достичь заявленных результатов. Максимальная оценка означает четкое понимание и обоснованность того, как и почему действия приведут к результату.
2. Результативность (достижение социальных результатов). Оценивается фактическая результативность практики. Максимальная оценка подразумевает достижение устойчивых положительных результатов в сфере детства без негативных побочных эффектов.
3. Обоснованность данных о результатах. Оценивается убедительность доказательств и строгость методологии оценки.
4. Регламентированность практики. Оценивается стандартизированность и воспроизводимость процедур. Максимальная оценка означает высокую предсказуемость и повторяемость действий, закрепленных в методических рекомендациях и регламентах.

Для оценки степени доказанности эффективности практики Стандарт предлагает использовать порядковую шкалу, включающую начальный, базовый и продвинутый уровни. При этом отнесение практики к тому или иному уровню потребует их более-менее развернутого описания, которого в Стандарте пока нет. 

Три практических соображения: 

• На мой взгляд было бы логично использовать идентичные шкалы для оценки по каждому из критериев. 
• Было бы здорово также иметь методику для вынесения общего суждения о практике с учетом полученных по каждому критерию оценок. 
• Я бы добавил к шкале «нулевой» уровень (когда какие-либо доказательства отсутствуют вовсе или почти отсутствуют), и «подтвержденный» уровень, следующий за продвинутым (когда есть все основания считать эффективность доказанной). 

Непосредственные результаты

В социальном проектировании непосредственными результатами (outputs) называют прямое следствие череды действий в рамках проекта. Казалось бы, все просто: выполнил действие - получил непосредственный результат. Однако, как ни странно, и в зарубежных, и в российских публикациях мнения о том, что считать непосредственным результатом расходятся радикальным образом. И похоже, что у нас ошибочная позиция становится все более и более популярной. Она заключается в том, что к непосредственным результатам относят характеристики выполненной деятельности. 

Предположим, в рамках проекта проводится обучение. Собственно обучение является деятельностью в рамках проекта. Здесь вопросов ни у кого не возникает. А теперь внимание! Непосредственными результатами обучения называют следующее: сколько учебных курсов организовали, сколько часов длились занятия, сколько человек приняли участие в обучении. Но всё перечисленное относится к самой деятельности, характеризует ее масштабы, отвечает на вопрос о том, сколько мы всего сделали. Все это характеристики (показатели) выполненной деятельности, но никак не ее непосредственные результаты. Что же является непосредственным результатом обучения, его прямым следствием? То, что происходит с обучаемыми: изменение их знаний, умений, навыков, отношения к чему либо. 

Почему важно правильно формулировать непосредственные результаты? Потому что, если этого не сделать корректно, появится разрыв в логике проекта между деятельностью и ожидаемым конечным результатом проекта. Это, в свою очередь, может существенно снизить обоснованность замысла проекта, нам будет сложно доказать, что наши действия приведут к достижению желаемой цели. К тому же, не зная непосредственных результатов, может оказаться весьма сложно провести оценку проекта.

Предположим, речь идет об обучении пенсионеров компьютерной грамотности. Мы рассчитываем, что после обучения они станут пользоваться компьютером и расширят круг общения; найдут родственников, старых друзей и коллег в соцсетях; станут заказывать лекарства и продукты на дом. В конечном итоге, это приведет к повышению качества их жизни. В данной логике имеется разрыв - отсутствует непосредственный результат. Человек отсидел несколько часов на курсах и вернулся домой. В каком случае он сможет пользоваться компьютером со всеми вытекающими чудесными последствиями? Только в том случае, когда у него в результате обучения появились соответствующие навыки и знания. Вполне можно допустить, что обучение будет проведено так, что учащиеся не в полной мере освоят предложенный им материал и не сформируют необходимых навыков. Далее, соответственно, ничего не произойдет, и цель проекта достигнута не будет. Когда мы оцениваем подобный проект, который потерпел неудачу, мы обязательно обращаемся к тому, в какой мере удалось достичь непосредственных результатов (формирование новых знаний и навыков), поскольку именно здесь может оказаться причина возникшей проблемы. 

Важно отделять непосредственные результаты деятельности от самой деятельности. Это, кстати, может оказаться не так уж и просто. Куда проще отнести к непосредственным результатам число обученных и продолжительность занятий в часах. Возможно, именно поэтому и возникает столь распространенная ошибка? 

Возможности для профессионального развития - международные новости

По разным каналам почти одновременно пришли следующие новости: 

• Открыт прием заявок на выступления на конференции Европейского общества оценки, которая пройдет в Копенгагене 21-25 октября. Тема конференции "Оценка в неопределенном мире: сложность, легитимность и этика". 
• Открыт прием заявок на выступления на конференции Американской ассоциации оценки, которая пройдет с 26 по 31 октября в г.Портленд, шт.Орегон. Тема конференции в этом году прямо-таки романтическая: "Как ты будешь светить своим светом?" ("How Will You Shine Your Light").  Заметьте, что участники европейской конференции успевают на американскую. Просто надо сразу улетать из Копенгагена в Портленд. Очень удобно! :)   
• Открыт прием заявок на обучение по программе IPDET (International Program for Development Evaluation Training). В этом году обучение пройдет с 6 по 24 июля в Берне, Швейцария. 
• Открыт прием заявок на онлайновый курс по проектированию. Курс проводится Международным тренинговым центром Международной организации труда в Турине. Окончившие получают сертифкат. 

Ожидаемые результаты и допущения в социальном проектировании

Известно, что так называемая "теория изменений" чаще всего представляется в виде 

1. карты ожидаемых результатов, показывающей, как действия в рамках проекта приведут к достижению цели проекта, и 
2. перечня допущений или условий, при соблюдении которых сработает наша "теория", на соблюдение которых мы рассчитываем и которые находятся за пределами нашего влияния. 

Практика показывает, что при разработке "теории изменений" и даже по ходу проекта или программы может возникнуть ситуация, когда изначально принятые допущения перейдут в категорию запланированных результатов. Рассмотрим такую ситуацию на простом примере. 

Предположим, некая компания приняла решение провести обучающий семинар для своих сотрудников. "Теория изменений" состоит в том, что сотрудники получат новые знания, а затем применят их на практике, что приведет к повышению эффективности работы компании. "Теория" сработает при условии, что (а) сотрудники захотят применить новые знания и (б) сотрудники смогут применить новые знания. Это два допущения. Проведение даже самого замечательного семинара, конечно же, не гарантирует соблюдения этих условий. Однако для использования результатов семинара соблюдение обоих условий очень важно. И здесь появляется следующий вопрос: не следует ли нам скорректировать теорию изменений так, чтобы не полагаться на соблюдение необходимых условий, а создать эти условия. Естественно, при этом проект из чисто обучающего превратится в инициативу, ориентированную на изменения в организации, и его рамки расширятся. В дополнение к обучению тогда следует создать систему мотивации сотрудников (чтобы захотели применить новые знания), а также создать условия, в которых новые знания можно будет применить.  В таком случае шансы практического использования результатов обучения существенно возрастут. А допущения уже будут несколько иными...Оставляю это как повод для ваших дальнейших размышлений. 

PS Хотел сюда вставить картинку с новой "картой результатов", но почему-то эта функция в Blogger сейчас не работает. Потому словами пришлось описать. 

Доказательная филантропия

Несмотря на то, что международные эксперты считают доказательность одной из значимых и наиболее вероятных характеристик будущего филантропии, термин "доказательная филантропия" у нас пока не очень распространен. Google дает всего три (!) ссылки на русскоязычные публикации, в которых этот термин используется. Хронологически первая из них под названием "Доказательная филантропия: практические советы" относится к 2016 году и представляет собой краткий обзор некоторых зарубежных публикаций, подготовленный АНО "Эволюция и филантропия". В 2018 году АСИ опубликовало большое интервью с директором КАФ Марией Черток, которое называется "Доказательная благотворительность". 

Доказательный подход предполагает обоснованное принятие наиболее значимых решений с использованием надежных данных. 

Имеются в виду, например, такие решения, которые приходится принимать руководителям филантропических организаций: 

• Как выбрать проблему, на решение которой направить усилия? 
• Что именно поддерживать? 
• Как финансировать? (несколько больших или много маленьких грантов? продолжительность финансирования? насколько ограничивать грантополучателя? и т.д.)

В качестве обоснования используются знания и опыт грантодателя, мнение благополучателей, результаты научных исследований, результаты оценки деятельности организации и её результатов. Очевидно, что оценка проектов и программ органично встраивается в концепцию доказательной филантропии как механизм, позволяющий получать информацию для принятия значимых управленческих решений. 

Один из дискуссионных вопросов в сфере доказательной филантропии выглядит следующим образом.

Что правильнее:

• Жестко увязывать качество данных со способом их получения (в традициях доказательной медицины).

                                         или

• Использовать критическое мышление в сочетании с лучшими из доступных доказательств, не увязывая их качество со способом получения (что ближе к традициям доказательного менеджмента).

А как бы на этот вопрос ответили Вы? 

Социальное проектирование и оценка: взгляд в будущее

В Алматы проходит международная конференция, посвященная обсуждению развития гражданского общества в странах Центральной Азии. Организатор конференции - Ассоциация развития гражданского общества (АРГО). Мне предложили выступить с 5-минутным "импульсным" докладом на тему "Социальное проектирование и оценка: взгляд в будущее", чтобы обозначить несколько возможных тем для дискуссии. В очередной раз убедился, что подготовить 5-минутное выступление намного сложнее, чем 1,5-часовое :) 

Вот мой "взгляд в будущее" (имеется в виду наш регион): 

1) ТВОРЧЕСТВО. Будет расти значимость творческой составляющей в социальном проектировании. Люди будут уделять больше времени именно поиску оптимального решения. Повысится интерес к методам поиска новых идей и решений, к т.н. дизайн-мышлению. 

2) ДОКАЗАТЕЛЬНОСТЬ. Будет расти стремление лучше обосновывать замысел проекта и решения, связанные с управлением проектом. В том или ином виде будет внедряться доказательный подход к проектированию. Соответственно, будет расти запрос на оценку на всех стадиях жизненного цикла проекта.

3) ОТ ТОГО, ЧТО ПРОЩЕ, К ТОМУ, ЧТО ВАЖНЕЕ. В развитии оценки будет происходить смещение фокуса с того, что проще оценить (мероприятия), на то, что важнее оценить (результаты, воздействие). 

4) АДАПТИВНОСТЬ. И в проектировании, и в оценке социальных программ и проектов все большее значение будет приобретать адаптивность - способность перестраиваться на ходу с учетом изменяющихся условий.  

Нашего полку прибыло

В России появилась новая некоммерческая организация - Центр перспективных управленческих решений (ЦПУР). Её единственный учредитель и руководитель Мария Шклярук поясняет: "У ЦПУР есть понятная миссия: мы хотим развивать в России принятие решений, основанное на данных (evidence-based & data-driven policymaking). Политики, государственные чиновники должны уметь просчитывать последствия своего выбора и в своих решениях опираться в том числе на доказательственные методы. Наша задача — с помощью этих методов, донесенных в простой и понятной форме, показать, как правильно принимать решения, которые будут достигать изначально задуманного результата, а не порождать больше проблем, чем было до начала их внедрения. Про российских чиновников часто говорят известную фразу: «Хотели как лучше, а получилось как всегда». Мы хотим сделать так, чтобы если «хотели как лучше», то и получилось лучше".

Убедительность обоснований

Любопытная заметка Адриана Брауна (Adrian Brown) относительно убедительности обоснований эффективности (или неэффективности) программ.

Многие знают о том, что в США была программа , в рамках которой подростков группы риска (та категория детей, которых у нас ставят на учет в КДН) организованно возили на экскурсию в тюрьму. Замысел был такой: увидят, куда они могут попасть, и одумаются. Важной составляющей экскурсии (фактором воздействия) были оскорбления посетителей заключенными. В общем, можно сказать, что подростков пытались серьёзно напугать. Собственно, программа так и называлась Scared Straight. Знающие английский язык могут посмотреть видео.

В 2012 году был проведен систематический анализ 7 разных исследований данной программы, который показал, что программа не работает так, как было задумано. Напротив, она провоцирует правонарушения со стороны подростков, которые в ней участвовали. С тех пор в США и во многих других странах программа получила "черную метку" от апологетов доказательного подхода как "технология с доказанной неэффективностью". 

Между тем, по мнению А.Брауна, все не так просто. Если посмотреть внимательнее на те 7 исследований, которые легли в основу анализа эффективности программы, обнаруживается, что 

а) все исследования проведены в США,

б) они проведены достаточно давно (1967-1982)

в) лишь два из них являются статистически значимыми, при этом они оба имеют серьезные недостатки. В частности, в одном из этих исследований было обнаружено, что в экспериментальной группе (те, кто был на экскурсии в тюрьме) 5 подростков совершили преступления, а в контрольной группе (те, кто не был на экскурсии) преступления совершили 6 подростков. Таким образом, если бы в экспериментальной группе еще один мальчик совершил правонарушение, всё рассыпалось бы.

О чем, по мнению А.Брауна, следует подумать:

• Насколько убедительны доказательства эффективности социальных технологий, которые подаются под маркой "систематического анализа"? 
• Не может ли жесткая ориентация на "доказанную эффективность" мешать внедрению новшеств и сбору информации о том, что может, на самом деле, работать?
• Возможно, практикующим специалистам не следует слишком уж "зацикливаться" на формальных критериях "убедительности обоснований". Постоянная рефлексия собственного опыта и обсуждение того, что работает, а что не работает и почему, могут оказаться весьма полезными.

Благодарю за информацию о данной публикации Даниила Цыганкова!

Оценочные исследования и доказательный менеджмент в социальной сфере

Вчера в Общественной Палате РФ состоялся "круглый стол" на тему "Актуальные проблемы профессионализации социальных инициатив: вызовы времени и перспективы сотрудничества ВУЗов с негосударственными организациями". Мероприятие было организовано Центром доказательного социального проектирования при МГППУ, о котором я писал недавно.

Свое выступление в рамках "круглого стола" я назвал "Оценочные исследования и доказательный менеджмент в социальной сфере". Тезисы выступления приведены ниже. Презентацию в формате PDF можно посмотреть или скачать здесь. 

Доказательное социальное проектирование

В прошлом году на базе Московского городского психолого-педагогического университета (МГППУ) был создан Центр доказательного социального проектирования, который возглавила Анна Тихомирова. Создание центра - знаменует одну из первых попыток системного применения принципа доказательности в социальном проектировании в нашей стране. Оценка проектов (систематический сбор информации для ее последующего использования в принятии управленческих решений) является неотъемлемой частью "доказательного" подхода, поэтому я решил эту тему включить в блог.

Идея "доказательности" впервые появилась в медицине (см. "доказательная медицина").
"Доказательная медицина" или "Медицина, основанная на доказательствах" (от английского Evidence-Based Medicine) - это "совокупность методологических подходов к проведению клинических исследований, оценке и применению их результатов. В узком смысле «доказательная медицина» - это способ (разновидность) медицинской практики, когда врач применяет в ведении пациента только те методы, полезность которых доказана в доброкачественных исследованиях" (цитата заимствована с указанного выше сайта). 

Адаптировав удачный опыт использования доказательной медицины к менеджменту, ученые из Гарварда Дж.Пфеффер и Р.Саттон предложили управленцам идею "доказательного менеджмента": "Неопровержимые факты и обстоятельства, характерные для конкретного предприятия, а не полуправда и домыслы лежат в основе правильного управленческого решения, принимаемого всеми лидерами без исключения. Однако далеко не всем управленцам это очевидно. Слепое копирование модных и популярных управленческих решений, которые работают на других предприятиях, подчас приводит к дорогостоящим или непоправимым ошибкам" (цитата заимствована с указанного выше сайта).

Идея "доказательного социального проектирования" (вариант английского названия: evidence-based social programming) активно развивается за рубежом. В интернете уже доступны пособия по применению этого подхода. 

Полагаю, что при всей привлекательности идеи "доказательности" ее полномасштабное внедрение в социальной сфере в нашей стране будет сопряжено с объективными трудностями. В частности, будет крайне проблематично найти (или сформировать?) серьезную базу данных с результатами массовых хорошо обоснованных научных исследований эффективности тех или иных подходов к решению социальных проблем. Впрочем, медики нашли выход: они пользуются открытыми постоянно обновляемыми базами знаний. Возможно ли такое в социальной сфере?