Теория действия

Про теорию изменений у нас знают уже многие и, более того, применяют соответствующий инструментарий на практике. Теория изменений (ТИ) показывает, как наши действия в рамках программы или проекта связаны с ожидаемым результатом. Важнейший элемент ТИ – карта ожидаемых результатов, построенная по принципу «если, то». 

Но для того, чтобы в ТИ появился первый результат (нижнего уровня), необходимо совершить определенные действия. Зачастую эти действия достаточно сложны. Именно поэтому, описывая «теорию программы», Фаннелл и Роджерс* (Funnell, S. C., & Rogers, P. J. (2011). Purposeful program theory: Effective use of theories of change and logic models. San Francisco, CA: Jossey-Bass) предложили рассматривать её как состоящую из двух компонентов: «теории изменений» (в привычном нам значении) и «теории действия».

Теория действия описывает «как» программа будет реализована на практике. Она отвечает на вопрос: «Что именно программа будет делать и в какой последовательности?». В отличие от теории изменений, которая объясняет, почему и в какой последовательности должны наступить желаемые изменения, теория действия фокусируется на операционной логике программы — от ресурсов к активностям и непосредственным результатам. 

Соединяются две теории именно на непосредственных результатах. До них мы действуем, а когда получен непосредственный результат, дальше «запускаются» цепочки результатов более высокого уровня. Если, конечно, мы все правильно придумали и допущения наши сработают 😊

«Теория изменений» и оценка рисков социального проекта

Как известно, «теория изменений» проекта показывает взаимосвязь между деятельностью в рамках проекта и её ожидаемым эффектом, а также допущения, при которых такая связь возможна. Причинно-следственные связи в теории изменений представляются в форме карты ожидаемых результатов. В общем случае карта ожидаемых результатов содержит несколько цепочек ожидаемых результатов, которые связывают действия в рамках проекта с целью проекта. В пределе (в простейшем случае) цепочка ожидаемых результатов может быть одна. Рассмотрим такой пример.

Проект состоит в том, чтобы обучить детей младших классов игре в шахматы. Для этого проводится обучение учителей, а затем детям предлагается (по желанию) ходить на уроки шахмат раз в неделю в течение учебного года. Предполагается, что дети научатся играть в шахматы, и это приведет к позитивным эффектам в сфере их личностного и интеллектуального развития.

Допущения – это те условия, которые важны для успеха проекта, но которые находятся вне сферы его влияния. В частности, в данном случае мы исходим из того, что :

• Любой учитель младших классов сможет квалифицированно преподавать шахматы детям, пройдя наш курс обучения. 
• Родители младших школьников поддержат данную инициативу и не станут возражать против того, что их детям станут еще и шахматы преподавать. 
• Любой ребенок может научиться играть в шахматы.

Каким образом можно использовать теорию изменений для выявления рисков применительно к конкретному социальному проекту? Можно проверить (а) обоснованность причинно-следственных связей (стрелочки на рисунке) и (б) реалистичность допущений.

Например, достаточно ли у нас оснований считать, что есть связь между умением играть в шахматы и эффектами на личностном и интеллектуальном уровнях? (причинно-следственная связь) А вдруг не будет таких эффектов? (риск)

Насколько мы можем быть уверены в том, что родители поддержат данную инициативу? (допущение) А если не поддержат? (риск).

Карта результатов и карта бизнес-процессов

«Цепочка ожидаемых результатов» и «карта ожидаемых результатов» - широко известные способы представления замысла проекта. Карта результатов – неотъемлемая часть теории изменений, лежащей в основе замысла проекта. Цепочка или карта результатов показывают, каким образом действия в рамках проекта приводят к достижению стратегической цели проекта. 

С более подробным описанием карты результатов социально-ориентированного проекта можно ознакомиться по приведенной выше ссылке и во многих других русскоязычных и зарубежных публикациях. 

Вот так может выглядеть карта результатов для программы повышения качества обслуживания. 

Составление карт бизнес-процессов применительно к НКО и к социально-ориентированным проектам обсуждается гораздо реже. Оговоримся сразу, что, если «бизнес» понимать как «дело», любое ДЕЛО, то не существует никаких противопоказаний к использованию инструментария из сферы управления бизнес-процессами в НКО.

Бизнес-процесс – это полная совокупность действий, приводящая к достижению ценного, с точки зрения заказчика, результата или предоставлению услуги. Внешнее сходство с определением «карты результатов» очевидно. Есть даже такое понятие как «карта бизнес-процессов», которая  «крупными мазками» показывает, как работает бизнес. Точно так же, как «карта результатов» показывает, как работает та или иная социальная инициатива. 

Но между картой процессов и картой результатов есть, конечно, целый ряд принципиальных отличий. Начнем с того, что в одном случае акцент делается на цепочки результатов, а в другом – на цепочки действий. Важно также отметить, что в «карте результатов» предполагается, что совершение некой совокупности действий «запускает» цепочки результатов. Аналогия - костяшки домино, расставленные в определенном порядке, которые начинают последовательно падать, если толкнуть первую. 

Еще одно существенное отличие: карта результатов формируется в отношении достижения главного результата, того, что в управлении бизнес-процессами называют ценностью для клиента. Это ценность создается так называемыми «основными процессами». При описании же бизнес-процессов кроме основных принято отдельно рассматривать:  

• вспомогательные (или обеспечивающие) процессы, которые предназначены для поддержки основных, обычно через управление ресурсами и/или инфраструктурой, необходимых основным процессам. Разница между основными и вспомогательными процессами в том, что вспомогательные процессы непосредственно не создают ценность для потребителя. 
• процессы управления, которые предназначены для измерения, мониторинга и контроля деятельности.

Вот так может выглядеть карта процессов торговой компании 

Управление бизнес-процессами (Business Process Management, BPM) – это концепция управления, увязывающая стратегию и цели организации с ожиданиями и потребностями клиентов путем соответствующей организации сквозных процессов. Наверное, можно сказать, что карта результатов ближе к стратегии (теории ДЕЛА, как говаривал гуру менеджмента Питер Друкер), а карта бизнес-процессов к тому, как это ДЕЛО работает. 

В любом случае тут есть, о чем поразмышлять. 

В этой публикации использованы материалы из «Свода знаний по управлению бизнес-процессами» , который я рекомендую как базовую публикацию для всех интересующихся. 

Моделирование и оценка

Этой теме будет посвящено очередное заседание клуба PROОЦЕНКУ, которое пройдет онлайн в четверг 11 ноября с 11 до 12.30 мск. Официальное объявление о заседании будет опубликовано сразу после длинных выходных 8 ноября. 

Разговор пойдет о различных видах моделей, относящихся к объекту оценки, - проекту, программе или деятельности организации в целом. К таким моделям относятся, в частности, логическая рамка (logical framework), логическая модель (logic model), карта результатов (outcomes map), теория изменений (theory of change), теория программы (program theory), теория филантропии (theory of philanthropy), теория фонда (theory of the foundation), системные диаграммы (system diagram). О последних я недавно писал (см. ссылку). 

Сегодня хотел бы особо отметить циклические модели, в которых учитывается нелинейность процессов, происходящих в реальной жизни. Такие модели не только позволяют точнее представить оцениваемую деятельность, но и посмотреть, как развиваются процессы в динамике. При оценке программ и проектов такие модели применяются не очень часто. Приглашаю посмотреть простой пример такой модели. Там представлена т.н. "усиливающая петля" (см рисунок): и позитивные, и негативные тренды в данном случае усиливаются. Для того, чтобы запустить процесс, надо нажать PLAY, а затем выбрать точку, с которой вы хотите начать, и кликнуть по стрелке вверх или вниз, чтобы обозначить тенденцию. Например, если вы решите начать с моего настроения и кликните стрелку вверх, это будет означать улучшение моего настроения. И, наоборот, если вы кликните стрелку вниз, вы увидите, что произойдет при ухудшении моего настроения.

Теория изменений: возможности использования, ограничения, вопросы

Сегодня принимал участие в семинаре по проекту Фонда Gladway и НИУ ВШЭ "Разработка и апробация модели оценки социально-экономического воздействия деятельности". Меня попросили рассказать об опыте использования теории изменений - отличный повод этот опыт осмыслить! Основные тезисы моего сообщения - ниже.

Теория изменений - это... 

• Инструмент описания результатов проекта
• Инструмент проектирования (разработки замысла проекта)
• Способ визуализации замысла проекта
• Способ обоснования причинно-следственной связи между деятельностью в рамках проекта и ее результатами
• Способ определения границ воздействия проекта (см. Допущения)
• Основа для формирования системы мониторинга проекта
• Основа для оценки проекта
• Способ «архивирования» хороших практик в обобщенном виде

Теория изменений - вопросы и ограничения: 

• Как определить оптимальную степень детализации и сложности?
• Можно ли действия встраивать в цепочки результатов? Может ли достижение результата быть условием для осуществления какого-либо действия?
• Не любую стрелку можно «раскрыть» в виде цепочки результатов.
• Для доказательства наличия причинно-следственной связи может понадобиться серьезное исследование. НКО не всегда справятся.
• Достаточно ли у НКО компетенций, чтобы использовать для обоснования ТИ данные научных исследований и научные теории?
• Линейность ТИ (в классическом варианте) не отражает нелинейность жизни
• Усложнение ТИ в случае использования циклических диаграмм. В некоторых случаях необходимость применения специального программного обеспечения.
• Невозможность применения ТИ в динамических ситуациях, которые часто имеют место именно при работе с людьми. Для таких ситуаций ТИ можно построить лишь в ретроспективе.

Очень понравилось сообщение Максима Цыганкова из Центра перспективных управленческих разработок об опыте оценки политик! Надеюсь, в записи будет доступно.

Ожидаемые результаты и допущения в социальном проектировании

Известно, что так называемая "теория изменений" чаще всего представляется в виде 

1. карты ожидаемых результатов, показывающей, как действия в рамках проекта приведут к достижению цели проекта, и 
2. перечня допущений или условий, при соблюдении которых сработает наша "теория", на соблюдение которых мы рассчитываем и которые находятся за пределами нашего влияния. 

Практика показывает, что при разработке "теории изменений" и даже по ходу проекта или программы может возникнуть ситуация, когда изначально принятые допущения перейдут в категорию запланированных результатов. Рассмотрим такую ситуацию на простом примере. 

Предположим, некая компания приняла решение провести обучающий семинар для своих сотрудников. "Теория изменений" состоит в том, что сотрудники получат новые знания, а затем применят их на практике, что приведет к повышению эффективности работы компании. "Теория" сработает при условии, что (а) сотрудники захотят применить новые знания и (б) сотрудники смогут применить новые знания. Это два допущения. Проведение даже самого замечательного семинара, конечно же, не гарантирует соблюдения этих условий. Однако для использования результатов семинара соблюдение обоих условий очень важно. И здесь появляется следующий вопрос: не следует ли нам скорректировать теорию изменений так, чтобы не полагаться на соблюдение необходимых условий, а создать эти условия. Естественно, при этом проект из чисто обучающего превратится в инициативу, ориентированную на изменения в организации, и его рамки расширятся. В дополнение к обучению тогда следует создать систему мотивации сотрудников (чтобы захотели применить новые знания), а также создать условия, в которых новые знания можно будет применить.  В таком случае шансы практического использования результатов обучения существенно возрастут. А допущения уже будут несколько иными...Оставляю это как повод для ваших дальнейших размышлений. 

PS Хотел сюда вставить картинку с новой "картой результатов", но почему-то эта функция в Blogger сейчас не работает. Потому словами пришлось описать. 

А кто сказал, что это легко?

Главное при разработке любой программы - аргументированно показать, как действия в рамках программы приведут к достижению цели программы. Другими словами, речь идет об обосновании причинно-следственных связей между действиями и ожидаемыми результатами. 

Сделать такое описание "теории" программы очень непросто. Трудности начинаются уже на стадии формулировки цели программы. Очередное подтверждение тому -  проект Государственной программы «Патриотическое воспитание граждан Российской Федерации на 2016-2020 годы». Говорят, что Росмолодежь подготовила окончательную версию этого документа. Бюджет программы - около 2 миллиардов рублей. Я не имел возможности ознакомиться с доработанной версией программы, но читал ее проект. 

Вот как в проекте программы были сформулированы цель и задачи программы (курсив мой):

Книжка по теории изменений

Спешу поделиться хорошей новостью! Благотворительный детский фонд "Виктория" разместил на своем сайте книгу, которая называется «Теория изменений: общие рекомендации к применению (из опыта БДФ «Виктория»)». В книге содержится обзор зарубежных публикаций по теории изменений, подробное описание опыта применения теории изменений Фондом "Виктория" и рекомендации по применению теории изменений при планировании программ. Для специалистов по оценке программ эта книга также может быть полезна. Спасибо БДФ "Виктория" за огромную работу по подготовке этой книги к печати и готовность поделиться собственным опытом, а компании Evolution and Philanthropy - за инициирование, финансовую поддержку и активное участие в этом важном проекте. 

Публикация INTRAC по теории изменений

В последнее время все большее число специалистов по проектированию и оценке программ и проектов проявляют интерес к подходу, который принято называть "теории изменений" (theory of change). Насколько мне известно, в ближайшее время Благотворительный детский фонд "Виктория" опубликует пособие по применению "теории изменений", которое включает обзор литературы и опыт применения этого подхода. Пособие было подготовлено при поддержке компании Evolution and Phlilanthropy с нашим активным участием. Я сообщу, когда пособие будет доступно в онлайне. Пока хотел бы поделиться ссылкой на публикацию INTRAC, который представляет свое видение "теории изменений" (на русском языке). Поскольку я знаком с достаточно большим числом публикаций по данной теме, хочу предупредить, что это лишь одна из версий. 

Почему не достигнуты запланированные показатели?

"Провальной с точки зрения повышения доверия граждан к правосудию признала Счетная палата РФ реализацию федеральной целевой программы "Развитие судебной системы России на 2007–2012 годы".

Как сообщает пресс-служба СП, ни один из плановых целевых индикаторов, позволяющих оценить отношение общества к судебной системе и правосудию в целом, по итогам выполнения ФЦП не достигнут" (с портала PRAVO.RU)

Счетная Палаты выявила две основные причины срыва программы в этой части: 

1) недофинансирование мероприятий по информатизации судов общей юрисдикции по сравнению с системой арбитражных судов, 

2) суды недостаточно активно сотрудничают с общественными организациями и СМИ.

Теперь посмотрим на показатели:

То есть, если бы дали денег на информатизацию судов столько, сколько обещали, и больше бы суды работали со СМИ и НКО, то граждане бы стали больше доверять органам правосудия и не жаловались бы на грубость и невнимательность персонала судов. И уж наверняка процессуальные сроки стали бы соблюдаться и судебные акты лучше бы исполнялись! 

Надеюсь, что это просто автор статьи что-то напутал. В противном случае появляются очевидные вопросы к тем, кто проводил оценку данной программы. 

Благодарю Даниила Цыганкова, который поделился ссылкой на данную статью.

Выступление в Астане

Через два дня завершается прием заявок на выступления на конференции IPEN в Астане в сентябре. Мы с коллегами стараемся каждый раз рассказать о том, что нового появилось за прошедший с предыдущей конференции год. Поскольку я вынужден был пропустить конференцию в Тбилиси, то "отчетный период" у меня в этот раз - два года. Тема конференции в Астане - использование результатов оценки при принятии управленческих решений. Решил порассуждать о том, как дизайн программ влияет на оценку их результатов и последующее использование результатов этой оценки. Тема из серии "Боль моя, ты покинь меня" (помните эту песню из к/ф про Штирлица?). Постоянно сталкиваемся с одной и той же проблемой: из-за некачественного дизайна программ (в частности, из-за некорректной постановки целей и изъянов в логике) оценивается то, на что программа повлиять попросту не могла. А то, на что она могла повлиять и повлияла, не оценивается вовсе. Соответственно, результаты оценки не говорят ни о чем применительно к программе, и их использование при принятии управленческих решений попросту противопоказано. Если мое выступление будет включено в программу, заходите - поговорим. Программа конференции будет опубликована до конца июля.

Умный подход к "умным" критериям

Всем известны критерии SMART, котрыми следует руководствоваться при формулировании целей. Слово smart переводится с английского как умный. Одноврменно в данном случае это слово является аббревиатурой (характеристики хорошо сформулированной цели: Specific/конкретная, Measurable/измеримая, Attainable/достижимая, Relevant/значимая, Time-bound/достигается в определенный заранее срок).
Мы все чаще сталкиваемся с ситуациями, когда, критерии SMART трактуются слишком буквально, что приводит к подмене целей показателями их достижения. Это, в свою очередь, приводит к весьма нежелательным последствиям. В частности, создает проблемы с описанием логики программ (порой даже делает ее абсурдной) и смещает фокус с достижения социально значимых результатов на обеспечение заданных значений показателей.
Цель - это образ желаемого результата, видение того, как должна быть решена та или иная социальная проблема. Обратимся к примеру. "Увеличение числа женщин, получащих услуги, в полтора раза" само по себе не является улучшением ситуации, оно может быть лишь признаком того, что иы приближаемся к ситуации, когда "женщины и мужчины имеют равные возможности по получению услуг". Данный проект не про числа, а про равенство, поэтому целью является вторая формулировка. А число женщин, получающих услуги - один из возможных признаков достижения этой цели. Индикаторы были придуманы для того, чтобы измерять то, что непосредственно измерить сложно или невозможно (например, равенство мужчин и женщин). Цели становятся измеряемыми (SMART), когда для каждой их них есть индикаторы (показатели), по которым можно судить о том, что они (цели) достигнуты. Но это отнюдь не означает, что надо использовать индикаторы (показатели) вместо целей.

Что такое impact evaluation?

Термин impact может использоваться по-разному при описании замысла программы и вида оценки. Существует (в английском языке) некоторая путаница.
При описании замысла программы impact относится к цели высокого уровня, и impact всегда выше outcome, если используется именно термин impact, а не какой-то другой. Тут имеется консенсус, хотя, повторюсь, при описании замысла программы понятие impact используется не всегда.
При описании вида оценки понятие impact evaluation может трактоваться (а) как оценка воздействия, т.е. оценка того, в какой мере достигнут ожидаемый impact (см., например, здесь) и (б) как оценка причинно-следственных связей между деятельностью и ее результатами (см., например, здесь). Во втором случае возникает странная ситуация: при проведении impact evaluation чаще может идти речь об уровне outcomes, чем об уровне impact. Занятно, что в первом примере, на который я здесь ссылаюсь, есть ссылка на критерии оценки OECD. OECD, в свою очередь, поясняя понятие impact evaluation (второй пример), указывает, что речь идет об оценке того, как деятельность повлияла на outcomes.

Цепочка результатов

В литературе по проектированию и оценке широко распространено понятие "цепочка результатов" (chain of results). Чаще всего эту цепочку представляют так: "ресурсы - деятельность - непосредственный результат (output) - конечный результат (outcome) - стратегический результат или воздействие (impact)". Я считаю, что в таком представлении цепочки результатов есть одна ошибка и одна неточность.

Ошибка: ресурсы и деятельность не являются результатами, поэтому их неправильно включать в данную цепочку.

Неточность: во избежание путаницы необходимо разделять ожидаемые и фактические результаты.
Цепочка ожидаемых результатов - это иерархия целей, поскольку цель - это образ конечного результата. Эту цепочку можно было бы описать так: "задачи - цель - стратегическая цель (миссия)". Цепочка ожидаемых результатов представляет  намерения.
Термины "непосредственный результат", "конечный результат" и "стратегический результат" ассоциируются скорее с фактическими результатами деятельности. Это уже другая цепочка - цепочка фактических результатов, которая представляет то, что получилось на практике.