Блог: итоги 2019 года

Оказалось что сегодня - последняя среда 2019 года. Поскольку публикации в блоге я размещаю по средам, то в этот раз подведу некоторые итоги.
Больше всего просмотров в 2019 году набрали следующие публикации:
1 место - Ландшафт оценки (15 октября). В этой публикации есть ссылка на презентацию, в которой приведен обзор 79 видов оценки по книге Майкла Пэттона.
2 место - Использование результатов оценки: есть ли шанс что-то улучшить? (11 марта) В этой публикации есть ссылка на 20-минутное видео на английском языке, подготовленное совместно с Международным тренинговым центром Международной организации труда.
3 место - Критерии оценки программ развития обновили (11 декабря)  В этой публикации есть ссылка на статью об обновленных критериях DAC.
Больше всего просмотров блога за месяц было в октябре 2019 года, когда проходила конференция АСОПП в Москве. На втором месте по числу просмотров - март, а на третьем - ноябрь, когда я публиковал ежедневные отчеты об участии в конференции Американской ассоциации оценки в Миннеаполисе.
В следующем году одной из важных тем в этом блоге наверняка станут компетенции специалистов по оценке, поскольку намечается интересная международная инициатива, в которой, надеюсь, наша ассоциация примет активное участие.
Постараюсь сохранить регулярность публикаций - не реже 1 раза в неделю. Хотел бы особо поблагодарить постоянных подписчиков, которые получают новые публикации по электронной почте. Если вдруг кто-то захочет присоединиться, буду рад. Сделать это очень просто: надо в правой колонке блога в окошке под надписью "Получать новые записи по электронной почте" указать свой электронный адрес и нажать "Submit". Наиболее важные и/или интересные (с моей точки зрения) публикации буду дублировать на Facebook. Но туда попадает не всё. Всех с наступающим Новым годом!!!

Две публикации от Фонда Потанина

В прошлом году Фонд Потанина опубликовал отчет об исследовании влияния Фонда, которое мы для них провели, и статью Анатолия Заболотного "ЗАЧЕМ НУЖНО ИССЛЕДОВАТЬ ВЛИЯНИЕ ПРОГРАММ", в которой обсуждается и сам отчет, и оценка влияния как таковая. Поскольку сайт Фонда Потанина обновился, эти две публикации стало непросто отыскать. Потому я решил обновленные ссылки разместить здесь (см.выше).

Критерии оценки программ развития обновили

Вчера 10 декабря 2019 г. на заседании Комитета содействия развитию (Development Assistance Committee / DAC) Организации экономического сотрудничества и развития (OECD) были приняты обновленные критерии оценки программ развития - знаменитые критерии DAC. Этому событию предшествовала большая работа, в которой участвовали сотни специалистов из разных стран. Уточнены определения старых критериев (релевантность, результативность, эффективность, устойчивость и влияние) и добавлен новый критерий "согласованность" (coherence) - как оцениваемая программа вписывается в уже существующие инициативы. Кроме того, добавлены принципы использования критериев. Это важное событие в мире оценки. Подробное описание обновленных критериев можно посмотреть здесь (англ.).

Оценка и социальная справедливость

В последние годы многие говорят о том, что оценка может и должна играть важную роль в достижении социальной справедливости. О чем идет речь? В данном тексте я буду опираться на презентацию RACHEL VOTH SCHRAG (Рейчел Вот Шраг), в которой имеются ссылки на разные авторитетные источники. Фрагменты презентации выделены курсивом.

Ценности социальной справедливости:

• Ресурсы должны быть распределены так, чтобы каждый мог жить достойной жизнью.
• Все люди имеют равные права и должны быть признаны во всем их разнообразии.
• Все люди должны иметь возможность выступать от своего имени, а их мнения должны быть представлены соответствующим образом.

Оценка, ориентированная на социальную справедливость, стремится к пониманию взаимозависимости личности, сообщества и общества; использует разумный демократический процесс для генерирования знаний о социальных проблемах и социальных воздействиях и использует это знание в целях социального развития. 

Ключевым моментом в приведенной выше цитате, на мой взгляд, является упоминание "разумного демократического процесса" и "использования знаний в целях развития". Здесь об этом не говорится, но имеется в виду противопоставление такого подхода к оценке традиционному академическому подходу, где четко определены критерии научного знания. Интересующиеся могут более подробно почитать про "демократию знания", например, здесь. 

Оценка, ориентированная на социальную справедливость:

• отвергает возможность нейтральной позиции того, кто ее проводит,
• предполагает критический анализ социально-политических сил, формирующих контекст оценки, в том числе, анализирует причины принятия решений о проведении оценки,
• освещает неравенства и несправедливости, а не маскирует их,
• направлена на облегчение открытого обсуждения (и признаёт при этом естественные пределы наших возможностей организовать его),
• вовлекает все заинтересованные стороны,
• использует подходы, которые позволяют услышать голос благополучателей на всех этапах процесса оценки,
• ориентирована на использование знаний в целях достижения справедливости и осуществления позитивных перемен.

Хотел бы обратить внимание на последний пункт. Это к теме об "активизме" в оценке, о чем я писал недавно. Имеются в виду действия специалистов по оценке, направленные на те или иные изменения, предпринимаемые ими по собственной инициативе независимо от позиций третьих сторон, например, заказчиков оценки, органов государственной власти и т.д.   

Аллилуйя

Сегодня решил разместить здесь ссылку на одну из песен, которые Майкл Пэттон сочинил про оценку. В данном случае речь идет о провалах в проведении оценки. Более 20 лет слежу за творчеством Майкла. Заметил, что в последнее время песен стало больше! Итак, Аллилуйя. Интересно, что практически всегда находятся в аудитории люди с хорошими голосами, и получается красиво... Если кто-то захочет оригинал песни в отличном исполнении послушать, сюда заходите. Тут с вокалом получше, конечно, но слова не те...

Конференция, день 4 (завершение)

Сессия 8. Оценка качества теории изменений. Выступают два аспиранта (PhD students). Они разработали инструмент для оценки качества ТИ (Theory of Change Assessnebt Tool - ToCAT). Я так понял, что инструмент основан на разработках Фонда Макнайт (McKnight Foundation). Руководство Фонда по мониторингу и оценке доступно здесь. Но инструмент ребята сами разработали. 
Он (инструмент) основан на следующих критериях (цитирую, не спрашивайте меня, что это означает): 

• Связь между местным и глобальным контекстами.
• Ориентация не только на проект, но и на системы. 
• Ясность путей, которые приведут к социальным эффектам. 
• Учет факторов и процессов, которые приведут к изменениям.
• Ясная взаимосвязь между исследованием, вопросами оценки и ожидаемыми эффектами.
• Вопросы оценки ориентированы на наиболее значимые и полезные результаты.
• План мониторинга и оценки позволит ответить на вопросы оценки.

На мой взгляд, представленные идеи очень "сырые", проработаны слабо. Негоже такое на серьезной конференции демонстрировать. Польза от сессии - сама идея необходимости разработки инструмента оценки ТИ и материалы McKnight Foundation  

Благотворительный аукцион. День завершился благотворительным аукционом, средства от которого направляются на гранты для зарубежных участников конференции из развивающихся стран. 

На этом репортажи о конференции завершаю. Естественно, это были впечатления лишь одного человека, который смог посетить лишь очень небольшое число сессий. При другой "траектории" впечатления наверняка были бы другими. 

Конференция, день 4

Сессия 1. Использование методики картирования эффектов программы (Rippple Effect Mapping, сокращенно REM) для оценки системных изменений. Более точный перевод названия методики - картирование по принципу расходящихся кругов на воде. Методика используется в групповой работе. Идея такая: на большом листе в центре располагаем воздействие, эффекты которого хотим изучить. Потом участникам предлагается на карточках записать прямые и опосредованные эффекты. После этого эффекты располагают на листе концентрическими окружностями и соединяют их в соответствии с причинно-следственными связями. Методика в англоязычной среде, оказывается, достаточно известна и многократно описана. Например, здесь можно скачать компактное описание на английском в PDF. Я подумал, что можно было бы интересную провести работу с помощью REM по картированию эффектов профессиональной конференции.

Сессия 2. Пленарная. Что в оценке действительно имеет значение? Модерирует Майкл Пэттон. Выступают Гленда Иоянг, Халил Битар и Доминика МакБрайд. 

Основной тезис Гленды: ответы заключены в вопросах. Она предложила 5 вопросов, имеющих особое значение для оценки. Приведу первый: "Каким образом мы извлекаем смыслы, делаем выбор и берем на себя ответственность за действия в условиях крайней неопределенности?".
Халил Битар - лидер инициативы EvalYouth, которая реализуется под эгидой программы EvalPartners. EvalYouth ориентирована на молодых и начинающих специалистов по оценке. Непосредственно в сети EvalYouth зарегистрировано около 500 человек из разных стран. Но, если учесть многочисленные контакты через социальные сети и т.д., то получится 20000. (Думаю, корректнее пока все же говорить о 500, хотя в рекламных целях 20 тысяч звучит солиднее). Халил говорил о том, что молодых оценщиков сейчас как никогда много стало и что надо новые подходы реализовывать новому поколению.
Доминика рассказала об инициативе, которая позволила существенным образом активизировать сообщества людей, живущих по соседству и сподвигнуть их на практические совместные шаги по улучшению качества жизни. Оценка с участием была органичной частью этой инициативы.
В завершение пленарной сессии коллективно всем залом была исполнена песня на музыку группы Queeen "We will rock you!". Новый вариант: We will evaluate! Предлагаю желающим послушать фрагмент. Заранее извиняюсь за качество записи.


Сессия 3. "Креативная отчетность в цифровом мире". Абсолютный аншлаг. Люди стоят вдоль стен и сидят на полу. Замечу, что это было характерно для всех сессий про визуализацию данных. Огромный интерес к этому вопросу, полагаю, связан с тем, что идет переход от традиционных письменных отчетов в академическом стиле к инфографике и т.п. Выступающий не пришел. Сессию отменять не стали. Народ ждал. Нашли быстро по мобильнику парня, которому по этой теме есть, что сказать, подключили его, вывели на большой экран изображение и он достойно сымпровизировал. Зовут его Chris Lysy. У него есть блог отличный freshspectrum. Он уже в этом блоге про свое импровизированное выступление рассказал. Можно почитать и посмотреть его презентацию.

Сессия 4. Пилотный проект: программа повышения квалификации в сфере оценки на базе университета Висконсина. Ясно, что для них это была новая программа, которую они раньше не делали. Долго разрабатывали. Нашли 6 желающих пройти этот курс со скидкой, т.к. пилотный. Провели курс. Всё. Добросовестно просидел я у них 45 минут. Не понял, что во всем этом было особенного и почему это выступление было включено в программу конференции.

Сессия 5. Майкл Пэттон представляет книгу "Оценка в интересах Голубой планеты" (Blue Marble Evaluation). Как всегда, феерично. По ходу презентации коллективно исполнено несколько песен на музыку популярных исполнителей, например, Mamma-Mia группы АBBА. Один из тезисов: специалистов по оценке пока не включают в обсуждение подходов к решению глобальных проблем, а надо бы. И самим надо больше про это задумываться. Майкл сослался, в частности, на Пражскую декларацию (2019). Книгу посвятил внукам, кстати. Про концепцию можно подробно прочесть на сайте у Майкла.

Сессия 6. Как далеко специалисты по оценке могут зайти в спасении мира? Здесь была групповая дискуссия. Участникам было предложено вначале подумать, что для них особенно важно, когда они выступают в роли оценщиков. Потом тот же вопрос, но уже в роли ответственных и неравнодушных граждан. Потом предложили сравнить результаты. Общее направление разговора: надо быть активистами, надо за социальную справедливость и вообще мир спасать, а не просто оценку проводить. В принципе, я - за. Но только вот есть вопрос. Когда мы работаем в качестве внешних консультантов, у нас есть клиент, и мы обязаны его интересы учитывать. Как быть, если специалист по оценке окажется в ситуации, когда интересы клиента противоречат его (специалиста по оценке) видению ситуации? Может в этом случае специалист по оценке использовать свое положение  и полученную в ходе оценки информацию для того, чтобы сделать вклад в установление социальной справедливости, пренебрегая при этом интересами клиента? Для меня вопрос носит чисто риторический характер. 

Сессия 7. "Самая большая профессия в мире, о которой никто не слышал". Представлено 4 исследования. Их объединяют следующие общие темы:
- Как специалисты по оценке о себе рассказывают?
- Как их воспринимают представители других профессий (например, исследователи)?
- Какие стратегии использовать для того, чтобы о нашей профессии знали?
Интересные сообщения. Содержательные.

Сессия 8. Оценка качества теории изменений (в следующей публикации)

Конференция, день 3.

Начинаем в 8.00. Параллельно проходят 30-40 сессий. 

Сессия 1. Тема - как повысить статус профессии и добиться признания (пока не поздно). Стюарт Доналдсон говорит о двух барьерах: недостаточном доверии к оценке и повышенном уровне тревожности в связи с оценкой. По мнению Стюарта, уровень доверия к оценке можно повысить, если активно развивать оценку как науку (evaluation science) - по аналогии с другими дисциплинами. Повышенная тревожность возникает в связи со следующими вопросами: услышат ли меня? поймут ли они нашу программу? сколько времени это займет? что, если нас оценят не очень хорошо? и т.д. (см картинку "Оценщик пришёл") Эту проблему (говорит Стюарт) можно решить, если перейти от ориентации на недостатки к акценту на сильные стороны (перейти от deficit focused к asset based).  

Франц Лью из университета Маастрихта рассуждает о роли больших данных (БД) и искусственного интеллекта ИИ) в оценке (одно без другого не работает). Рассказывает о том, что сегодня компьютер может не только учиться на собственном опыте, но и формировать специальные алгоритмы, чтобы себя тренировать в выполнении определенных заданий. При этом надо не только применять ИИ и БД, но и подумать о том, как оценивать БД и ИИ. Приводит интересные примеры. Например, в офтальмологии ИИ более точные прогнозы уже дает, чем врач. 

Майкл Пэттон говорит, что сегодня уже не об оценке программ и проектов идет речь. Надо оценивать миссии, стратегии, системы и т.д. А мы к этому не очень готовы. "То, в чем мы хороши, может препятствовать нашему совершенствованию". Т.е. есть риск, что станем "цепляться" за оценку программ и проектов вместо того, чтобы выходить на новые рубежи. В этой новой реальности, говорит Майкл, многие вещи поменяются. Например, нейтральной отстраненной позиции оценщика, придет на смену его вовлеченность в оцениваемую инициативу. Майкл ссылается на свою новую книгу "Оценка в интересах Голубой планеты". 

Сессия 2. Пленарная. Тесси Катсамбас (на фото) пригласила своего бывшего преподавателя Рона Хейфеца, который более 30 лет занимается темой лидерства. Тема выступления - адаптивный подход к лидерству. Рон выступает очень мастерски, чувствуется большой опыт участия в подобных мероприятиях. Некоторые тезисы очень интересные. Например, он говорит, что традиционно лидерство определяется через способности или инструменты влияния. А правильнее его определять через описание той работы, которую лидеру надлежит выполнять. Работу лидера делит на техническую и адаптивную. Отмечает значимость подталкивания организации к границам ее компетентности. В таком состоянии может быть осуществлен прорыв, переход в новое качество. 

Конференция, день 2

С 8 до 11 утра семинар на тему "Системно-ориентированное дизайн-мышление в оценке". Дизайн-мышление – это системный подход к решению задач, ориентированный на интересы конечного пользователя. В основе дизайн-мышления лежит творческий подход. При проведении оценки есть стадия дизайна (мы часто называем эту стадию планированием). Автор и ведущая семинара Джанис Нога предложила обсудить, как можно в дизайне оценки применить дизайн-мышление. "Заход" интересный. Как можно творчески подойти к дизайну оценки? Как находить оптимальные решения с учетом существующих и вновь возникающих обстоятельств? Мы привыкли говорить об использовании творчества в проектировании. Но ведь оценку мы тоже проектируем! Один из рекомендованных источников: "Практическое руководство по системному проектированию" (англ.)

С 12 до 15  "взрыв мозга" продолжил Джонатан Морелл. Название семинара: "Применение концепции сложных динамических систем для принятия практических решений о теории программы, методологии оценки, данных и вовлечении ключевых заинтересованных лиц". Речь шла о паттернах, предсказаниях, объяснениях и о том, как происходят изменения. Пару цитат для иллюстрации приведу:

- "Бывают модели, которые объясняют, но не предсказывают. А бывают такие, которые предсказывают но не объясняют".

- "Модель может быть ошибочка глобально, но верна локально".

В конце семинара рассмотрели 7 типов изменений - от "фазового сдвига" до "предпочитаемого присоединения".

В 15.30 началось открывающее пленарное заседание. Зал очень просторный. Порядка 3000 участников разместились легко. Нас поприветствовали представители коренного населения штата Миннесота индейцы племени дакота. После них выступила Тесси Катсамбас - президент Американской ассоциации оценки. Тесси обозначила несколько значимых для будущего оценки вопросов, касающихся контекста (например, "больших данных") и практики оценки (например, формирования компетенций специалиста по оценки и профессионализации оценки).

Дальше пошли параллельные сессии. На одной говорили о том, как готовиться к будущему. Затронули 3 аспекта: профессионализацию (формирование компетенций и их оценку), использование системного мышления (от него никуда не уйти!) и этику. Про этику говорил один из лидеров ассоциации Майкл Моррис, который сделал несколько очень конкретных предложений относительно того, как включить этику в профессиональную повестку специалистов по оценке.

Следующая сессия была про компетенции. Людей пришло много, времени было мало. Одна из идей, с которой, кажется, все согласились: надо договориться о том, чтобы 60% компетенций были во всех странах и организациях одинаковыми. Оставшиеся 40% можно разрабатывать с учетом специфики, культурных особенностей и т.п. Думаю, эту тему мы в АСОПП продолжим в том или ином виде. 

С 17.30 до 19.30 были стендовые доклады (более 200). 

Завершился день презентацией новой книги Майкла Пэттона "Blue Marble Evaluation" ("Оценка в интересах Голубой планеты")  с исполнением соответствующего гимна. Книгу я приобрел, постараюсь в общих чертах о ней рассказать, когда прочту. На левом снимке гуру в специальном свитере рассказывает о книге. Удивительно продуктивно работает! Когда успевает? 

Работа с ценностями при проведении оценки

Только что закончился однодневный семинар на эту тему в преддверии конференции Американской ассоциации оценки в Миннеаполисе.  Ведущая - Керин Хассал из Австралии (на фото). Давно занимается этой тематикой. Исследователь и практик. Возможно, больше исследователь.

Для меня было неожиданностью, что на семинар пришло всего 9 человек. Среди них 2 из Японии, 1 из Африки (Кот-д'Ивуар), 1 из России (это как раз я) и 5 из США. Мне казалось, тема настолько важная, что  должен быть аншлаг. Вероятно, еще полтора десятка семинаров, которые проходят параллельно составили серьезную конкуренцию. Зато нам удалось неспеша подробно поговорить!

Основной тезис семинара: "Работа с ценностями позволяет получить в ходе оценки более качественные данные, поскольку помогает нам понять, что действительно имеет значение".

Керин сделала основательный обзор литературы, относящейся преимущественно либо к философии науки либо к оценке. При этом она совсем не ссылалась на публикации по организационному развитию, где про ценности много чего имеется.

Одно из важных новых для меня понятий - "ценностный ландшафт", который включает ценности оцениваемой программы, ценности благополучателей, ценности донора, ценности специалиста по оценке и т.д.

Керин предлагает работать с ценностями следующим образом:

1. Определить, с какими ценностями мы имеем дело.  
2. Определить, какие ценности имеют наиболее важное значение.
3. Определить, какие подходы мы будем использовать при работе с ценностями в конкретном случае.
4. Определить, как интегрировать ценности в практику оценки в будущем.

Особое внимание было уделено распознаванию ценностей, которое можно охарактеризовать как искусство компетентного восприятия этой реальности. Керин даже ввела понятие "ценностной сензитивности".

По ходу семинара мы выполнили несколько практических заданий. В одном из них каждому было предложено из некоторого списка выбрать 3 наиболее значимых (зеленые точки) и 2 наименее значимых (красные точки) ценности. Результаты выполнения этого задания группой можно увидеть на рисунке. Керин сказала, что у специалистов по оценке всегда так получается: наименее значимые ценности - контроль над людьми и ресурсами, наиболее значимые - открытость к изменениям и развитие. 

Оценка на пути к будущему

В следующий понедельник начинается конференция Американской ассоциации оценки. Она пройдет в Миннеаполисе. 

График такой: понедельник, вторник и среда до обеда - семинары. 

С обеда среды до обеда субботы - конференция. 

С обеда до вечера субботы - семинары. 

Тема конференции в это году: "Пути к будущему оценки". Президент Американской ассоциации  оценки Тесси Катсамбас предложила эту тему рассматривать в традиции Позитивного исследования (Appreciative Inquiry) - подумать о лучшем из того, что нам удалось сделать в прошлом; осознать свои сильные стороны; сформировать образ желаемого будущего и наметить пути к нему. 

Планирую принять участие в трех семинарах перед конференцией: один - по работе с ценностями, два - по системному мышлению. По ходу конференции постараюсь, как всегда, рассказывать о том, что удастся увидеть и услышать.

"Традиционная" или "вся остальная" оценка

Часто, когда предлагается какой-то новый подход к оценке, этот подход сравнивается с "традиционной" оценкой, оценкой "в целом" или "всеми остальными подходами" к оценке.

Приведу два примера.

Майкл Пэттон, определяя понятие "оценка, ориентированная на использование" (utilization focused evaluation), указывает, что такая оценка - в противоположность оценке программ в целом (as opposed to program evaluation in general) - ориентируется на конкретных пользователей, их информационные потребности и на то, как они предполагают использовать результаты оценки. На момент, когда Пэттон давал это определение, "оценка в целом" сводилась к формирующей и суммирующей (formative and summative). На тот момент тезис об ориентации на практическое использование оценки был достаточно революционным, и противопоставление было вполне оправданным. Сегодня, когда ориентация на использование стала общим местом, мы уже имеем совершенно иную ситуацию. "Оценка в целом" уже совсем не такая, как была 40-50 лет тому назад. Противопоставление теряет актуальность.

Другой пример - адаптивная оценка (developmental evaluation), описанная Майклом Пэттоном. Поясняя, в чем ее особенности, Майкл прибегает к сравнению адаптивной и "традиционной" оценок. Он настаивает на том, что у адаптивной оценки есть относительно узкая "ниша" - адаптивные программы, и она не столь универсальна как оценка, ориентированная на использование. При этом мы должны отметить, что стремление программ к адаптивности - очевидный тренд, и что весьма вероятно существенное увеличение количества адаптивных программ, что приведет к более широкому распространению адаптивной оценки. Таким образом, данное противопоставление актуально сегодня, но может потерять актуальность в обозримом будущем. 

Развиваемся

Сегодня оргкомитет конференции АСОПП-2019 опубликовал презентации с конференции. Я посмотрел программу недавней конференции и решил совершить небольшой исторический экскурс: посмотрел, какие были темы конференций по оценке в нашей стране и в регионе с 2000 по 2019 гг. 

Темы конференций АСОПП с 2015 по 2019 гг.:

• "Компетенции, ресурсы и мотивация: что нужно для успешного проведения оценки социального проекта" (2019)
• "Оценка социальных программ в России: практика применения и драйверы развития" (2018)
• "Оценка и развитие" (2017)
• "Оценка программ и политик в эпоху кризиса: вызовы и возможности" (2016)
• "Оценка программ и политик в России: становление профессии" (2015)

Темы конференций, проведенных Международной сетью "Оценка программ" (IPEN) в нашем регионе с 2000 по 2014 гг.:

• "Оценка для развития: от внедрения к воздействию" (2014)
• "Оценка программ и проектов в государственном секторе" (2013)
• "Использование результатов мониторинга и оценки при принятии управленческих решений" (2012)
• "Управление, ориентированное на результат, и оценка" (2011)
• "Разработка и внедрение систем мониторинга и оценки" (2010)
• "Методология мониторинга и оценки программ" (2009)
• "Оценка как средство обеспечения эффективной работы организаций" (2008)
• "Реформы и оценивание программ и политик" (2007)
• "Развитие и оценка" (2006)
• "Оценка влияния" (2005)
• "Оценка эффективности работы организаций" (2004)
• "Оценка запланированных социальных изменений в управлении программами и проектами" (2003)
• "Оценка социальных проектов как способ повышения эффективности услуг НКО" (2002)
• В 2001 году прошла Школа оценки в Новосибирске. Конференции не было.
• "Оценка и мониторинг как инструмент повышения инвестиционной привлекательности социальных проектов" (2000)

И третья моя презентация с только что завершившейся конференции АСОПП-2019: "Адаптивная оценка"

Компетенции специалиста по оценке

Еще одна презентация - про компетенции специалиста по оценке.

Ландшафт оценки

Приглашаю всех желающих ознакомиться с презентацией с семинара "Ландшафт оценки. Взгляд с высоты". 

Что может препятствовать практическому использованию оценки?

Турин. Международный тренинговый центр Международной организации труда. Обсуждаем, что может препятствовать практическому применению оценки. В группе представители Таджикистана, Узбекистана и Украины.
Препятствия такие:
1. Позиция руководства (8 мнений)
2. Ограниченный доступ к источникам информации (4)
3. Низкое качество ТЗ на проведение оценки (4)
4. Ограниченность ресурсов (человеческих и финансовых) (3)
5. Существующая нормативно-правовая база (3)
6. Ошибки в проекте (2)
7. Долгая организация (системы в организации устроены так, то что согласования занимают много времени и можно не успеть провести оценку, когда надо) (1)
8. Конфиденциальность информации (1)
Соглашусь с коллегами, что позиция руководства - определяющий фактор в использовании оценки в организации.  

Семинар "Ландшафт оценки"

Завершаю подготовку к семинару "Ландшафт оценки. Взгляд с высоты", который пройдет в день перед конференцией АСОПП. Трудоемкость подготовки сильно превысила мои ожидания. Пришлось по многим подходам почитать соответствующую литературу, поскольку оказалось, что я с ними либо плохо знаком, либо вообще не знаком. Полагаю, что для участников семинара тоже кое-что будет новым. Презентацию разместим в открытом доступе сразу после семинара. Так что, если кто-то не сможет присутствовать, можно будет самостоятельно ознакомиться с 79 подходами к оценке :) По каждому подходу в презентации будут ссылки на публикации.

Высокая цена точного знания

В 2003 году в Harvard Business Review была опубликована интересная статья (нашел на нее ссылку, читая другую публикацию). Исследовалась взаимосвязь между эффективность бизнес-организаций и объемом и точностью данных, которыми оперировали менеджеры высокого уровня. Выяснилось, что для эффективности организации важнее не объем и точность данных, а то, насколько менеджеры способны интерпретировать имеющиеся данные. Исследователи пришли к выводу, что следует вкладываться именно в развитие способности менеджеров извлекать смыслы из данных, а не в повышение точности данных. 

Статья называется "Высокая цена точного знания" ("The High Cost of Accurate Knowledge" by

Kathleen M. Sutcliffe and Klaus Weber). Прочесть ее можно здесь.

Не заметил :)

Сегодня на семинаре обсуждали метод наблюдения. Предложил участникам посмотреть вокруг, собрать какие-то факты об их непосредственном окружении и предложить интерпретацию этих фактов. Один из участников говорит: "За каждым из 6 столов есть участники из Африки". Спрашиваю, что это - факт или некое суждение, которое он вынес в результате интерпретации своих наблюдений. Он говорит: "Факт". Я спрашиваю, как он догадался, подразумевая, что сейчас-то он как раз и развернет перед нами цепочку своих рассуждений. И тут его соседка указывает мне на стоящие на столах таблички с именами участников и названиями стран, которые они представляют :) 

Оценка устойчивости организации

Тема это важная, потому существуют многочисленные модели и инструменты оценки устойчивости организаций и программ. К примеру, методика оценки устойчивости программ (Program Sustainability Assessment Tool), предложенная Washington University, предполагает анализ 8 компонентов, каждый из которых оценивается по 5 шкалам:

1. Политическая поддержка
2. Партнерства (поддержка со стороны местного сообщества)
3. Стратегическое планирование
4. Адаптивность
5. Организационный потенциал
6. Коммуникации
7. Финансовая устойчивость
8. Анализ и оценка собственной деятельности

Все, вроде, разумно. Каждый из 8 пунктов - судьбоносный, но в какой мере, на самом деле, устойчивость программы или организации зависит от всех этих факторов? Что определяет, увидим ли мы организацию работающей через 5, 10, 15 лет? 

Мой опыт свидетельствует о том, что устойчивость небольшой организации - малого бизнеса или НКО, в первую очередь, зависит от того, насколько сильно лидеры-учредители организации хотят, чтобы она дальше жила. Если очень хотят, то в трудные времена затягивают пояса потуже, снижают до минимума фиксированные затраты, находят временные источники заработка, но организацию сохраняют. И трудные времена проходят. Если же хотят не очень, то могут прикрыть "лавочку" уже при появлении первых признаков неблагополучия, не дожидаясь по-настоящему трудных времен. 

Мне могут возразить: бывают объективные обстоятельства, при которых организацию надо закрывать. Не спорю, бывают. Но эти обстоятельства возникают по большей части тогда, когда их сочтут таковыми люди, создавшие организацию. Не раньше. (Форс-мажор в виде законодательных актов и т.п. здесь не рассматриваем).

Команда консультантов

Довольно часто оценку проводит не один человек, а небольшая команда, состоящая, как правило, из 2-4 человек. Необходимость привлечения нескольких специалистов может быть продиктована разными причинами. Перечислю некоторые из них: 

1. Большой объем работ, с которым невозможно справиться одному человеку в разумные сроки.
2. Потребность в специальной экспертизе. В этом случае в команду могут быть включены люди, компетентные в определенной области, но не обязательно имеющие опыт проведения оценки программ. 
3. Необходимость встраивания оценки в специфический контекст. Например, при проведении оценки зарубежным специалистом, важно иметь в команде местного специалиста, который не только не нуждается в переводчике для сбора данных, но и хорошо ориентируется в особенностях ситуации, чувствует и понимает такие вещи, которые зарубежному специалисту недоступны.   

В команде должен быть руководитель, человек, отвечающий за конечный результат и за соответствующую организацию работ. В международной терминологии эту позицию называют Team Leader. При проведении тендеров отдельно описываются требования к руководителю команды и к членам команды. Здесь мы подходим к очень важному моменту. Для того, чтобы все получилось хорошо, мало подобрать людей с нужными компетенциями. Эти люди должны стать настоящей командой, между ними должны сложиться конструктивные отношения, они должны принять лидера и поддерживать его. 

С учетом особой ответственности лидера за результат, мне кажется очень правильным шагом привлечение этого человека к формированию команды. Например, при подготовке к проведению оценки за рубежом меня пригласили в качестве руководителя команды (международного консультанта) принять участие в собеседованиях с кандидатами на позицию местного консультанта. Мы проводили собеседования вместе с представителем заказчика и выбрали подходящего человека по взаимному согласию. 

К сожалению, такой подход используется далеко не всегда. Зачастую "команду" формирует заказчик по своему усмотрению, и руководитель команды попросту оказывается перед необходимостью работать с определенными людьми. Такой подход сопряжен с серьезными рисками. Например, между людьми могут не сложиться отношения, что пагубно скажется и на процессе, и на результатах оценки. Команда - это не только компетенции, это еще и психология! И об этом, кстати, очень много написано. 

Школа оценки 3 в 1

Хотел бы обратить внимание посетителей моего блога на возможность пройти обучение в
Школе оценки для представителей некоммерческих организаций. Пожалуйста, поделитесь этой информацией со своими знакомыми, которым это может быть интересно.

Обучение включает следующие этапы:
1) Трехдневный вводный семинар в Москве 13-15 октября.
2) Сразу после семинара участники Школы приглашаются на конференцию АСОПП (16-17 октября).
3) Далее участники самостоятельно проведут внешнюю оценку реальных проектов. По ходу её выполнения они смогут получить дистанционные консультации.
4) Весной 2020 года в Москве пройдет второй семинар, на котором будут проанализированы результаты самостоятельной работы участников, а также будут рассмотрены особенности отдельных актуальных для российских НКО видов оценки.
5) После этого участники Школы проведут в своих регионах различные мероприятия, посвященные оценке.
Мероприятия проводятся в рамках проекта «Школа оценки 3 в 1», который выполняется с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов Некоммерческому партнерству «ИнА-Центр» (г. Новосибирск).

Проведение вводного семинара организаторы Школы поручили нам с Владимиром Балакиревым. Мы также будем участвовать в консультировании слушателей при выполнении ими самостоятельной практической работы. В проведении второго семинара примут участие несколько специалистов, состав которых пока уточняется. Вероятно, мы с Владимиром там тоже поучаствуем.

Регистрация на «Школу оценки 3 в 1» открыта до 9 сентября 2019 года.
С информацией о проекте можно ознакомиться здесь, а посмотреть условия участия в мероприятиях и зарегистрироваться для участия в Школе можно здесь. Отбор участников Школы проводится на конкурсной основе. 

Конференция АСОПП-2019

Предлагаю нетрадиционный взгляд на программу конференции АСОПП-2019. Для создания облака из слов использовались полная версия программы и онлайновый сервис WordCloud.

Ландшафт оценки. Взгляд с высоты..

Сегодня открылась регистрация участников конференции АСОПП-2019. Перед конференцией 15 октября пройдут семинары. Я провожу семинар №4 "Ландшафт оценки. Взгляд сверху." (после обеда). Хотел бы в двух словах объяснить замысел этого мероприятия. Мы рассмотрим 80 видов оценки, которые приведены в 4-м издании книги Майкла Пэттона "Utilization-focused evaluation". Поскольку времени у нас будет 180 минут (2 сессии по 1,5 часа), то в среднем на каждый вид оценки придется примерно 2,5 минуты! :) Думаю, кое-какие виды оценки сможем сгруппировать, но время все равно будет весьма ограничено.

Что точно успеем: 

1) дать определение каждого вида оценки и кратко обсудить его отличительные особенности,

2) назвать автора и публикацию, в которой этот вид оценки освещается (по возможности, приведем ссылки на открытые источники),

3) обсудить актуальность каждого вида оценки для участников семинара в режиме "блиц",

4) всем участникам раздать презентацию (в электронном виде, каждый сможет скачать ее для себя).

Чего точно не успеем: сколько-нибудь подробно обсудить какой-либо вид оценки. 

Процесс будет выглядеть как экскурсия с очень короткими остановками у каждого экспоната.

Этот семинар предназначен для тех, кто имеет, как минимум, базовые представления об оценке и хочет расширить свои представления о предмете. 

XXIII конгресс INTOSAI

INTOSAI (ИНТОСАИ) - международная организация, создана в 1953 году, в нее входят высшие органы государственного финансового контроля 196 стран мира. Счетная палата РФ является членом ИНТОСАИ с момента своего создания в 1995 году и активно участвует в ее деятельности. Российский контрольный орган работает во всех основных управляющих и рабочих органах ИНТОСАИ, включая Комитет по профессиональным стандартам и Комитет по обмену опытом.

В 2016 году XXII Конгресс ИНТОСАИ, определил высший орган аудита Российской Федерации (Счетную палату РФ) принимающей стороной XXIII Конгресса ИНТОСАИ, который пройдет в Москве с 23 по 29 сентябре этого года.


Темы конгресса:
I. «Информационные технологии в развитии государственного управления»

      Подтема I.1

      Важность применения достоверной и оперативной информации в электронном виде для развития государственного управления

      Подтема I.2

      Место и роль больших данных в деятельности высших органов аудита 

II. «Роль высших органов аудита в достижении национальных приоритетов и целей».

       Подтема II.1

       Стратегический аудит: роль высших органов аудита в оценке реализуемости целей, результатов и рисков государственных проектов и программ

        Подтема II.2

        Прогнозирование и аналитическая деятельность в высших органах аудита: экологические и социальные аспекты устойчивого развития. 

Хотел бы обратить внимание коллег, занимающихся оценкой программ и проектов, на тему II. Счетная Палата не только включает оценку в свою повестку, но и выносит эту тему на обсуждение мирового профессионального сообщества. 

Ещё раз о "законе Кемпбелла"

В 1976 году американский исследователь Дональд Кемпбелл в своей работе "Оценка влияния запланированных социальных изменений"* написал: «Чем больше любой количественный (или даже качественный) индикатор используется в процессе принятия социально-значимых решений, тем в большей степени он становится подвержен коррупционному давлению и тем в большей степени он будет искажать и нарушать социальные процессы, для мониторинга которых он был изначально предназначен». Именно это стали впоследствии называть "законом Кембелла", справедливость которого получила массовые подтверждения по всему миру.

Сегодня интернет-газета ZNAK опубликовала статью под названием "Кабмин утвердил KPI для губернаторов. Эксперты ожидают манипуляций с данными". Чего же ожидают эксперты газеты? Вот один из примеров: "...Также в числе критериев оценки борьба с бедностью. Здесь оценка будет производиться по числу людей с доходами ниже прожиточного минимума. К 2024 году их должно стать меньше вдвое. Эксперты предупреждают, что прожиточный минимум устанавливают регионы, и местные власти могут им манипулировать, составляя корзину из более дешевых товаров, чтобы сократить число бедных".

*Campbell, Donald T. (1976) Assessing the Impact of Planned Social Change

Заявки на выступление на профессиональной конференции и их оценка

Каждый год по всему миру проходят десятки профессиональных конференций по оценке. В подавляющем большинстве случаев программы таких конференций формируются на основе конкурсного отбора заявок на выступления. Для того, чтобы отобрать лучшие заявки, нужна система их оценки. В общем, и здесь оценка...

Важное предварительное соображение: поскольку проводится конкурс, то надо, чтобы участники были в равных условиях. Для этого они все должны понимать, какие требования предъявляются к заявкам на выступления со стороны организаторов конференции. И эти требования должны соответствовать критериям оценки заявок. Здесь, кстати, без критериев никак не обойтись, поскольку имеет место сравнение. 

Какими могут быть критерии оценки заявок? 

Вот примерный вариант, который используют наши американские коллеги:

• Соответствие теме конференции. Раз объявляется тема конференции, то важно, чтобы люди именно в этом контексте представили свой материал. Тема конференции, как правило, формулируется достаточно широко и позволяет любое сообщение подать в нужном свете. 
• Значимость для участников конференции. Тут комментировать особо нечего, все понятно. Вспоминаю мои первые конференции, когда заявка на тему "Развитие оценки в России и СНГ" принималась и включалась в программу, но на выступление приходили из солидарности лишь немногочисленные участники... из России и СНГ. Как-то раз даже решили по-русски делать доклад, т.к. англоязычных участников не оказалось в зале вообще.  
• Техническое качество заявки. Тут без комментариев.
• Инновационность. Более ценными представляются заявки, в которых содержится нечто новое - подход, метод, инструмент, модель и т.д. 
• Уровень обобщения. Одно дело, когда человек просто делится своим опытом, и совсем другое, когда выступающий предлагает рефлексию по поводу своего опыта; обобщения, которые могут оказаться применимыми в разных сферах. 

Естественно, для каждого критерия разрабатывается соответствующая шкала. 

На больших конференциях лучшие заявки ставятся на "прайм-тайм" - такое время, когда участники конференции уже проснулись, не очень устали, и еще не начали разъезжаться по домам. Таким образом повышаются шансы, что хорошие выступления услышат многие. Когда заявка получает не очень высокую оценку, выступление может быть запланировано, например, на 7 утра (это не шутка!) с минимальными шансами на аншлаг. Многие по этому поводу возмущались, и теперь таких ранних сессий нет. Первые сессии начинаются в этом году на конференции Американской ассоциации оценки в 8.00, что, по нашим меркам, тоже довольно рано. Но это уже другая история :)  

Консультант как горный гид

На днях исполнилось 25 лет компании "ШАГ консалтинг". Основатели этой компании Евгений и Светлана Емельяновы - наши давние друзья: мы познакомились за несколько лет до того, как учредили свои компании. Работа ШАГа меня всегда восхищала. Достаточно посмотреть на их сайт, чтобы понять, насколько серьезный и успешный консалтинговый бизнес удалось выстроить коллегам! В течение последних 4-х лет ШАГ возглавляет рейтинг российских компаний, занимающихся бизнес-консультированием, а из первой тройки, по-моему, никогда не "выпадал".

Евгений Емельянов в обращении к посетителям сайта ШАГа пишет: "Если говорить о том, что такое консалтинг от ШАГа, то самая близкая мне аналогия – это работа проводников, тех, что ведут по местности. Как шерпы на семитысячниках, как Дерсу Узала в тайге."  Мне эта метафора очень понравилась. Первое, что пришло в голову: горные гиды никогда не бросят клиента. На такого консультанта можно положиться! Решил ради интереса заглянуть в Этический кодекс горных гидов России. Обнаружил там положения, которые действительно вполне применимы к деятельности консультанта по управлению. Судите сами (цитата взята с указанного выше сайта АГГР - Ассоциации горных гидов России): 

"1. Безопасность является главным приоритетом в работе. Наши личные интересы и цели интересы наших клиентов должны быть второстепенными по отношению к безопасности.

​​2. Безопасность других людей в горах также является нашим приоритетом, и мы должны, когда возможно оказывать им помощь в чрезвычайных ситуациях. Однако такая помощь может оказываться только в тех случаях, когда это не отразится на безопасности наших клиентов.

3. Наши клиенты имеют право в полной мере рассчитывать на то, что все гиды АГГР имеют техническую и методическую подготовку, соответствующую современным профессиональным требованиям и стандартам.

4. Гиды всегда должны выглядеть профессионально, использовать только качественное снаряжение, соответствующее поставленным задачам и находящееся в полноценном функциональном состоянии.

5. Гиды должны объективно оценивать пределы своих собственных физических и технических возможностей и своего опыта, и выбирать только те маршруты, которые полностью соответствуют текущему уровню их квалификации.

6. Во время пребывания в любых горных районах России и мира все гиды, представляющие АГГР, должны вести себя в соответствии с принятыми нормами и правилами поведения в данных горных районах.

7. Гиды должны бережно относиться к окружающей среде, традициям и обычаям местного населения, а также должны уважать ограничения доступа и правила, установленные организациями по защите окружающей среды в России и мире.

8. Гиды АГГР должны уважительно относиться к своим и чужим клиентам, гидам других организаций, не допускать неуважительного отношения, панибратства, некорректной коммуникации.

9. Во время публичных выступлений, лекций, семинаров, другое, гиды АГГР не должны допускать неуважительных высказываний в адрес других гидов, школ, стандартов подготовки. Помнить о том, что вы представляете Ассоциацию горных гидов России."

С юбилеем, ШАГ!!! От души желаю дальнейших успехов на трудных маршрутах!!!

Доказательная филантропия

Несмотря на то, что международные эксперты считают доказательность одной из значимых и наиболее вероятных характеристик будущего филантропии, термин "доказательная филантропия" у нас пока не очень распространен. Google дает всего три (!) ссылки на русскоязычные публикации, в которых этот термин используется. Хронологически первая из них под названием "Доказательная филантропия: практические советы" относится к 2016 году и представляет собой краткий обзор некоторых зарубежных публикаций, подготовленный АНО "Эволюция и филантропия". В 2018 году АСИ опубликовало большое интервью с директором КАФ Марией Черток, которое называется "Доказательная благотворительность". 

Доказательный подход предполагает обоснованное принятие наиболее значимых решений с использованием надежных данных. 

Имеются в виду, например, такие решения, которые приходится принимать руководителям филантропических организаций: 

• Как выбрать проблему, на решение которой направить усилия? 
• Что именно поддерживать? 
• Как финансировать? (несколько больших или много маленьких грантов? продолжительность финансирования? насколько ограничивать грантополучателя? и т.д.)

В качестве обоснования используются знания и опыт грантодателя, мнение благополучателей, результаты научных исследований, результаты оценки деятельности организации и её результатов. Очевидно, что оценка проектов и программ органично встраивается в концепцию доказательной филантропии как механизм, позволяющий получать информацию для принятия значимых управленческих решений. 

Один из дискуссионных вопросов в сфере доказательной филантропии выглядит следующим образом.

Что правильнее:

• Жестко увязывать качество данных со способом их получения (в традициях доказательной медицины).

                                         или

• Использовать критическое мышление в сочетании с лучшими из доступных доказательств, не увязывая их качество со способом получения (что ближе к традициям доказательного менеджмента).

А как бы на этот вопрос ответили Вы? 

Страховка для консультантов

Речь идет о страховании рисков, связанных с профессиональной деятельностью консультантов.

Примеры страховых случаев:

1. Клиент следует рекомендации консультанта, и это приводит к убыткам. Речь идет, естественно, о непреднамеренных ошибках консультанта. Страховка покрывает расходы на юридическую защиту и урегулирование претензий. Такая страховка используется в ситуациях, когда можно доказать причинно-следственную связь между выполнением рекомендации консультанта и убытками клиента,с кажем в сфере налогового консультирования. 
2. Консультант использует дорогостоящее оборудование (например, компьютер), который выходит из строя (либо его крадут) во время поездки к клиенту. Страховка позволит консультанту восстановить оборудование или купить новое.
3. Хакеры в результате кибер-атаки похищают у консультанта конфиденциальную информацию о клиенте и раскрывают её. Страховка покрывает расходы на преодоление кризисной ситуации, восстановление данных, а также судебные издержки.

При оформлении страховки учитывается - в числе прочего - опыт консультанта: чем больше опыт, тем меньше вероятность ошибки, и, следовательно, тем меньше стоимость страховки. Это напоминает ситуацию со страхованием гражданской ответственности водителей - опытные платят за страховку меньше. 

Мы оформляли такую страховку при проведении оценки программы лишь один раз по требованию западного клиента. Согласно политике их организации, наличие страховки по п.1 (см. выше) было обязательным условием при заключении контракта. Страховая компания была тоже зарубежная. 

Блог Джонатана Морелла

Сегодня хотел бы рекомендовать тем, кто читает по-английски, замечательный блог Джонни Морелла (Jonathan (Jonny) A. Morell). Очень интересные и компактные тексты о разных важных для оценки вещах. Особо хочу отметить его публикации про использование системного мышления и про модели. 

Приведу несколько цитат для "затравки": 

• "Модель - это упрощение реальности, в котором намеренно не отражены некоторые её аспекты для того, чтобы выделить другие. Упрощение требуется, потому что без него охватить все соответствующие нашей задаче факторы невозможно"
• "Независимо от того, насколько мы умны, мы никогда не узнаем, каковы все соответствующие задаче факторы. У нас не может быть полной модели, как бы мы ни старались"
• Джордж Бокс был прав, сказав: «Все модели ошибочны, но некоторые из них полезны».

Срок приема заявок продлен на две недели

20 июня я писал о том, что каждый год сроки приема заявок на выступления на конференции АСОПП переносятся по той причине, что многие не успевают подать заявку вовремя. Нынешний год не стал исключением: сегодня оргкомитет продлил срок приема заявок на выступления на две недели. Замечу, что прием заявок был открыт 28 марта 2019 года... То есть трех месяцев оказалось недостаточно :) Ну что же, осталось две недели, и теперь уж точно надо поторопиться! 

Модели консультирования и оценка программ

Ни у кого не вызывает сомнения, что оценка является одним из видов консультирования. Однако специалисты по оценке не так уж часто обращаются к литературе по консультированию, хотя это может быть весьма интересно. Хочу предложить читателям моего блога соотнести оценку программ с одной из самых известных классификаций моделей консультирования, предложенной Эдгаром Шайном (Schein, E. H. (2000). Models of consultation: What do organizations of the twenty-first century need? In R. T. Golembiewski (Ed.), Handbook of organizational consultation (pp. 893-902). New York: Marcel Dekker).
Как вы думаете, к какой из моделей консультирования оценка программ ближе всего?

Успеть подать заявку на выступление

С 2000 года я принимаю активное участие в подготовке ежегодных конференций по оценке в нашем регионе. Вначале это были конференции Международной сети "Оценка программ", а затем стали проводиться ежегодные конференции АСОПП в России. В этом году пройдет уже 5-я национальная конференция. С самого начала заметил интересное явление. Мы очень заранее (за пару месяцев) объявляем срок подачи заявок на выступления, напоминаем о том, что срок приближается. В итоге, когда срок проходит, оргкомитет конференции начинает получать письма от людей, которым не хватило буквально 1-2-х дней по совершенно объективным причинам... :) Не уверен, следует ли глубоко изучать этот феномен и делать какие-то далеко идущие выводы. Просто хотел попросить тех читателей моего блога, которые планируют выступить на конференции АСОПП-2019, не откладывать написание заявок на выступления. В этом году все удобно, заявка подается в режиме онлайн. На всякий случай: крайний срок подачи - 1 июля, 18.00 мск!

Социальное проектирование и оценка: взгляд в будущее

В Алматы проходит международная конференция, посвященная обсуждению развития гражданского общества в странах Центральной Азии. Организатор конференции - Ассоциация развития гражданского общества (АРГО). Мне предложили выступить с 5-минутным "импульсным" докладом на тему "Социальное проектирование и оценка: взгляд в будущее", чтобы обозначить несколько возможных тем для дискуссии. В очередной раз убедился, что подготовить 5-минутное выступление намного сложнее, чем 1,5-часовое :) 

Вот мой "взгляд в будущее" (имеется в виду наш регион): 

1) ТВОРЧЕСТВО. Будет расти значимость творческой составляющей в социальном проектировании. Люди будут уделять больше времени именно поиску оптимального решения. Повысится интерес к методам поиска новых идей и решений, к т.н. дизайн-мышлению. 

2) ДОКАЗАТЕЛЬНОСТЬ. Будет расти стремление лучше обосновывать замысел проекта и решения, связанные с управлением проектом. В том или ином виде будет внедряться доказательный подход к проектированию. Соответственно, будет расти запрос на оценку на всех стадиях жизненного цикла проекта.

3) ОТ ТОГО, ЧТО ПРОЩЕ, К ТОМУ, ЧТО ВАЖНЕЕ. В развитии оценки будет происходить смещение фокуса с того, что проще оценить (мероприятия), на то, что важнее оценить (результаты, воздействие). 

4) АДАПТИВНОСТЬ. И в проектировании, и в оценке социальных программ и проектов все большее значение будет приобретать адаптивность - способность перестраиваться на ходу с учетом изменяющихся условий.  

Трудности внедрения оценки: российский опыт

Завтра Всемирный банк вместе с АСОПП проводят мероприятие в рамках глобальной недели оценки (gLocal). По формату, как я понял, это будет нечто среднее между семинаром и "круглым столом". Тема: «Российский опыт оценки: методология, реализация, развитие».
Запланировано три выступления и дискуссия. Александр Боровых расскажет об оценке в методических рекомендациях по разработке федеральных и региональных программ и о применении их на практике. Владимир Балакирев обсудит ситуацию с развитием оценки программ в России. Мне предложили сделать небольшое сообщение о проблемах внедрения оценки в России.

Буду говорить о трех проблемных областях:

1. Низкое качество дизайна программ, которое порой сильно затрудняет их оценку.
2. Смешение жанров, которое заключается в том, что оценку рассматривают как инспекцию и используют соответствующие подходы.
3. Доминирование индикаторной оценки, которая при всех её преимуществах имеет свои ограничения и не позволяет получить ответы на некоторые весьма важные вопросы.

Все эти проблемы буду рассматривать применительно к оценке государственных программ. 

Мероприятие пройдет с 14 до 16 (мск). Будет онлайн трансляция с переводом на английский. 

Он-лайн подключение: WebEx, код: 733 279 281, пароль: N8TbqJ3W

Нашего полку прибыло

В России появилась новая некоммерческая организация - Центр перспективных управленческих решений (ЦПУР). Её единственный учредитель и руководитель Мария Шклярук поясняет: "У ЦПУР есть понятная миссия: мы хотим развивать в России принятие решений, основанное на данных (evidence-based & data-driven policymaking). Политики, государственные чиновники должны уметь просчитывать последствия своего выбора и в своих решениях опираться в том числе на доказательственные методы. Наша задача — с помощью этих методов, донесенных в простой и понятной форме, показать, как правильно принимать решения, которые будут достигать изначально задуманного результата, а не порождать больше проблем, чем было до начала их внедрения. Про российских чиновников часто говорят известную фразу: «Хотели как лучше, а получилось как всегда». Мы хотим сделать так, чтобы если «хотели как лучше», то и получилось лучше".

Счетная палата РФ опубликовала основные направления деятельности на 2019 – 2021

На сайте СП РФ подробно изложены основные направления деятельности на 3 года. "Главный фокус деятельности Счетной палаты — стратегический аудит, предполагающий мониторинг реализации и оценку достижения национальных целей майского Указа Президента. Кроме того, стратегический аудит позволит определить достаточность ранее утвержденных Правительством проектов и программ. По результатам стратегического аудита ведомство будет представлять свои рекомендации по дальнейшей работе."

Счетная палата планирует внедрить "практику предоставления рекомендаций, которые должны нивелировать и даже полностью искоренить выявленные проблемы". Это анонсируется как инновация. Таким образом, если раньше главной задачей было проблемы выявить (и здесь миссия СП РФ заканчивалась), то сейчас фокус будет на том, как эти проблемы решить. Задача, конечно, много сложнее. Тем более, что рекомендации должны быть хорошо обоснованы. "Это повышает нашу ответственность, потому что каждую нашу фразу, рекомендацию нужно будет защищать", - говорит председатель СП РФ А.Кудрин. 

"Тирания показателей". Книга Джерри Мюллера переведена и уже в продаже.

Книга действительно необычная, поскольку автор подробно рассматривает негативные эффекты чрезмерного увлечения показателями. Вот перечень типичных ошибок, возникающих в результате, по мнению автора (особо отмечу, что речь, конечно же, идет о США): 

• Измерение того, что легче всего измерить. То, что легче всего измерить, редко бывает самым важным.
• Измерение простого, когда желаемый результат сложен. Фокусирование на измерении результатов, связанных только с одной целью, часто вводит в заблуждение.
• Измерение вклада, а не результатов. Измеряем объем использованных ресурсов, а не полученные результаты. 
• Снижение качества информации из-за стандартизации. Информация становится более достоверной и определенной, чем на самом деле.
• Снятие сливок. К примеру, исполнители отдают предпочтение клиентам с менее сложными проблемами. Вероятность успешного решения проблемы в этом случае возрастает. 
• Улучшение показателей за счет снижения стандартов. Снижение стандартов - один из способов улучшения результатов.
• Улучшение показателей путем исключения или искажения данных. Например, полиция может "снижать" уровень преступности, переквалифицируя тяжкие преступления в мелкие правонарушения.
• Подтасовка. Частота этого явления растет в прямой зависимости от значимости показателей. Например, в ответ на закон, повысивший значимость результатов тестирования знаний учащихся, учителя и директора школ во многих городах стали изменять ответы учащихся на тесты.

Действительно ли имеет место положительный результат?

На официальном сайте губернатора и правительства Ульяновской области опубликована информация об итогах реализации Программы развития правовой грамотности и правосознания граждан в 2018 году. Документ содержит подробное освещение мероприятий Программы и выводы о её эффективности. Считаю, что сам факт проведения такой работы заслуживает уважения! Однако анализ данной публикации показывает, что методику проведения оценки программы можно и нужно усовершенствовать.

В документе говорится, что "оценка эффективности Программы проводится по итогам каждого года её реализации. Положительным результатом реализации Программы считается достижение плановых значений показателей её результативности, утверждённых указом Губернатора Ульяновской области от 18.06.2018 № 56, или превышение фактических значений показателей результативности Программы над их плановыми значениями."

Таким образом, коллеги используют индикаторную оценку. Важнейший принцип индикаторной оценки: показатели разрабатываются после разработки модели программы и "привязываются" к элементам этой модели. В рассматриваемом документе модель программы не фигурирует. В нем проводится развернутый анализ проведенных мероприятий, из которого следует, что программа была весьма масштабной и что все, что планировали сделать, было выполнено. 

Программный подход предполагает достижение определенного заранее известного результата. Модель программы должна была бы обосновать связь мероприятий (что делаем) с результатом (к чему это приводит). Соответственно, в программе должны быть показатели, связанные с деятельностью в рамках программы (мероприятиями) и с результатом программы. 

По названию программы можно предположить, что главным результатом программы должно было стать повышение правовой грамотности и правосознания граждан.

Теперь обратимся к выводам, которые сделаны по итогам реализации программы.

"Вывод по итогам оценки эффективности реализации Программы. Реализация Программы в 2018 году имеет положительный результат, так как в ходе её реализации из 7 показателей результативности:

• 4 показателя превысили плановые значения;
• 2 показателя достигли планового значения.
• 1 показатель не достиг планового значения."

При ближайшем рассмотрении оказывается, что показатели, целевые значения которых достигнуты или превышены, не относятся к конечному результату программы, а характеризуют успешность реализации мероприятий (число участников, число посещений сайта, число публикаций и т.п.). 

Единственный показатель, целевое значение которого не достигнуто, как раз относится к цели программы: "Доля правильных ответов в общем количестве ответов граждан на вопросы, содержащиеся во Всероссийском (правовом) юридическом диктанте". 

Таким образом, итоги программы выглядят так: сделали все, что запланировали (и даже больше), но запланированного результата не достигли. 

Мне кажется, главный вопрос, который здесь возникает: почему так получилось? Без ответа на него рискованно продолжать программу в том же духе, ведь она не срабатывает так, как было задумано. Тут возникает необходимость в проведении эмпирической оценки. Индикаторы не помогут...

Убедительность обоснований

Любопытная заметка Адриана Брауна (Adrian Brown) относительно убедительности обоснований эффективности (или неэффективности) программ.

Многие знают о том, что в США была программа , в рамках которой подростков группы риска (та категория детей, которых у нас ставят на учет в КДН) организованно возили на экскурсию в тюрьму. Замысел был такой: увидят, куда они могут попасть, и одумаются. Важной составляющей экскурсии (фактором воздействия) были оскорбления посетителей заключенными. В общем, можно сказать, что подростков пытались серьёзно напугать. Собственно, программа так и называлась Scared Straight. Знающие английский язык могут посмотреть видео.

В 2012 году был проведен систематический анализ 7 разных исследований данной программы, который показал, что программа не работает так, как было задумано. Напротив, она провоцирует правонарушения со стороны подростков, которые в ней участвовали. С тех пор в США и во многих других странах программа получила "черную метку" от апологетов доказательного подхода как "технология с доказанной неэффективностью". 

Между тем, по мнению А.Брауна, все не так просто. Если посмотреть внимательнее на те 7 исследований, которые легли в основу анализа эффективности программы, обнаруживается, что 

а) все исследования проведены в США,

б) они проведены достаточно давно (1967-1982)

в) лишь два из них являются статистически значимыми, при этом они оба имеют серьезные недостатки. В частности, в одном из этих исследований было обнаружено, что в экспериментальной группе (те, кто был на экскурсии в тюрьме) 5 подростков совершили преступления, а в контрольной группе (те, кто не был на экскурсии) преступления совершили 6 подростков. Таким образом, если бы в экспериментальной группе еще один мальчик совершил правонарушение, всё рассыпалось бы.

О чем, по мнению А.Брауна, следует подумать:

• Насколько убедительны доказательства эффективности социальных технологий, которые подаются под маркой "систематического анализа"? 
• Не может ли жесткая ориентация на "доказанную эффективность" мешать внедрению новшеств и сбору информации о том, что может, на самом деле, работать?
• Возможно, практикующим специалистам не следует слишком уж "зацикливаться" на формальных критериях "убедительности обоснований". Постоянная рефлексия собственного опыта и обсуждение того, что работает, а что не работает и почему, могут оказаться весьма полезными.

Благодарю за информацию о данной публикации Даниила Цыганкова!