Больше отдыхать

На днях встречались с друзьями, которые профессионально занимаются консалтингом, как и мы, более четверти века. Обсуждали в числе прочего тему рабочей нагрузки. Если кто не в курсе 😏, консультанту приходится работать весьма напряженно - сильно ненормированный рабочий день, работа в выходные, нерегулярные отпуска и т.д. Можно ли работать меньше? Получается, что не особо. И по финансовым соображениям, и потому, что интересная же работа! Решили, что работать меньше не надо, а надо больше отдыхать.

Влияние ресурсных центров на развитие НКО

Вместе с новосибирскими СЦПОИ и ИнАЦентром мы несколько месяцев проводили оценку влияния ресурсных центров на развитие НКО сектора в России. Предварительные результаты этой оценки дважды обсуждались публично - на встрече представителей ресурсных центров в Новосибирске и на специально организованной встрече в Москве (спасибо "БЛАГОСФЕРЕ" за предоставление площадки!). Только что отчет об оценке был опубликован. Президент СЦПОИ Елена Малицкая поделилась своими мыслями об этой работе. Не стану излагать здесь содержание отчета - лучше прочесть. Отмечу лишь три момента: 

   Не удивило: список наиболее влиятельных НКО.
   Удивило: сколько же всего было сделано ими за 25 лет!
   Стало неожиданным: все бывшие "ресурсные центры" уже давно перестали быть таковыми. Может быть, это - закономерность? Если так, то имеет ли смысл создавать новые ресурсные центры? По крайней мере, надо сразу задумываться о их стратегии развития и дальнейшей судьбе. 

Блог: итоги 2019 года

Оказалось что сегодня - последняя среда 2019 года. Поскольку публикации в блоге я размещаю по средам, то в этот раз подведу некоторые итоги.
Больше всего просмотров в 2019 году набрали следующие публикации:
1 место - Ландшафт оценки (15 октября). В этой публикации есть ссылка на презентацию, в которой приведен обзор 79 видов оценки по книге Майкла Пэттона.
2 место - Использование результатов оценки: есть ли шанс что-то улучшить? (11 марта) В этой публикации есть ссылка на 20-минутное видео на английском языке, подготовленное совместно с Международным тренинговым центром Международной организации труда.
3 место - Критерии оценки программ развития обновили (11 декабря)  В этой публикации есть ссылка на статью об обновленных критериях DAC.
Больше всего просмотров блога за месяц было в октябре 2019 года, когда проходила конференция АСОПП в Москве. На втором месте по числу просмотров - март, а на третьем - ноябрь, когда я публиковал ежедневные отчеты об участии в конференции Американской ассоциации оценки в Миннеаполисе.
В следующем году одной из важных тем в этом блоге наверняка станут компетенции специалистов по оценке, поскольку намечается интересная международная инициатива, в которой, надеюсь, наша ассоциация примет активное участие.
Постараюсь сохранить регулярность публикаций - не реже 1 раза в неделю. Хотел бы особо поблагодарить постоянных подписчиков, которые получают новые публикации по электронной почте. Если вдруг кто-то захочет присоединиться, буду рад. Сделать это очень просто: надо в правой колонке блога в окошке под надписью "Получать новые записи по электронной почте" указать свой электронный адрес и нажать "Submit". Наиболее важные и/или интересные (с моей точки зрения) публикации буду дублировать на Facebook. Но туда попадает не всё. Всех с наступающим Новым годом!!!

Две публикации от Фонда Потанина

В прошлом году Фонд Потанина опубликовал отчет об исследовании влияния Фонда, которое мы для них провели, и статью Анатолия Заболотного "ЗАЧЕМ НУЖНО ИССЛЕДОВАТЬ ВЛИЯНИЕ ПРОГРАММ", в которой обсуждается и сам отчет, и оценка влияния как таковая. Поскольку сайт Фонда Потанина обновился, эти две публикации стало непросто отыскать. Потому я решил обновленные ссылки разместить здесь (см.выше).

Критерии оценки программ развития обновили

Вчера 10 декабря 2019 г. на заседании Комитета содействия развитию (Development Assistance Committee / DAC) Организации экономического сотрудничества и развития (OECD) были приняты обновленные критерии оценки программ развития - знаменитые критерии DAC. Этому событию предшествовала большая работа, в которой участвовали сотни специалистов из разных стран. Уточнены определения старых критериев (релевантность, результативность, эффективность, устойчивость и влияние) и добавлен новый критерий "согласованность" (coherence) - как оцениваемая программа вписывается в уже существующие инициативы. Кроме того, добавлены принципы использования критериев. Это важное событие в мире оценки. Подробное описание обновленных критериев можно посмотреть здесь (англ.).

Оценка и социальная справедливость

В последние годы многие говорят о том, что оценка может и должна играть важную роль в достижении социальной справедливости. О чем идет речь? В данном тексте я буду опираться на презентацию RACHEL VOTH SCHRAG (Рейчел Вот Шраг), в которой имеются ссылки на разные авторитетные источники. Фрагменты презентации выделены курсивом.

Ценности социальной справедливости:

• Ресурсы должны быть распределены так, чтобы каждый мог жить достойной жизнью.
• Все люди имеют равные права и должны быть признаны во всем их разнообразии.
• Все люди должны иметь возможность выступать от своего имени, а их мнения должны быть представлены соответствующим образом.

Оценка, ориентированная на социальную справедливость, стремится к пониманию взаимозависимости личности, сообщества и общества; использует разумный демократический процесс для генерирования знаний о социальных проблемах и социальных воздействиях и использует это знание в целях социального развития. 

Ключевым моментом в приведенной выше цитате, на мой взгляд, является упоминание "разумного демократического процесса" и "использования знаний в целях развития". Здесь об этом не говорится, но имеется в виду противопоставление такого подхода к оценке традиционному академическому подходу, где четко определены критерии научного знания. Интересующиеся могут более подробно почитать про "демократию знания", например, здесь. 

Оценка, ориентированная на социальную справедливость:

• отвергает возможность нейтральной позиции того, кто ее проводит,
• предполагает критический анализ социально-политических сил, формирующих контекст оценки, в том числе, анализирует причины принятия решений о проведении оценки,
• освещает неравенства и несправедливости, а не маскирует их,
• направлена на облегчение открытого обсуждения (и признаёт при этом естественные пределы наших возможностей организовать его),
• вовлекает все заинтересованные стороны,
• использует подходы, которые позволяют услышать голос благополучателей на всех этапах процесса оценки,
• ориентирована на использование знаний в целях достижения справедливости и осуществления позитивных перемен.

Хотел бы обратить внимание на последний пункт. Это к теме об "активизме" в оценке, о чем я писал недавно. Имеются в виду действия специалистов по оценке, направленные на те или иные изменения, предпринимаемые ими по собственной инициативе независимо от позиций третьих сторон, например, заказчиков оценки, органов государственной власти и т.д.   

Аллилуйя

Сегодня решил разместить здесь ссылку на одну из песен, которые Майкл Пэттон сочинил про оценку. В данном случае речь идет о провалах в проведении оценки. Более 20 лет слежу за творчеством Майкла. Заметил, что в последнее время песен стало больше! Итак, Аллилуйя. Интересно, что практически всегда находятся в аудитории люди с хорошими голосами, и получается красиво... Если кто-то захочет оригинал песни в отличном исполнении послушать, сюда заходите. Тут с вокалом получше, конечно, но слова не те...

Конференция, день 4 (завершение)

Сессия 8. Оценка качества теории изменений. Выступают два аспиранта (PhD students). Они разработали инструмент для оценки качества ТИ (Theory of Change Assessnebt Tool - ToCAT). Я так понял, что инструмент основан на разработках Фонда Макнайт (McKnight Foundation). Руководство Фонда по мониторингу и оценке доступно здесь. Но инструмент ребята сами разработали. 
Он (инструмент) основан на следующих критериях (цитирую, не спрашивайте меня, что это означает): 

• Связь между местным и глобальным контекстами.
• Ориентация не только на проект, но и на системы. 
• Ясность путей, которые приведут к социальным эффектам. 
• Учет факторов и процессов, которые приведут к изменениям.
• Ясная взаимосвязь между исследованием, вопросами оценки и ожидаемыми эффектами.
• Вопросы оценки ориентированы на наиболее значимые и полезные результаты.
• План мониторинга и оценки позволит ответить на вопросы оценки.

На мой взгляд, представленные идеи очень "сырые", проработаны слабо. Негоже такое на серьезной конференции демонстрировать. Польза от сессии - сама идея необходимости разработки инструмента оценки ТИ и материалы McKnight Foundation  

Благотворительный аукцион. День завершился благотворительным аукционом, средства от которого направляются на гранты для зарубежных участников конференции из развивающихся стран. 

На этом репортажи о конференции завершаю. Естественно, это были впечатления лишь одного человека, который смог посетить лишь очень небольшое число сессий. При другой "траектории" впечатления наверняка были бы другими. 

Конференция, день 4

Сессия 1. Использование методики картирования эффектов программы (Rippple Effect Mapping, сокращенно REM) для оценки системных изменений. Более точный перевод названия методики - картирование по принципу расходящихся кругов на воде. Методика используется в групповой работе. Идея такая: на большом листе в центре располагаем воздействие, эффекты которого хотим изучить. Потом участникам предлагается на карточках записать прямые и опосредованные эффекты. После этого эффекты располагают на листе концентрическими окружностями и соединяют их в соответствии с причинно-следственными связями. Методика в англоязычной среде, оказывается, достаточно известна и многократно описана. Например, здесь можно скачать компактное описание на английском в PDF. Я подумал, что можно было бы интересную провести работу с помощью REM по картированию эффектов профессиональной конференции.

Сессия 2. Пленарная. Что в оценке действительно имеет значение? Модерирует Майкл Пэттон. Выступают Гленда Иоянг, Халил Битар и Доминика МакБрайд. 

Основной тезис Гленды: ответы заключены в вопросах. Она предложила 5 вопросов, имеющих особое значение для оценки. Приведу первый: "Каким образом мы извлекаем смыслы, делаем выбор и берем на себя ответственность за действия в условиях крайней неопределенности?".
Халил Битар - лидер инициативы EvalYouth, которая реализуется под эгидой программы EvalPartners. EvalYouth ориентирована на молодых и начинающих специалистов по оценке. Непосредственно в сети EvalYouth зарегистрировано около 500 человек из разных стран. Но, если учесть многочисленные контакты через социальные сети и т.д., то получится 20000. (Думаю, корректнее пока все же говорить о 500, хотя в рекламных целях 20 тысяч звучит солиднее). Халил говорил о том, что молодых оценщиков сейчас как никогда много стало и что надо новые подходы реализовывать новому поколению.
Доминика рассказала об инициативе, которая позволила существенным образом активизировать сообщества людей, живущих по соседству и сподвигнуть их на практические совместные шаги по улучшению качества жизни. Оценка с участием была органичной частью этой инициативы.
В завершение пленарной сессии коллективно всем залом была исполнена песня на музыку группы Queeen "We will rock you!". Новый вариант: We will evaluate! Предлагаю желающим послушать фрагмент. Заранее извиняюсь за качество записи.


Сессия 3. "Креативная отчетность в цифровом мире". Абсолютный аншлаг. Люди стоят вдоль стен и сидят на полу. Замечу, что это было характерно для всех сессий про визуализацию данных. Огромный интерес к этому вопросу, полагаю, связан с тем, что идет переход от традиционных письменных отчетов в академическом стиле к инфографике и т.п. Выступающий не пришел. Сессию отменять не стали. Народ ждал. Нашли быстро по мобильнику парня, которому по этой теме есть, что сказать, подключили его, вывели на большой экран изображение и он достойно сымпровизировал. Зовут его Chris Lysy. У него есть блог отличный freshspectrum. Он уже в этом блоге про свое импровизированное выступление рассказал. Можно почитать и посмотреть его презентацию.

Сессия 4. Пилотный проект: программа повышения квалификации в сфере оценки на базе университета Висконсина. Ясно, что для них это была новая программа, которую они раньше не делали. Долго разрабатывали. Нашли 6 желающих пройти этот курс со скидкой, т.к. пилотный. Провели курс. Всё. Добросовестно просидел я у них 45 минут. Не понял, что во всем этом было особенного и почему это выступление было включено в программу конференции.

Сессия 5. Майкл Пэттон представляет книгу "Оценка в интересах Голубой планеты" (Blue Marble Evaluation). Как всегда, феерично. По ходу презентации коллективно исполнено несколько песен на музыку популярных исполнителей, например, Mamma-Mia группы АBBА. Один из тезисов: специалистов по оценке пока не включают в обсуждение подходов к решению глобальных проблем, а надо бы. И самим надо больше про это задумываться. Майкл сослался, в частности, на Пражскую декларацию (2019). Книгу посвятил внукам, кстати. Про концепцию можно подробно прочесть на сайте у Майкла.

Сессия 6. Как далеко специалисты по оценке могут зайти в спасении мира? Здесь была групповая дискуссия. Участникам было предложено вначале подумать, что для них особенно важно, когда они выступают в роли оценщиков. Потом тот же вопрос, но уже в роли ответственных и неравнодушных граждан. Потом предложили сравнить результаты. Общее направление разговора: надо быть активистами, надо за социальную справедливость и вообще мир спасать, а не просто оценку проводить. В принципе, я - за. Но только вот есть вопрос. Когда мы работаем в качестве внешних консультантов, у нас есть клиент, и мы обязаны его интересы учитывать. Как быть, если специалист по оценке окажется в ситуации, когда интересы клиента противоречат его (специалиста по оценке) видению ситуации? Может в этом случае специалист по оценке использовать свое положение  и полученную в ходе оценки информацию для того, чтобы сделать вклад в установление социальной справедливости, пренебрегая при этом интересами клиента? Для меня вопрос носит чисто риторический характер. 

Сессия 7. "Самая большая профессия в мире, о которой никто не слышал". Представлено 4 исследования. Их объединяют следующие общие темы:
- Как специалисты по оценке о себе рассказывают?
- Как их воспринимают представители других профессий (например, исследователи)?
- Какие стратегии использовать для того, чтобы о нашей профессии знали?
Интересные сообщения. Содержательные.

Сессия 8. Оценка качества теории изменений (в следующей публикации)

Конференция, день 3.

Начинаем в 8.00. Параллельно проходят 30-40 сессий. 

Сессия 1. Тема - как повысить статус профессии и добиться признания (пока не поздно). Стюарт Доналдсон говорит о двух барьерах: недостаточном доверии к оценке и повышенном уровне тревожности в связи с оценкой. По мнению Стюарта, уровень доверия к оценке можно повысить, если активно развивать оценку как науку (evaluation science) - по аналогии с другими дисциплинами. Повышенная тревожность возникает в связи со следующими вопросами: услышат ли меня? поймут ли они нашу программу? сколько времени это займет? что, если нас оценят не очень хорошо? и т.д. (см картинку "Оценщик пришёл") Эту проблему (говорит Стюарт) можно решить, если перейти от ориентации на недостатки к акценту на сильные стороны (перейти от deficit focused к asset based).  

Франц Лью из университета Маастрихта рассуждает о роли больших данных (БД) и искусственного интеллекта ИИ) в оценке (одно без другого не работает). Рассказывает о том, что сегодня компьютер может не только учиться на собственном опыте, но и формировать специальные алгоритмы, чтобы себя тренировать в выполнении определенных заданий. При этом надо не только применять ИИ и БД, но и подумать о том, как оценивать БД и ИИ. Приводит интересные примеры. Например, в офтальмологии ИИ более точные прогнозы уже дает, чем врач. 

Майкл Пэттон говорит, что сегодня уже не об оценке программ и проектов идет речь. Надо оценивать миссии, стратегии, системы и т.д. А мы к этому не очень готовы. "То, в чем мы хороши, может препятствовать нашему совершенствованию". Т.е. есть риск, что станем "цепляться" за оценку программ и проектов вместо того, чтобы выходить на новые рубежи. В этой новой реальности, говорит Майкл, многие вещи поменяются. Например, нейтральной отстраненной позиции оценщика, придет на смену его вовлеченность в оцениваемую инициативу. Майкл ссылается на свою новую книгу "Оценка в интересах Голубой планеты". 

Сессия 2. Пленарная. Тесси Катсамбас (на фото) пригласила своего бывшего преподавателя Рона Хейфеца, который более 30 лет занимается темой лидерства. Тема выступления - адаптивный подход к лидерству. Рон выступает очень мастерски, чувствуется большой опыт участия в подобных мероприятиях. Некоторые тезисы очень интересные. Например, он говорит, что традиционно лидерство определяется через способности или инструменты влияния. А правильнее его определять через описание той работы, которую лидеру надлежит выполнять. Работу лидера делит на техническую и адаптивную. Отмечает значимость подталкивания организации к границам ее компетентности. В таком состоянии может быть осуществлен прорыв, переход в новое качество.