пятница, 24 января 2020 г.

Больше отдыхать

На днях встречались с друзьями, которые профессионально занимаются консалтингом, как и мы, более четверти века. Обсуждали в числе прочего тему рабочей нагрузки. Если кто не в курсе 😏, консультанту приходится работать весьма напряженно - сильно ненормированный рабочий день, работа в выходные, нерегулярные отпуска и т.д. Можно ли работать меньше? Получается, что не особо. И по финансовым соображениям, и потому, что интересная же работа! Решили, что работать меньше не надо, а надо больше отдыхать.

вторник, 14 января 2020 г.

Влияние ресурсных центров на развитие НКО

Вместе с новосибирскими СЦПОИ и ИнАЦентром мы несколько месяцев проводили оценку влияния ресурсных центров на развитие НКО сектора в России. Предварительные результаты этой оценки дважды обсуждались публично - на встрече представителей ресурсных центров в Новосибирске и на специально организованной встрече в Москве (спасибо "БЛАГОСФЕРЕ" за предоставление площадки!). Только что отчет об оценке был опубликован. Президент СЦПОИ Елена Малицкая поделилась своими мыслями об этой работе. Не стану излагать здесь содержание отчета - лучше прочесть. Отмечу лишь три момента: 
   Не удивило: список наиболее влиятельных НКО.
   Удивило: сколько же всего было сделано ими за 25 лет!
   Стало неожиданным: все бывшие "ресурсные центры" уже давно перестали быть таковыми. Может быть, это - закономерность? Если так, то имеет ли смысл создавать новые ресурсные центры? По крайней мере, надо сразу задумываться о их стратегии развития и дальнейшей судьбе. 

среда, 25 декабря 2019 г.

Блог: итоги 2019 года

Оказалось что сегодня - последняя среда 2019 года. Поскольку публикации в блоге я размещаю по средам, то в этот раз подведу некоторые итоги.
Больше всего просмотров в 2019 году набрали следующие публикации:
1 место - Ландшафт оценки (15 октября). В этой публикации есть ссылка на презентацию, в которой приведен обзор 79 видов оценки по книге Майкла Пэттона.
2 место - Использование результатов оценки: есть ли шанс что-то улучшить? (11 марта) В этой публикации есть ссылка на 20-минутное видео на английском языке, подготовленное совместно с Международным тренинговым центром Международной организации труда.
3 место - Критерии оценки программ развития обновили (11 декабря)  В этой публикации есть ссылка на статью об обновленных критериях DAC.
Больше всего просмотров блога за месяц было в октябре 2019 года, когда проходила конференция АСОПП в Москве. На втором месте по числу просмотров - март, а на третьем - ноябрь, когда я публиковал ежедневные отчеты об участии в конференции Американской ассоциации оценки в Миннеаполисе.
В следующем году одной из важных тем в этом блоге наверняка станут компетенции специалистов по оценке, поскольку намечается интересная международная инициатива, в которой, надеюсь, наша ассоциация примет активное участие.
Постараюсь сохранить регулярность публикаций - не реже 1 раза в неделю. Хотел бы особо поблагодарить постоянных подписчиков, которые получают новые публикации по электронной почте. Если вдруг кто-то захочет присоединиться, буду рад. Сделать это очень просто: надо в правой колонке блога в окошке под надписью "Получать новые записи по электронной почте" указать свой электронный адрес и нажать "Submit". Наиболее важные и/или интересные (с моей точки зрения) публикации буду дублировать на Facebook. Но туда попадает не всё. Всех с наступающим Новым годом!!!

понедельник, 16 декабря 2019 г.

Две публикации от Фонда Потанина

В прошлом году Фонд Потанина опубликовал отчет об исследовании влияния Фонда, которое мы для них провели, и статью Анатолия Заболотного "ЗАЧЕМ НУЖНО ИССЛЕДОВАТЬ ВЛИЯНИЕ ПРОГРАММ", в которой обсуждается и сам отчет, и оценка влияния как таковая. Поскольку сайт Фонда Потанина обновился, эти две публикации стало непросто отыскать. Потому я решил обновленные ссылки разместить здесь (см.выше).

среда, 11 декабря 2019 г.

Критерии оценки программ развития обновили

Вчера 10 декабря 2019 г. на заседании Комитета содействия развитию (Development Assistance Committee / DAC) Организации экономического сотрудничества и развития (OECD) были приняты обновленные критерии оценки программ развития - знаменитые критерии DAC. Этому событию предшествовала большая работа, в которой участвовали сотни специалистов из разных стран. Уточнены определения старых критериев (релевантность, результативность, эффективность, устойчивость и влияние) и добавлен новый критерий "согласованность" (coherence) - как оцениваемая программа вписывается в уже существующие инициативы. Кроме того, добавлены принципы использования критериев. Это важное событие в мире оценки. Подробное описание обновленных критериев можно посмотреть здесь (англ.).

среда, 4 декабря 2019 г.

Оценка и социальная справедливость

В последние годы многие говорят о том, что оценка может и должна играть важную роль в достижении социальной справедливости. О чем идет речь? В данном тексте я буду опираться на презентацию RACHEL VOTH SCHRAG (Рейчел Вот Шраг), в которой имеются ссылки на разные авторитетные источники. Фрагменты презентации выделены курсивом.

Ценности социальной справедливости:

  • Ресурсы должны быть распределены так, чтобы каждый мог жить достойной жизнью.
  • Все люди имеют равные права и должны быть признаны во всем их разнообразии.
  • Все люди должны иметь возможность выступать от своего имени, а их мнения должны быть представлены соответствующим образом.

Оценка, ориентированная на социальную справедливость, стремится к пониманию взаимозависимости личности, сообщества и общества; использует разумный демократический процесс для генерирования знаний о социальных проблемах и социальных воздействиях и использует это знание в целях социального развития. 

Ключевым моментом в приведенной выше цитате, на мой взгляд, является упоминание "разумного демократического процесса" и "использования знаний в целях развития". Здесь об этом не говорится, но имеется в виду противопоставление такого подхода к оценке традиционному академическому подходу, где четко определены критерии научного знания. Интересующиеся могут более подробно почитать про "демократию знания", например, здесь

Оценка, ориентированная на социальную справедливость:
  • отвергает возможность нейтральной позиции того, кто ее проводит,
  • предполагает критический анализ социально-политических сил, формирующих контекст оценки, в том числе, анализирует причины принятия решений о проведении оценки,
  • освещает неравенства и несправедливости, а не маскирует их,
  • направлена на облегчение открытого обсуждения (и признаёт при этом естественные пределы наших возможностей организовать его),
  • вовлекает все заинтересованные стороны,
  • использует подходы, которые позволяют услышать голос благополучателей на всех этапах процесса оценки,
  • ориентирована на использование знаний в целях достижения справедливости и осуществления позитивных перемен.
Хотел бы обратить внимание на последний пункт. Это к теме об "активизме" в оценке, о чем я писал недавно. Имеются в виду действия специалистов по оценке, направленные на те или иные изменения, предпринимаемые ими по собственной инициативе независимо от позиций третьих сторон, например, заказчиков оценки, органов государственной власти и т.д.   

четверг, 28 ноября 2019 г.

Аллилуйя

Сегодня решил разместить здесь ссылку на одну из песен, которые Майкл Пэттон сочинил про оценку. В данном случае речь идет о провалах в проведении оценки. Более 20 лет слежу за творчеством Майкла. Заметил, что в последнее время песен стало больше! Итак, Аллилуйя. Интересно, что практически всегда находятся в аудитории люди с хорошими голосами, и получается красиво... Если кто-то захочет оригинал песни в отличном исполнении послушать, сюда заходите. Тут с вокалом получше, конечно, но слова не те...

вторник, 19 ноября 2019 г.

Конференция, день 4 (завершение)

Сессия 8. Оценка качества теории изменений. Выступают два аспиранта (PhD students). Они разработали инструмент для оценки качества ТИ (Theory of Change Assessnebt Tool - ToCAT). Я так понял, что инструмент основан на разработках Фонда Макнайт (McKnight Foundation). Руководство Фонда по мониторингу и оценке доступно здесьНо инструмент ребята сами разработали. 
Он (инструмент) основан на следующих критериях (цитирую, не спрашивайте меня, что это означает): 

  • Связь между местным и глобальным контекстами.
  • Ориентация не только на проект, но и на системы. 
  • Ясность путей, которые приведут к социальным эффектам. 
  • Учет факторов и процессов, которые приведут к изменениям.
  • Ясная взаимосвязь между исследованием, вопросами оценки и ожидаемыми эффектами.
  • Вопросы оценки ориентированы на наиболее значимые и полезные результаты.
  • План мониторинга и оценки позволит ответить на вопросы оценки.
На мой взгляд, представленные идеи очень "сырые", проработаны слабо. Негоже такое на серьезной конференции демонстрировать. Польза от сессии - сама идея необходимости разработки инструмента оценки ТИ и материалы McKnight Foundation  

Благотворительный аукцион. День завершился благотворительным аукционом, средства от которого направляются на гранты для зарубежных участников конференции из развивающихся стран. 

На этом репортажи о конференции завершаю. Естественно, это были впечатления лишь одного человека, который смог посетить лишь очень небольшое число сессий. При другой "траектории" впечатления наверняка были бы другими. 

понедельник, 18 ноября 2019 г.

Конференция, день 4

Сессия 1. Использование методики картирования эффектов программы (Rippple Effect Mapping, сокращенно REM) для оценки системных изменений. Более точный перевод названия методики - картирование по принципу расходящихся кругов на воде. Методика используется в групповой работе. Идея такая: на большом листе в центре располагаем воздействие, эффекты которого хотим изучить. Потом участникам предлагается на карточках записать прямые и опосредованные эффекты. После этого эффекты располагают на листе концентрическими окружностями и соединяют их в соответствии с причинно-следственными связями. Методика в англоязычной среде, оказывается, достаточно известна и многократно описана. Например, здесь можно скачать компактное описание на английском в PDF. Я подумал, что можно было бы интересную провести работу с помощью REM по картированию эффектов профессиональной конференции.

Сессия 2. Пленарная. Что в оценке действительно имеет значение? Модерирует Майкл Пэттон. Выступают Гленда Иоянг, Халил Битар и Доминика МакБрайд. 
Основной тезис Гленды: ответы заключены в вопросах. Она предложила 5 вопросов, имеющих особое значение для оценки. Приведу первый: "Каким образом мы извлекаем смыслы, делаем выбор и берем на себя ответственность за действия в условиях крайней неопределенности?".
Халил Битар - лидер инициативы EvalYouth, которая реализуется под эгидой программы EvalPartners. EvalYouth ориентирована на молодых и начинающих специалистов по оценке. Непосредственно в сети EvalYouth зарегистрировано около 500 человек из разных стран. Но, если учесть многочисленные контакты через социальные сети и т.д., то получится 20000. (Думаю, корректнее пока все же говорить о 500, хотя в рекламных целях 20 тысяч звучит солиднее). Халил говорил о том, что молодых оценщиков сейчас как никогда много стало и что надо новые подходы реализовывать новому поколению.
Доминика рассказала об инициативе, которая позволила существенным образом активизировать сообщества людей, живущих по соседству и сподвигнуть их на практические совместные шаги по улучшению качества жизни. Оценка с участием была органичной частью этой инициативы.
В завершение пленарной сессии коллективно всем залом была исполнена песня на музыку группы Queeen "We will rock you!". Новый вариант: We will evaluate! Предлагаю желающим послушать фрагмент. Заранее извиняюсь за качество записи.


Сессия 3. "Креативная отчетность в цифровом мире". Абсолютный аншлаг. Люди стоят вдоль стен и сидят на полу. Замечу, что это было характерно для всех сессий про визуализацию данных. Огромный интерес к этому вопросу, полагаю, связан с тем, что идет переход от традиционных письменных отчетов в академическом стиле к инфографике и т.п. Выступающий не пришел. Сессию отменять не стали. Народ ждал. Нашли быстро по мобильнику парня, которому по этой теме есть, что сказать, подключили его, вывели на большой экран изображение и он достойно сымпровизировал. Зовут его Chris Lysy. У него есть блог отличный freshspectrum. Он уже в этом блоге про свое импровизированное выступление рассказал. Можно почитать и посмотреть его презентацию.

Сессия 4. Пилотный проект: программа повышения квалификации в сфере оценки на базе университета Висконсина. Ясно, что для них это была новая программа, которую они раньше не делали. Долго разрабатывали. Нашли 6 желающих пройти этот курс со скидкой, т.к. пилотный. Провели курс. Всё. Добросовестно просидел я у них 45 минут. Не понял, что во всем этом было особенного и почему это выступление было включено в программу конференции.

Сессия 5. Майкл Пэттон представляет книгу "Оценка в интересах Голубой планеты" (Blue Marble Evaluation). Как всегда, феерично. По ходу презентации коллективно исполнено несколько песен на музыку популярных исполнителей, например, Mamma-Mia группы АBBА. Один из тезисов: специалистов по оценке пока не включают в обсуждение подходов к решению глобальных проблем, а надо бы. И самим надо больше про это задумываться. Майкл сослался, в частности, на Пражскую декларацию (2019). Книгу посвятил внукам, кстати. Про концепцию можно подробно прочесть на сайте у Майкла.

Сессия 6. Как далеко специалисты по оценке могут зайти в спасении мира? Здесь была групповая дискуссия. Участникам было предложено вначале подумать, что для них особенно важно, когда они выступают в роли оценщиков. Потом тот же вопрос, но уже в роли ответственных и неравнодушных граждан. Потом предложили сравнить результаты. Общее направление разговора: надо быть активистами, надо за социальную справедливость и вообще мир спасать, а не просто оценку проводить. В принципе, я - за. Но только вот есть вопрос. Когда мы работаем в качестве внешних консультантов, у нас есть клиент, и мы обязаны его интересы учитывать. Как быть, если специалист по оценке окажется в ситуации, когда интересы клиента противоречат его (специалиста по оценке) видению ситуации? Может в этом случае специалист по оценке использовать свое положение  и полученную в ходе оценки информацию для того, чтобы сделать вклад в установление социальной справедливости, пренебрегая при этом интересами клиента? Для меня вопрос носит чисто риторический характер. 

Сессия 7. "Самая большая профессия в мире, о которой никто не слышал". Представлено 4 исследования. Их объединяют следующие общие темы:
- Как специалисты по оценке о себе рассказывают?
- Как их воспринимают представители других профессий (например, исследователи)?
- Какие стратегии использовать для того, чтобы о нашей профессии знали?
Интересные сообщения. Содержательные.

Сессия 8. Оценка качества теории изменений (в следующей публикации)

пятница, 15 ноября 2019 г.

Конференция, день 3.

Начинаем в 8.00. Параллельно проходят 30-40 сессий. 

Сессия 1. Тема - как повысить статус профессии и добиться признания (пока не поздно). Стюарт Доналдсон говорит о двух барьерах: недостаточном доверии к оценке и повышенном уровне тревожности в связи с оценкой. По мнению Стюарта, уровень доверия к оценке можно повысить, если активно развивать оценку как науку (evaluation science) - по аналогии с другими дисциплинами. Повышенная тревожность возникает в связи со следующими вопросами: услышат ли меня? поймут ли они нашу программу? сколько времени это займет? что, если нас оценят не очень хорошо? и т.д. (см картинку "Оценщик пришёл") Эту проблему (говорит Стюарт) можно решить, если перейти от ориентации на недостатки к акценту на сильные стороны (перейти от deficit focused к asset based).  
Франц Лью из университета Маастрихта рассуждает о роли больших данных (БД) и искусственного интеллекта ИИ) в оценке (одно без другого не работает). Рассказывает о том, что сегодня компьютер может не только учиться на собственном опыте, но и формировать специальные алгоритмы, чтобы себя тренировать в выполнении определенных заданий. При этом надо не только применять ИИ и БД, но и подумать о том, как оценивать БД и ИИ. Приводит интересные примеры. Например, в офтальмологии ИИ более точные прогнозы уже дает, чем врач. 
Майкл Пэттон говорит, что сегодня уже не об оценке программ и проектов идет речь. Надо оценивать миссии, стратегии, системы и т.д. А мы к этому не очень готовы. "То, в чем мы хороши, может препятствовать нашему совершенствованию". Т.е. есть риск, что станем "цепляться" за оценку программ и проектов вместо того, чтобы выходить на новые рубежи. В этой новой реальности, говорит Майкл, многие вещи поменяются. Например, нейтральной отстраненной позиции оценщика, придет на смену его вовлеченность в оцениваемую инициативу. Майкл ссылается на свою новую книгу "Оценка в интересах Голубой планеты". 

Сессия 2. Пленарная. Тесси Катсамбас (на фото) пригласила своего бывшего преподавателя Рона Хейфеца, который более 30 лет занимается темой лидерства. Тема выступления - адаптивный подход к лидерству. Рон выступает очень мастерски, чувствуется большой опыт участия в подобных мероприятиях. Некоторые тезисы очень интересные. Например, он говорит, что традиционно лидерство определяется через способности или инструменты влияния. А правильнее его определять через описание той работы, которую лидеру надлежит выполнять. Работу лидера делит на техническую и адаптивную. Отмечает значимость подталкивания организации к границам ее компетентности. В таком состоянии может быть осуществлен прорыв, переход в новое качество.