Аллилуйя

Сегодня решил разместить здесь ссылку на одну из песен, которые Майкл Пэттон сочинил про оценку. В данном случае речь идет о провалах в проведении оценки. Более 20 лет слежу за творчеством Майкла. Заметил, что в последнее время песен стало больше! Итак, Аллилуйя. Интересно, что практически всегда находятся в аудитории люди с хорошими голосами, и получается красиво... Если кто-то захочет оригинал песни в отличном исполнении послушать, сюда заходите. Тут с вокалом получше, конечно, но слова не те...

Конференция, день 4 (завершение)

Сессия 8. Оценка качества теории изменений. Выступают два аспиранта (PhD students). Они разработали инструмент для оценки качества ТИ (Theory of Change Assessnebt Tool - ToCAT). Я так понял, что инструмент основан на разработках Фонда Макнайт (McKnight Foundation). Руководство Фонда по мониторингу и оценке доступно здесь. Но инструмент ребята сами разработали. 
Он (инструмент) основан на следующих критериях (цитирую, не спрашивайте меня, что это означает): 

• Связь между местным и глобальным контекстами.
• Ориентация не только на проект, но и на системы. 
• Ясность путей, которые приведут к социальным эффектам. 
• Учет факторов и процессов, которые приведут к изменениям.
• Ясная взаимосвязь между исследованием, вопросами оценки и ожидаемыми эффектами.
• Вопросы оценки ориентированы на наиболее значимые и полезные результаты.
• План мониторинга и оценки позволит ответить на вопросы оценки.

На мой взгляд, представленные идеи очень "сырые", проработаны слабо. Негоже такое на серьезной конференции демонстрировать. Польза от сессии - сама идея необходимости разработки инструмента оценки ТИ и материалы McKnight Foundation  

Благотворительный аукцион. День завершился благотворительным аукционом, средства от которого направляются на гранты для зарубежных участников конференции из развивающихся стран. 

На этом репортажи о конференции завершаю. Естественно, это были впечатления лишь одного человека, который смог посетить лишь очень небольшое число сессий. При другой "траектории" впечатления наверняка были бы другими. 

Конференция, день 4

Сессия 1. Использование методики картирования эффектов программы (Rippple Effect Mapping, сокращенно REM) для оценки системных изменений. Более точный перевод названия методики - картирование по принципу расходящихся кругов на воде. Методика используется в групповой работе. Идея такая: на большом листе в центре располагаем воздействие, эффекты которого хотим изучить. Потом участникам предлагается на карточках записать прямые и опосредованные эффекты. После этого эффекты располагают на листе концентрическими окружностями и соединяют их в соответствии с причинно-следственными связями. Методика в англоязычной среде, оказывается, достаточно известна и многократно описана. Например, здесь можно скачать компактное описание на английском в PDF. Я подумал, что можно было бы интересную провести работу с помощью REM по картированию эффектов профессиональной конференции.

Сессия 2. Пленарная. Что в оценке действительно имеет значение? Модерирует Майкл Пэттон. Выступают Гленда Иоянг, Халил Битар и Доминика МакБрайд. 

Основной тезис Гленды: ответы заключены в вопросах. Она предложила 5 вопросов, имеющих особое значение для оценки. Приведу первый: "Каким образом мы извлекаем смыслы, делаем выбор и берем на себя ответственность за действия в условиях крайней неопределенности?".
Халил Битар - лидер инициативы EvalYouth, которая реализуется под эгидой программы EvalPartners. EvalYouth ориентирована на молодых и начинающих специалистов по оценке. Непосредственно в сети EvalYouth зарегистрировано около 500 человек из разных стран. Но, если учесть многочисленные контакты через социальные сети и т.д., то получится 20000. (Думаю, корректнее пока все же говорить о 500, хотя в рекламных целях 20 тысяч звучит солиднее). Халил говорил о том, что молодых оценщиков сейчас как никогда много стало и что надо новые подходы реализовывать новому поколению.
Доминика рассказала об инициативе, которая позволила существенным образом активизировать сообщества людей, живущих по соседству и сподвигнуть их на практические совместные шаги по улучшению качества жизни. Оценка с участием была органичной частью этой инициативы.
В завершение пленарной сессии коллективно всем залом была исполнена песня на музыку группы Queeen "We will rock you!". Новый вариант: We will evaluate! Предлагаю желающим послушать фрагмент. Заранее извиняюсь за качество записи.


Сессия 3. "Креативная отчетность в цифровом мире". Абсолютный аншлаг. Люди стоят вдоль стен и сидят на полу. Замечу, что это было характерно для всех сессий про визуализацию данных. Огромный интерес к этому вопросу, полагаю, связан с тем, что идет переход от традиционных письменных отчетов в академическом стиле к инфографике и т.п. Выступающий не пришел. Сессию отменять не стали. Народ ждал. Нашли быстро по мобильнику парня, которому по этой теме есть, что сказать, подключили его, вывели на большой экран изображение и он достойно сымпровизировал. Зовут его Chris Lysy. У него есть блог отличный freshspectrum. Он уже в этом блоге про свое импровизированное выступление рассказал. Можно почитать и посмотреть его презентацию.

Сессия 4. Пилотный проект: программа повышения квалификации в сфере оценки на базе университета Висконсина. Ясно, что для них это была новая программа, которую они раньше не делали. Долго разрабатывали. Нашли 6 желающих пройти этот курс со скидкой, т.к. пилотный. Провели курс. Всё. Добросовестно просидел я у них 45 минут. Не понял, что во всем этом было особенного и почему это выступление было включено в программу конференции.

Сессия 5. Майкл Пэттон представляет книгу "Оценка в интересах Голубой планеты" (Blue Marble Evaluation). Как всегда, феерично. По ходу презентации коллективно исполнено несколько песен на музыку популярных исполнителей, например, Mamma-Mia группы АBBА. Один из тезисов: специалистов по оценке пока не включают в обсуждение подходов к решению глобальных проблем, а надо бы. И самим надо больше про это задумываться. Майкл сослался, в частности, на Пражскую декларацию (2019). Книгу посвятил внукам, кстати. Про концепцию можно подробно прочесть на сайте у Майкла.

Сессия 6. Как далеко специалисты по оценке могут зайти в спасении мира? Здесь была групповая дискуссия. Участникам было предложено вначале подумать, что для них особенно важно, когда они выступают в роли оценщиков. Потом тот же вопрос, но уже в роли ответственных и неравнодушных граждан. Потом предложили сравнить результаты. Общее направление разговора: надо быть активистами, надо за социальную справедливость и вообще мир спасать, а не просто оценку проводить. В принципе, я - за. Но только вот есть вопрос. Когда мы работаем в качестве внешних консультантов, у нас есть клиент, и мы обязаны его интересы учитывать. Как быть, если специалист по оценке окажется в ситуации, когда интересы клиента противоречат его (специалиста по оценке) видению ситуации? Может в этом случае специалист по оценке использовать свое положение  и полученную в ходе оценки информацию для того, чтобы сделать вклад в установление социальной справедливости, пренебрегая при этом интересами клиента? Для меня вопрос носит чисто риторический характер. 

Сессия 7. "Самая большая профессия в мире, о которой никто не слышал". Представлено 4 исследования. Их объединяют следующие общие темы:
- Как специалисты по оценке о себе рассказывают?
- Как их воспринимают представители других профессий (например, исследователи)?
- Какие стратегии использовать для того, чтобы о нашей профессии знали?
Интересные сообщения. Содержательные.

Сессия 8. Оценка качества теории изменений (в следующей публикации)

Конференция, день 3.

Начинаем в 8.00. Параллельно проходят 30-40 сессий. 

Сессия 1. Тема - как повысить статус профессии и добиться признания (пока не поздно). Стюарт Доналдсон говорит о двух барьерах: недостаточном доверии к оценке и повышенном уровне тревожности в связи с оценкой. По мнению Стюарта, уровень доверия к оценке можно повысить, если активно развивать оценку как науку (evaluation science) - по аналогии с другими дисциплинами. Повышенная тревожность возникает в связи со следующими вопросами: услышат ли меня? поймут ли они нашу программу? сколько времени это займет? что, если нас оценят не очень хорошо? и т.д. (см картинку "Оценщик пришёл") Эту проблему (говорит Стюарт) можно решить, если перейти от ориентации на недостатки к акценту на сильные стороны (перейти от deficit focused к asset based).  

Франц Лью из университета Маастрихта рассуждает о роли больших данных (БД) и искусственного интеллекта ИИ) в оценке (одно без другого не работает). Рассказывает о том, что сегодня компьютер может не только учиться на собственном опыте, но и формировать специальные алгоритмы, чтобы себя тренировать в выполнении определенных заданий. При этом надо не только применять ИИ и БД, но и подумать о том, как оценивать БД и ИИ. Приводит интересные примеры. Например, в офтальмологии ИИ более точные прогнозы уже дает, чем врач. 

Майкл Пэттон говорит, что сегодня уже не об оценке программ и проектов идет речь. Надо оценивать миссии, стратегии, системы и т.д. А мы к этому не очень готовы. "То, в чем мы хороши, может препятствовать нашему совершенствованию". Т.е. есть риск, что станем "цепляться" за оценку программ и проектов вместо того, чтобы выходить на новые рубежи. В этой новой реальности, говорит Майкл, многие вещи поменяются. Например, нейтральной отстраненной позиции оценщика, придет на смену его вовлеченность в оцениваемую инициативу. Майкл ссылается на свою новую книгу "Оценка в интересах Голубой планеты". 

Сессия 2. Пленарная. Тесси Катсамбас (на фото) пригласила своего бывшего преподавателя Рона Хейфеца, который более 30 лет занимается темой лидерства. Тема выступления - адаптивный подход к лидерству. Рон выступает очень мастерски, чувствуется большой опыт участия в подобных мероприятиях. Некоторые тезисы очень интересные. Например, он говорит, что традиционно лидерство определяется через способности или инструменты влияния. А правильнее его определять через описание той работы, которую лидеру надлежит выполнять. Работу лидера делит на техническую и адаптивную. Отмечает значимость подталкивания организации к границам ее компетентности. В таком состоянии может быть осуществлен прорыв, переход в новое качество. 

Конференция, день 2

С 8 до 11 утра семинар на тему "Системно-ориентированное дизайн-мышление в оценке". Дизайн-мышление – это системный подход к решению задач, ориентированный на интересы конечного пользователя. В основе дизайн-мышления лежит творческий подход. При проведении оценки есть стадия дизайна (мы часто называем эту стадию планированием). Автор и ведущая семинара Джанис Нога предложила обсудить, как можно в дизайне оценки применить дизайн-мышление. "Заход" интересный. Как можно творчески подойти к дизайну оценки? Как находить оптимальные решения с учетом существующих и вновь возникающих обстоятельств? Мы привыкли говорить об использовании творчества в проектировании. Но ведь оценку мы тоже проектируем! Один из рекомендованных источников: "Практическое руководство по системному проектированию" (англ.)

С 12 до 15  "взрыв мозга" продолжил Джонатан Морелл. Название семинара: "Применение концепции сложных динамических систем для принятия практических решений о теории программы, методологии оценки, данных и вовлечении ключевых заинтересованных лиц". Речь шла о паттернах, предсказаниях, объяснениях и о том, как происходят изменения. Пару цитат для иллюстрации приведу:

- "Бывают модели, которые объясняют, но не предсказывают. А бывают такие, которые предсказывают но не объясняют".

- "Модель может быть ошибочка глобально, но верна локально".

В конце семинара рассмотрели 7 типов изменений - от "фазового сдвига" до "предпочитаемого присоединения".

В 15.30 началось открывающее пленарное заседание. Зал очень просторный. Порядка 3000 участников разместились легко. Нас поприветствовали представители коренного населения штата Миннесота индейцы племени дакота. После них выступила Тесси Катсамбас - президент Американской ассоциации оценки. Тесси обозначила несколько значимых для будущего оценки вопросов, касающихся контекста (например, "больших данных") и практики оценки (например, формирования компетенций специалиста по оценки и профессионализации оценки).

Дальше пошли параллельные сессии. На одной говорили о том, как готовиться к будущему. Затронули 3 аспекта: профессионализацию (формирование компетенций и их оценку), использование системного мышления (от него никуда не уйти!) и этику. Про этику говорил один из лидеров ассоциации Майкл Моррис, который сделал несколько очень конкретных предложений относительно того, как включить этику в профессиональную повестку специалистов по оценке.

Следующая сессия была про компетенции. Людей пришло много, времени было мало. Одна из идей, с которой, кажется, все согласились: надо договориться о том, чтобы 60% компетенций были во всех странах и организациях одинаковыми. Оставшиеся 40% можно разрабатывать с учетом специфики, культурных особенностей и т.п. Думаю, эту тему мы в АСОПП продолжим в том или ином виде. 

С 17.30 до 19.30 были стендовые доклады (более 200). 

Завершился день презентацией новой книги Майкла Пэттона "Blue Marble Evaluation" ("Оценка в интересах Голубой планеты")  с исполнением соответствующего гимна. Книгу я приобрел, постараюсь в общих чертах о ней рассказать, когда прочту. На левом снимке гуру в специальном свитере рассказывает о книге. Удивительно продуктивно работает! Когда успевает? 

Работа с ценностями при проведении оценки

Только что закончился однодневный семинар на эту тему в преддверии конференции Американской ассоциации оценки в Миннеаполисе.  Ведущая - Керин Хассал из Австралии (на фото). Давно занимается этой тематикой. Исследователь и практик. Возможно, больше исследователь.

Для меня было неожиданностью, что на семинар пришло всего 9 человек. Среди них 2 из Японии, 1 из Африки (Кот-д'Ивуар), 1 из России (это как раз я) и 5 из США. Мне казалось, тема настолько важная, что  должен быть аншлаг. Вероятно, еще полтора десятка семинаров, которые проходят параллельно составили серьезную конкуренцию. Зато нам удалось неспеша подробно поговорить!

Основной тезис семинара: "Работа с ценностями позволяет получить в ходе оценки более качественные данные, поскольку помогает нам понять, что действительно имеет значение".

Керин сделала основательный обзор литературы, относящейся преимущественно либо к философии науки либо к оценке. При этом она совсем не ссылалась на публикации по организационному развитию, где про ценности много чего имеется.

Одно из важных новых для меня понятий - "ценностный ландшафт", который включает ценности оцениваемой программы, ценности благополучателей, ценности донора, ценности специалиста по оценке и т.д.

Керин предлагает работать с ценностями следующим образом:

1. Определить, с какими ценностями мы имеем дело.  
2. Определить, какие ценности имеют наиболее важное значение.
3. Определить, какие подходы мы будем использовать при работе с ценностями в конкретном случае.
4. Определить, как интегрировать ценности в практику оценки в будущем.

Особое внимание было уделено распознаванию ценностей, которое можно охарактеризовать как искусство компетентного восприятия этой реальности. Керин даже ввела понятие "ценностной сензитивности".

По ходу семинара мы выполнили несколько практических заданий. В одном из них каждому было предложено из некоторого списка выбрать 3 наиболее значимых (зеленые точки) и 2 наименее значимых (красные точки) ценности. Результаты выполнения этого задания группой можно увидеть на рисунке. Керин сказала, что у специалистов по оценке всегда так получается: наименее значимые ценности - контроль над людьми и ресурсами, наиболее значимые - открытость к изменениям и развитие. 

Оценка на пути к будущему

В следующий понедельник начинается конференция Американской ассоциации оценки. Она пройдет в Миннеаполисе. 

График такой: понедельник, вторник и среда до обеда - семинары. 

С обеда среды до обеда субботы - конференция. 

С обеда до вечера субботы - семинары. 

Тема конференции в это году: "Пути к будущему оценки". Президент Американской ассоциации  оценки Тесси Катсамбас предложила эту тему рассматривать в традиции Позитивного исследования (Appreciative Inquiry) - подумать о лучшем из того, что нам удалось сделать в прошлом; осознать свои сильные стороны; сформировать образ желаемого будущего и наметить пути к нему. 

Планирую принять участие в трех семинарах перед конференцией: один - по работе с ценностями, два - по системному мышлению. По ходу конференции постараюсь, как всегда, рассказывать о том, что удастся увидеть и услышать.