Сегодня решил разместить здесь ссылку на одну из песен, которые Майкл Пэттон сочинил про оценку. В данном случае речь идет о провалах в проведении оценки. Более 20 лет слежу за творчеством Майкла. Заметил, что в последнее время песен стало больше! Итак, Аллилуйя. Интересно, что практически всегда находятся в аудитории люди с хорошими голосами, и получается красиво... Если кто-то захочет оригинал песни в отличном исполнении послушать, сюда заходите. Тут с вокалом получше, конечно, но слова не те...
четверг, 28 ноября 2019 г.
вторник, 19 ноября 2019 г.
Конференция, день 4 (завершение)
Сессия 8. Оценка качества теории изменений. Выступают два аспиранта (PhD students). Они разработали инструмент для оценки качества ТИ (Theory of Change Assessnebt Tool - ToCAT). Я так понял, что инструмент основан на разработках Фонда Макнайт (McKnight Foundation). Руководство Фонда по мониторингу и оценке доступно здесь. Но инструмент ребята сами разработали.
Он (инструмент) основан на следующих критериях (цитирую, не спрашивайте меня, что это означает):
Он (инструмент) основан на следующих критериях (цитирую, не спрашивайте меня, что это означает):
- Связь между местным и глобальным контекстами.
- Ориентация не только на проект, но и на системы.
- Ясность путей, которые приведут к социальным эффектам.
- Учет факторов и процессов, которые приведут к изменениям.
- Ясная взаимосвязь между исследованием, вопросами оценки и ожидаемыми эффектами.
- Вопросы оценки ориентированы на наиболее значимые и полезные результаты.
- План мониторинга и оценки позволит ответить на вопросы оценки.
На мой взгляд, представленные идеи очень "сырые", проработаны слабо. Негоже такое на серьезной конференции демонстрировать. Польза от сессии - сама идея необходимости разработки инструмента оценки ТИ и материалы McKnight Foundation
Благотворительный аукцион. День завершился благотворительным аукционом, средства от которого направляются на гранты для зарубежных участников конференции из развивающихся стран.
На этом репортажи о конференции завершаю. Естественно, это были впечатления лишь одного человека, который смог посетить лишь очень небольшое число сессий. При другой "траектории" впечатления наверняка были бы другими.
понедельник, 18 ноября 2019 г.
Конференция, день 4
Сессия 1. Использование методики картирования эффектов программы (Rippple Effect Mapping, сокращенно REM) для оценки системных изменений. Более точный перевод названия методики - картирование по принципу расходящихся кругов на воде. Методика используется в групповой работе. Идея такая: на большом листе в центре располагаем воздействие, эффекты которого хотим изучить. Потом участникам предлагается на карточках записать прямые и опосредованные эффекты. После этого эффекты располагают на листе концентрическими окружностями и соединяют их в соответствии с причинно-следственными связями. Методика в англоязычной среде, оказывается, достаточно известна и многократно описана. Например, здесь можно скачать компактное описание на английском в PDF. Я подумал, что можно было бы интересную провести работу с помощью REM по картированию эффектов профессиональной конференции.
Сессия 2. Пленарная. Что в оценке действительно имеет значение? Модерирует Майкл Пэттон. Выступают Гленда Иоянг, Халил Битар и Доминика МакБрайд.
Основной тезис Гленды: ответы заключены в вопросах. Она предложила 5 вопросов, имеющих особое значение для оценки. Приведу первый: "Каким образом мы извлекаем смыслы, делаем выбор и берем на себя ответственность за действия в условиях крайней неопределенности?".
Халил Битар - лидер инициативы EvalYouth, которая реализуется под эгидой программы EvalPartners. EvalYouth ориентирована на молодых и начинающих специалистов по оценке. Непосредственно в сети EvalYouth зарегистрировано около 500 человек из разных стран. Но, если учесть многочисленные контакты через социальные сети и т.д., то получится 20000. (Думаю, корректнее пока все же говорить о 500, хотя в рекламных целях 20 тысяч звучит солиднее). Халил говорил о том, что молодых оценщиков сейчас как никогда много стало и что надо новые подходы реализовывать новому поколению.
Доминика рассказала об инициативе, которая позволила существенным образом активизировать сообщества людей, живущих по соседству и сподвигнуть их на практические совместные шаги по улучшению качества жизни. Оценка с участием была органичной частью этой инициативы.
В завершение пленарной сессии коллективно всем залом была исполнена песня на музыку группы Queeen "We will rock you!". Новый вариант: We will evaluate! Предлагаю желающим послушать фрагмент. Заранее извиняюсь за качество записи.
Сессия 3. "Креативная отчетность в цифровом мире". Абсолютный аншлаг. Люди стоят вдоль стен и сидят на полу. Замечу, что это было характерно для всех сессий про визуализацию данных. Огромный интерес к этому вопросу, полагаю, связан с тем, что идет переход от традиционных письменных отчетов в академическом стиле к инфографике и т.п. Выступающий не пришел. Сессию отменять не стали. Народ ждал. Нашли быстро по мобильнику парня, которому по этой теме есть, что сказать, подключили его, вывели на большой экран изображение и он достойно сымпровизировал. Зовут его Chris Lysy. У него есть блог отличный freshspectrum. Он уже в этом блоге про свое импровизированное выступление рассказал. Можно почитать и посмотреть его презентацию.
Сессия 4. Пилотный проект: программа повышения квалификации в сфере оценки на базе университета Висконсина. Ясно, что для них это была новая программа, которую они раньше не делали. Долго разрабатывали. Нашли 6 желающих пройти этот курс со скидкой, т.к. пилотный. Провели курс. Всё. Добросовестно просидел я у них 45 минут. Не понял, что во всем этом было особенного и почему это выступление было включено в программу конференции.
Сессия 5. Майкл Пэттон представляет книгу "Оценка в интересах Голубой планеты" (Blue Marble Evaluation). Как всегда, феерично. По ходу презентации коллективно исполнено несколько песен на музыку популярных исполнителей, например, Mamma-Mia группы АBBА. Один из тезисов: специалистов по оценке пока не включают в обсуждение подходов к решению глобальных проблем, а надо бы. И самим надо больше про это задумываться. Майкл сослался, в частности, на Пражскую декларацию (2019). Книгу посвятил внукам, кстати. Про концепцию можно подробно прочесть на сайте у Майкла.
Сессия 6. Как далеко специалисты по оценке могут зайти в спасении мира? Здесь была групповая дискуссия. Участникам было предложено вначале подумать, что для них особенно важно, когда они выступают в роли оценщиков. Потом тот же вопрос, но уже в роли ответственных и неравнодушных граждан. Потом предложили сравнить результаты. Общее направление разговора: надо быть активистами, надо за социальную справедливость и вообще мир спасать, а не просто оценку проводить. В принципе, я - за. Но только вот есть вопрос. Когда мы работаем в качестве внешних консультантов, у нас есть клиент, и мы обязаны его интересы учитывать. Как быть, если специалист по оценке окажется в ситуации, когда интересы клиента противоречат его (специалиста по оценке) видению ситуации? Может в этом случае специалист по оценке использовать свое положение и полученную в ходе оценки информацию для того, чтобы сделать вклад в установление социальной справедливости, пренебрегая при этом интересами клиента? Для меня вопрос носит чисто риторический характер.
Сессия 7. "Самая большая профессия в мире, о которой никто не слышал". Представлено 4 исследования. Их объединяют следующие общие темы:
- Как специалисты по оценке о себе рассказывают?
- Как их воспринимают представители других профессий (например, исследователи)?
- Какие стратегии использовать для того, чтобы о нашей профессии знали?
Интересные сообщения. Содержательные.
Сессия 8. Оценка качества теории изменений (в следующей публикации)
Халил Битар - лидер инициативы EvalYouth, которая реализуется под эгидой программы EvalPartners. EvalYouth ориентирована на молодых и начинающих специалистов по оценке. Непосредственно в сети EvalYouth зарегистрировано около 500 человек из разных стран. Но, если учесть многочисленные контакты через социальные сети и т.д., то получится 20000. (Думаю, корректнее пока все же говорить о 500, хотя в рекламных целях 20 тысяч звучит солиднее). Халил говорил о том, что молодых оценщиков сейчас как никогда много стало и что надо новые подходы реализовывать новому поколению.
Доминика рассказала об инициативе, которая позволила существенным образом активизировать сообщества людей, живущих по соседству и сподвигнуть их на практические совместные шаги по улучшению качества жизни. Оценка с участием была органичной частью этой инициативы.
В завершение пленарной сессии коллективно всем залом была исполнена песня на музыку группы Queeen "We will rock you!". Новый вариант: We will evaluate! Предлагаю желающим послушать фрагмент. Заранее извиняюсь за качество записи.
Сессия 3. "Креативная отчетность в цифровом мире". Абсолютный аншлаг. Люди стоят вдоль стен и сидят на полу. Замечу, что это было характерно для всех сессий про визуализацию данных. Огромный интерес к этому вопросу, полагаю, связан с тем, что идет переход от традиционных письменных отчетов в академическом стиле к инфографике и т.п. Выступающий не пришел. Сессию отменять не стали. Народ ждал. Нашли быстро по мобильнику парня, которому по этой теме есть, что сказать, подключили его, вывели на большой экран изображение и он достойно сымпровизировал. Зовут его Chris Lysy. У него есть блог отличный freshspectrum. Он уже в этом блоге про свое импровизированное выступление рассказал. Можно почитать и посмотреть его презентацию.
Сессия 4. Пилотный проект: программа повышения квалификации в сфере оценки на базе университета Висконсина. Ясно, что для них это была новая программа, которую они раньше не делали. Долго разрабатывали. Нашли 6 желающих пройти этот курс со скидкой, т.к. пилотный. Провели курс. Всё. Добросовестно просидел я у них 45 минут. Не понял, что во всем этом было особенного и почему это выступление было включено в программу конференции.
Сессия 5. Майкл Пэттон представляет книгу "Оценка в интересах Голубой планеты" (Blue Marble Evaluation). Как всегда, феерично. По ходу презентации коллективно исполнено несколько песен на музыку популярных исполнителей, например, Mamma-Mia группы АBBА. Один из тезисов: специалистов по оценке пока не включают в обсуждение подходов к решению глобальных проблем, а надо бы. И самим надо больше про это задумываться. Майкл сослался, в частности, на Пражскую декларацию (2019). Книгу посвятил внукам, кстати. Про концепцию можно подробно прочесть на сайте у Майкла.
Сессия 6. Как далеко специалисты по оценке могут зайти в спасении мира? Здесь была групповая дискуссия. Участникам было предложено вначале подумать, что для них особенно важно, когда они выступают в роли оценщиков. Потом тот же вопрос, но уже в роли ответственных и неравнодушных граждан. Потом предложили сравнить результаты. Общее направление разговора: надо быть активистами, надо за социальную справедливость и вообще мир спасать, а не просто оценку проводить. В принципе, я - за. Но только вот есть вопрос. Когда мы работаем в качестве внешних консультантов, у нас есть клиент, и мы обязаны его интересы учитывать. Как быть, если специалист по оценке окажется в ситуации, когда интересы клиента противоречат его (специалиста по оценке) видению ситуации? Может в этом случае специалист по оценке использовать свое положение и полученную в ходе оценки информацию для того, чтобы сделать вклад в установление социальной справедливости, пренебрегая при этом интересами клиента? Для меня вопрос носит чисто риторический характер.
Сессия 7. "Самая большая профессия в мире, о которой никто не слышал". Представлено 4 исследования. Их объединяют следующие общие темы:
- Как специалисты по оценке о себе рассказывают?
- Как их воспринимают представители других профессий (например, исследователи)?
- Какие стратегии использовать для того, чтобы о нашей профессии знали?
Интересные сообщения. Содержательные.
Сессия 8. Оценка качества теории изменений (в следующей публикации)
пятница, 15 ноября 2019 г.
Конференция, день 3.
Начинаем в 8.00. Параллельно проходят 30-40 сессий.
Сессия 1. Тема - как повысить статус профессии и добиться признания (пока не поздно). Стюарт Доналдсон говорит о двух барьерах: недостаточном доверии к оценке и повышенном уровне тревожности в связи с оценкой. По мнению Стюарта, уровень доверия к оценке можно повысить, если активно развивать оценку как науку (evaluation science) - по аналогии с другими дисциплинами. Повышенная тревожность возникает в связи со следующими вопросами: услышат ли меня? поймут ли они нашу программу? сколько времени это займет? что, если нас оценят не очень хорошо? и т.д. (см картинку "Оценщик пришёл") Эту проблему (говорит Стюарт) можно решить, если перейти от ориентации на недостатки к акценту на сильные стороны (перейти от deficit focused к asset based).
Франц Лью из университета Маастрихта рассуждает о роли больших данных (БД) и искусственного интеллекта ИИ) в оценке (одно без другого не работает). Рассказывает о том, что сегодня компьютер может не только учиться на собственном опыте, но и формировать специальные алгоритмы, чтобы себя тренировать в выполнении определенных заданий. При этом надо не только применять ИИ и БД, но и подумать о том, как оценивать БД и ИИ. Приводит интересные примеры. Например, в офтальмологии ИИ более точные прогнозы уже дает, чем врач.
Майкл Пэттон говорит, что сегодня уже не об оценке программ и проектов идет речь. Надо оценивать миссии, стратегии, системы и т.д. А мы к этому не очень готовы. "То, в чем мы хороши, может препятствовать нашему совершенствованию". Т.е. есть риск, что станем "цепляться" за оценку программ и проектов вместо того, чтобы выходить на новые рубежи. В этой новой реальности, говорит Майкл, многие вещи поменяются. Например, нейтральной отстраненной позиции оценщика, придет на смену его вовлеченность в оцениваемую инициативу. Майкл ссылается на свою новую книгу "Оценка в интересах Голубой планеты".
Сессия 2. Пленарная. Тесси Катсамбас (на фото) пригласила своего бывшего преподавателя Рона Хейфеца, который более 30 лет занимается темой лидерства. Тема выступления - адаптивный подход к лидерству. Рон выступает очень мастерски, чувствуется большой опыт участия в подобных мероприятиях. Некоторые тезисы очень интересные. Например, он говорит, что традиционно лидерство определяется через способности или инструменты влияния. А правильнее его определять через описание той работы, которую лидеру надлежит выполнять. Работу лидера делит на техническую и адаптивную. Отмечает значимость подталкивания организации к границам ее компетентности. В таком состоянии может быть осуществлен прорыв, переход в новое качество.
четверг, 14 ноября 2019 г.
Конференция, день 2
С 8 до 11 утра семинар на тему "Системно-ориентированное дизайн-мышление в оценке". Дизайн-мышление – это системный подход к решению задач, ориентированный на интересы конечного пользователя. В основе дизайн-мышления лежит творческий подход. При проведении оценки есть стадия дизайна (мы часто называем эту стадию планированием). Автор и ведущая семинара Джанис Нога предложила обсудить, как можно в дизайне оценки применить дизайн-мышление. "Заход" интересный. Как можно творчески подойти к дизайну оценки? Как находить оптимальные решения с учетом существующих и вновь возникающих обстоятельств? Мы привыкли говорить об использовании творчества в проектировании. Но ведь оценку мы тоже проектируем! Один из рекомендованных источников: "Практическое руководство по системному проектированию" (англ.)
С 12 до 15 "взрыв мозга" продолжил Джонатан Морелл. Название семинара: "Применение концепции сложных динамических систем для принятия практических решений о теории программы, методологии оценки, данных и вовлечении ключевых заинтересованных лиц". Речь шла о паттернах, предсказаниях, объяснениях и о том, как происходят изменения. Пару цитат для иллюстрации приведу:
- "Бывают модели, которые объясняют, но не предсказывают. А бывают такие, которые предсказывают но не объясняют".
- "Модель может быть ошибочка глобально, но верна локально".
В конце семинара рассмотрели 7 типов изменений - от "фазового сдвига" до "предпочитаемого присоединения".
В 15.30 началось открывающее пленарное заседание. Зал очень просторный. Порядка 3000 участников разместились легко. Нас поприветствовали представители коренного населения штата Миннесота индейцы племени дакота. После них выступила Тесси Катсамбас - президент Американской ассоциации оценки. Тесси обозначила несколько значимых для будущего оценки вопросов, касающихся контекста (например, "больших данных") и практики оценки (например, формирования компетенций специалиста по оценки и профессионализации оценки).
Дальше пошли параллельные сессии. На одной говорили о том, как готовиться к будущему. Затронули 3 аспекта: профессионализацию (формирование компетенций и их оценку), использование системного мышления (от него никуда не уйти!) и этику. Про этику говорил один из лидеров ассоциации Майкл Моррис, который сделал несколько очень конкретных предложений относительно того, как включить этику в профессиональную повестку специалистов по оценке.
Следующая сессия была про компетенции. Людей пришло много, времени было мало. Одна из идей, с которой, кажется, все согласились: надо договориться о том, чтобы 60% компетенций были во всех странах и организациях одинаковыми. Оставшиеся 40% можно разрабатывать с учетом специфики, культурных особенностей и т.п. Думаю, эту тему мы в АСОПП продолжим в том или ином виде.
С 17.30 до 19.30 были стендовые доклады (более 200).
Завершился день презентацией новой книги Майкла Пэттона "Blue Marble Evaluation" ("Оценка в интересах Голубой планеты") с исполнением соответствующего гимна. Книгу я приобрел, постараюсь в общих чертах о ней рассказать, когда прочту. На левом снимке гуру в специальном свитере рассказывает о книге. Удивительно продуктивно работает! Когда успевает?
среда, 13 ноября 2019 г.
Работа с ценностями при проведении оценки
Только что закончился однодневный семинар на эту тему в преддверии конференции Американской ассоциации оценки в Миннеаполисе. Ведущая - Керин Хассал из Австралии (на фото). Давно занимается этой тематикой. Исследователь и практик. Возможно, больше исследователь.
Основной тезис семинара: "Работа с ценностями позволяет получить в ходе оценки более качественные данные, поскольку помогает нам понять, что действительно имеет значение".
Керин сделала основательный обзор литературы, относящейся преимущественно либо к философии науки либо к оценке. При этом она совсем не ссылалась на публикации по организационному развитию, где про ценности много чего имеется.
Одно из важных новых для меня понятий - "ценностный ландшафт", который включает ценности оцениваемой программы, ценности благополучателей, ценности донора, ценности специалиста по оценке и т.д.
Керин предлагает работать с ценностями следующим образом:
По ходу семинара мы выполнили несколько практических заданий. В одном из них каждому было предложено из некоторого списка выбрать 3 наиболее значимых (зеленые точки) и 2 наименее значимых (красные точки) ценности. Результаты выполнения этого задания группой можно увидеть на рисунке. Керин сказала, что у специалистов по оценке всегда так получается: наименее значимые ценности - контроль над людьми и ресурсами, наиболее значимые - открытость к изменениям и развитие.
Для меня было неожиданностью, что на семинар пришло всего 9 человек. Среди них 2 из Японии, 1 из Африки (Кот-д'Ивуар), 1 из России (это как раз я) и 5 из США. Мне казалось, тема настолько важная, что должен быть аншлаг. Вероятно, еще полтора десятка семинаров, которые проходят параллельно составили серьезную конкуренцию. Зато нам удалось неспеша подробно поговорить!
Основной тезис семинара: "Работа с ценностями позволяет получить в ходе оценки более качественные данные, поскольку помогает нам понять, что действительно имеет значение".
Керин сделала основательный обзор литературы, относящейся преимущественно либо к философии науки либо к оценке. При этом она совсем не ссылалась на публикации по организационному развитию, где про ценности много чего имеется.
Одно из важных новых для меня понятий - "ценностный ландшафт", который включает ценности оцениваемой программы, ценности благополучателей, ценности донора, ценности специалиста по оценке и т.д.
Керин предлагает работать с ценностями следующим образом:
- Определить, с какими ценностями мы имеем дело.
- Определить, какие ценности имеют наиболее важное значение.
- Определить, какие подходы мы будем использовать при работе с ценностями в конкретном случае.
- Определить, как интегрировать ценности в практику оценки в будущем.
По ходу семинара мы выполнили несколько практических заданий. В одном из них каждому было предложено из некоторого списка выбрать 3 наиболее значимых (зеленые точки) и 2 наименее значимых (красные точки) ценности. Результаты выполнения этого задания группой можно увидеть на рисунке. Керин сказала, что у специалистов по оценке всегда так получается: наименее значимые ценности - контроль над людьми и ресурсами, наиболее значимые - открытость к изменениям и развитие.
среда, 6 ноября 2019 г.
Оценка на пути к будущему
В следующий понедельник начинается конференция Американской ассоциации оценки. Она пройдет в Миннеаполисе.
График такой: понедельник, вторник и среда до обеда - семинары.
С обеда среды до обеда субботы - конференция.
С обеда до вечера субботы - семинары.
Тема конференции в это году: "Пути к будущему оценки". Президент Американской ассоциации оценки Тесси Катсамбас предложила эту тему рассматривать в традиции Позитивного исследования (Appreciative Inquiry) - подумать о лучшем из того, что нам удалось сделать в прошлом; осознать свои сильные стороны; сформировать образ желаемого будущего и наметить пути к нему.
Планирую принять участие в трех семинарах перед конференцией: один - по работе с ценностями, два - по системному мышлению. По ходу конференции постараюсь, как всегда, рассказывать о том, что удастся увидеть и услышать.
Подписаться на:
Сообщения (Atom)