среда, 18 июля 2018 г.

Принципы использования системного мышления в оценке программ

Очень важная для развития нашей профессии публикация (англ.) подготовлена тематической группой, занимающейся вопросами использования системного подхода в оценке (Systems in Evaluation Topical Interest Group), американской ассоциации оценки (American Evaluation Association). Речь идет о принципах эффективного использования системного мышления в оценке (Principles for Effective Use of Systems Thinking in Evaluation). Американские коллеги сформулировали и подробно описали принципы взаимоотношений, рамок, ракурсов и динамики (interrelationships, borders, perspectives, dynamics). Есть рекомендации по использованию этих принципов на практике и обсуждение перспектив развития данной темы. В подготовке публикации принимала участие группа ведущих специалистов нашей отрасли. 

среда, 11 июля 2018 г.

вторник, 19 июня 2018 г.

Встреча специалистов по оценке Международной организации труда

В начале марта меня пригласили выступить на конференции, которая проводится раз в два года для специалистов по оценке Международной организации труда. В этом году мероприятие проходило в Женеве. Тема моего выступления: "Использование результатов оценки: есть ли шанс что-либо улучшить?". Краткое изложение некоторых положений моего сообщения есть в только что опубликованном отчете о результатах женевской встречи (англ.). Надеюсь обсудить этот вопрос и на осенней конференции АСОПП в Москве.  

среда, 31 января 2018 г.

Модель Кенэвин: извлечение смыслов

В 1999 году Дейв Сноуден (Dave Snowden), который на тот момент был сотрудником IBM Global Services и занимался вопросами управления знаниями, предложил концептуальную модель, которую называли "устройством для извлечения смыслов". Основное изначальное предназначение модели – помощь лицам, принимающим решения в том, чтобы правильно понять характер ситуации, с которой они имеют дело. Автор назвал свою модель валлийским словом Cynefin (произносится как Кенэвин - с ударением на втором слоге), которое можно перевести как дом, родина, среда обитания. Сам Сноуден поясняет: «КенЭвин означает «место, с которым у человека множество значимых связей – культурных, религиозных, клановых и т.д.». В начале 2000-х модель Кенэвин приобрела широкую известность и часто с тех пор упоминается, в частности, в связи с проектированием и оценкой программ и проектов, социальными инновациями. Для тех, кто знает английский, очень рекомендую послушать краткое описание модели в версии автора  (8 минут 37 секунд). Здесь я постараюсь описать модель Кенэвин максимально приближенно к первоисточнику.

понедельник, 29 января 2018 г.

Выступление на вебинаре под эгидой EvalYouth

20 января 2018 года по инициативе неформального международного объединения молодых специалистов по оценке EvalYouth состоялся вебинар на тему "Региональные особенности vs Мировые стандарты: путь к эффективной оценке". Я был одним из спикеров вместе с Татьяной Третьяковой из Кыргызстана и Ириной Кравчук из Украины. Сегодня организатор проведения вебинара Антонина Ришко-Порческу сообщила о том, что запись вебинара доступна на Youtube. Моё 15-минутное выступление - второе (после Татьяны Третьяковой), начинается на 32 минуте. Я говорил о скромности, о чувствительности и о сотрудничестве :)

четверг, 16 ноября 2017 г.

По следам конференции Evaluation'2017: что не так с проектным менталитетом?

В записи от 12 ноября я привел следующую цитату из выступления Майкла Пэттона: "Проекты не ведут к трансформации до тех пор, пока доминирует проектный менталитет". По поводу этой цитаты закономерно появились вопросы: что он имел в виду?
История такова. Майкл говорит, что, когда они только начинали заниматься оценкой программ, то считали, что сущность оценки, главная ее задача - определить, в какой мере достигнуты цели программы. С такой установкой первые оценщики прибыли в программы. И тут обнаружилось, что во многих программах нет целей, а зачастую и программ как таковых нет. Причем народ по этому поводу не комплексует совершенно. Возникла дилемма: заставить людей описать программы так, чтобы специалисты по оценке могли их оценивать, или научиться оценивать деятельность, которая не является программой. Позже выяснилось, что для динамичных систем (с которыми мы часто имеем дело) традиционный проектный подход может применяться лишь с оговорками, т.к. необходима очень высокая степень адаптивности. Отсутствие программы как раз может быть признаком адаптивного подхода к осуществлению деятельности.
Приведенная выше цитата - о том, что упрощенное "линейное" представление о жизни ("проектный менталитет") может стать преградой к осуществлению изменений. 

воскресенье, 12 ноября 2017 г.

Evaluation'2017. День 4.

Накануне Майклу Пэттону была вручена одна из самых престижных премий Американской ассоциации оценки - за исследования в сфере оценки. На вручении премии Майкл сказал (привожу в оригинале): "For nearly 50 years I have been practicing, studying, teaching, and writing about evaluation. I've experienced and therefore come to see evaluation as a dynamic, ever-changing kaleidoscope refracting societal developments. Our kaleidoscope is constructed of interlocking lens made up of our diverse perspectives and contributions: a field of professional practice, scholarly inquiry as both discipline (body of knowledge) and transdiscipline, methodological eclecticism, useful technology, applied art, and evaluation as science. The research on evaluation possibilities are endless and ever-evolving. Engaging in research on evaluation is how we build our field forward ensuring that we stay useful and relevant, and thereby play our role in support of a better, more sustainable and more equitable world for all, the ultimate Blue Marble vision."

8 утра. Майкл Пэттон рассказывает о том, как на протяжении 4 десятилетий развивалось его видение оценки, как появлялись новые идеи, в каком направлении он сейчас движется. В этом году вышло три (!) его книги. Я спрашивал, как он умудряется столько писать. Он говорит, что надиктовывает на компьютер с программой распознавания речи. А потом правит. Получается очень быстро. В настоящее время он работает с несколькими соавторами над новой книгой, где представит новую концепцию Blue Marble Evaluation (оценка с учетом глобального контекста). Цитата из выступления: "Проекты не ведут к трансформации до тех пор, пока доминирует проектный менталитет". 

Патриция Роджерс и Джейн Дэвидсон устроили обсуждение способов повышения эффективности использования результатов оценки. На фото - то, что они предложили для "затравки". Народ обсуждал живо, но особенно далеко не продвинулись. По существу, все свелось к тому, на что готов заказчик оценки. Если он ориентирован на использование результатов, то можно много чего придумать. Если нет - мало что можно сделать. Мне вспомнился в связи с этим обсуждением наш недавний опыт работы с Норникелем. Там обсуждение результатов оценки было встроено в обсуждение стратегии программы, что, на мой взгляд, является оптимальным вариантом.

На следующей сессии познакомился с очень интересным проектом: принципы использования системного мышления в оценке программ. Разрабатывали около года по инициативе группы "Системы в оценке" (Systems in Evaluation). У них есть свой сайт. Там скоро появятся принципы. Пока публикую фото с краткими описаниями основных принципов. 

Представление окончательного проекта компетенций специалиста по оценке от Американской ассоциации оценки. К разработке привлечены серьезные силы. Работа идет третий год. Проанализировали все, что было сделано в мире в этой сфере. Провели десятки интервью, дюжину фокус-групп, анкетирование (1200 ответов). Теперь всё проанализируют и будут выносить на утверждение членами ассоциации. На фото - 5 групп компетенций.

На заключительном пленаре выступил руководитель большого проекта USAID в сфере здравоохранения. Говорил о том, что им нужна встроенная в программы оценка. На этом конференция завершилась. Едем домой с новыми мыслями и книгами (см.фото).