среда, 21 ноября 2018 г.

Первая национальная конференция по оценке в Казахстане

С большим удовольствием принял участие в первой национальной конференции, которую провела Казахстанская сеть специалистов по оценке. Около 130 участников. 1 день. 3-4 сессии проходили параллельно. Безупречная организация от АРГО. Лишь одна деталь: на завершающей сессии модератор попросил всех присутствовавших в зале взять смартфоны, войти на сайт eval.kz и заполнить Анкету участника конференции. Таким образом, за несколько минут была получена "обратная связь" от участников. Красиво, эффективно и в духе времени. Надо нам так же сделать. Содержательный профессиональный репортаж с конференции на сайте "Партнерство для инноваций" в реальном времени: фото выступающих и основные тезисы их докладов. Но главное - это то, на каком уровне происходит обсуждение оценки в Казахстане. Много реального опыта, много заинтересованных людей, серьезная поддержка со стороны Министерства общественного развития страны. Впечатлён. Поздравляю казахстанских коллег от всей души! Часть моих впечатлений в этом ролике.

пятница, 2 ноября 2018 г.

Интересный тендер

Госдума объявила тендер на проведение анализа эффективности деятельности межпарламентских органов и организаций и создание рекомендаций для реализации национальных интересов России.  
В задачи исследования входит: формулирование и обоснование выборки основных критериев оценки эффективности деятельности межпарламентских органов и организаций, разработка механизма ее регулярного мониторинга на основании данных критериев; оценка эффективности межпарламентских органов и организаций с участием России (ретроспективная оценка эффективности работы межпарламентских организаций и органов, сотрудничество с которыми в настоящий момент приостановлено; оценка эффективности работы межпарламентских организаций и органов, в которых действуют постоянные делегации Госдумы; оценка эффективности деятельности межпарламентских организаций и органов, в работе которых регулярно участвуют делегации Государственной думы РФ. 
Срок подачи заявок - до 22 ноября. 

пятница, 26 октября 2018 г.

Продолжаем обсуждение, начатое на конференции АСОПП

На семинаре "Мониторинг и оценка программ и проектов развития" в Международном тренинговом центре Международной организации труда в Турине обсудили с участниками, что может помешать (или мешает) практическому использованию оценки в организациях. В обсуждении принимали участие 15 человек из Казахстана, Кыргызстана, России, Таджикистана и Украины. В принципе, результаты созвучны тому, что мы с Андреем Вахиным представляли на конференции АСОПП-2018. Но есть некоторые отличия. Судите сами.

Результаты опроса 12 экспертов в России (указаны проблемные области): 
  • Осведомленность лиц, принимающих решения 
  • Обучение и развитие в МиО 
  • Культура отрасли МиО 
  • Кол-во профессионалов в МиО 
  • Гос.политика в сфере МиО
  • Маркетинг профессии
  • Ресурсность заказчика
  • Понимание пользы 
  • Этика профессии
  • Восприятие своего опыта в МиО 
  • Методология МиО
Результаты обсуждения в Турине (указаны проблемы, не ранжированы):
  • Нет поддержки высшего руководства
  • Сопротивление переменам со стороны программы, которую оценивают
  • Использование оценки как карательного инструмента
  • Плохо организовано внедрение оценки
  • Недостаточно компетентных оценщиков
  • Недостаточная осведомленность об оценке вообще и в частности (то есть применительно к конкретной оценке, которая проводится в организации)
  • Ограниченность ресурсов

воскресенье, 30 сентября 2018 г.

пятница, 31 августа 2018 г.

Счетная палата считает оценку эффективности госпрограмм одним из приоритетов

В недавно опубликованной Стратегии развития Счетной палаты Российской Федерации  на 2018-2024 годы (хотел бы особо отметить компактность этого документа!) развитие оценки госпрограмм является одним из приоритетных направлений. Вчера Коллегия Счетной палаты под председательством Алексея Кудрина рассмотрела результаты проверки отчета Правительства об исполнении федерального бюджета за 2017 год. И опять речь зашла об оценке госпрограмм: "Составной частью отчета Правительства об исполнении бюджета является сводный доклад об эффективности реализации государственных программ. Бюджет содержит в своей структуре расходы по 40 государственным программам, на реализацию которых было направлено 8,3 трлн руб. По состоянию на 1 января 2018 года расходы на реализацию госпрограмм исполнены на 96,8%. Однако адекватно оценить результативность такого вложения средств пока не представляется возможным. Общие требования к оценке эффективности реализации государственных программ не установлены. А оценка, проводимая ответственными исполнителями на основании самостоятельно установленных показателей и разработанной ими методики оценки, является субъективной и не позволяет реально оценить ход реализации госпрограмм. Оценкой госпрограмм занимаются Министерство экономического развития, а так же Счетная палата, использующая более широкий круг критериев".

среда, 18 июля 2018 г.

Принципы использования системного мышления в оценке программ

Очень важная для развития нашей профессии публикация (англ.) подготовлена тематической группой, занимающейся вопросами использования системного подхода в оценке (Systems in Evaluation Topical Interest Group), американской ассоциации оценки (American Evaluation Association). Речь идет о принципах эффективного использования системного мышления в оценке (Principles for Effective Use of Systems Thinking in Evaluation). Американские коллеги сформулировали и подробно описали принципы взаимоотношений, рамок, ракурсов и динамики (interrelationships, borders, perspectives, dynamics). Есть рекомендации по использованию этих принципов на практике и обсуждение перспектив развития данной темы. В подготовке публикации принимала участие группа ведущих специалистов нашей отрасли. 

среда, 11 июля 2018 г.

вторник, 19 июня 2018 г.

Встреча специалистов по оценке Международной организации труда

В начале марта меня пригласили выступить на конференции, которая проводится раз в два года для специалистов по оценке Международной организации труда. В этом году мероприятие проходило в Женеве. Тема моего выступления: "Использование результатов оценки: есть ли шанс что-либо улучшить?". Краткое изложение некоторых положений моего сообщения есть в только что опубликованном отчете о результатах женевской встречи (англ.). Надеюсь обсудить этот вопрос и на осенней конференции АСОПП в Москве.  

среда, 31 января 2018 г.

Модель Кенэвин: извлечение смыслов

В 1999 году Дейв Сноуден (Dave Snowden), который на тот момент был сотрудником IBM Global Services и занимался вопросами управления знаниями, предложил концептуальную модель, которую называли "устройством для извлечения смыслов". Основное изначальное предназначение модели – помощь лицам, принимающим решения в том, чтобы правильно понять характер ситуации, с которой они имеют дело. Автор назвал свою модель валлийским словом Cynefin (произносится как Кенэвин - с ударением на втором слоге), которое можно перевести как дом, родина, среда обитания. Сам Сноуден поясняет: «КенЭвин означает «место, с которым у человека множество значимых связей – культурных, религиозных, клановых и т.д.». В начале 2000-х модель Кенэвин приобрела широкую известность и часто с тех пор упоминается, в частности, в связи с проектированием и оценкой программ и проектов, социальными инновациями. Для тех, кто знает английский, очень рекомендую послушать краткое описание модели в версии автора  (8 минут 37 секунд). Здесь я постараюсь описать модель Кенэвин максимально приближенно к первоисточнику.

Графически модель изображают примерно так, как показано на рисунке. Согласно модели Кенэвин, ситуации, с которыми мы имеем дело, могут быть простыми (simple), сложными (complicated), динамичными (complex) либо хаотичными (chaotic).

Для простых ситуаций характерны линейные причинно-следственные связи, очевидная динамика. В этих ситуация всё понятно, правильные ответы известны. Основанием для принятия решений в простых ситуациях может быть прежний успешный опыт, относящийся к аналогичным ситуациям. Здесь применимо понятие «лучшие практики»: есть решения, которые подходят для данной ситуации лучше всего. Модель поведения в простой ситуации такова: мы собираем информацию, затем относим ситуацию к той или иной категории (из числа известных заранее), а затем реагируем на ситуацию так, как должно реагировать для ситуаций данной категории. Примером простой ситуации является приготовление определенного блюда. Лучшей практикой в данном случае будет кулинарный рецепт, при соблюдении которого получится именно то, что мы хотим.

В сложных ситуациях не все известно заранее, но - при наличии соответствующих знаний и опыта -можно разобраться. В частности, можно предсказать причинно-следственные связи, а также отделить (в пространстве и во времени) эффекты от вызвавших их причин. Модель поведения в простой ситуации такова: мы собираем информацию, анализируем её и реагируем на ситуацию согласно результатам анализа. В отличие от простых ситуаций здесь отсутствуют заранее известные категории и «лучшие практики». Особое значение в сложных ситуациях приобретает экспертиза: знания и умение их применить для того, чтобы разобраться в происходящем. Уроки, извлекаемые из опыта преодоления сложных ситуаций, могут быть сформулированы как «хорошие практики». Отметим: не лучшие, а хорошие. Есть вероятность того, что они пригодятся, но гарантий нет. Примером сложной ситуации является запуск космического корабля.

В динамичных ситуациях поведение людей сильно зависит от контекста и от начальных условий. Природу взаимодействий можно понять только в процессе этих взаимодействий или после того, как они завершились. Ключ к пониманию происходящего состоит в наблюдении за событиями и выявлении паттернов – устойчивых повторяющихся совокупностей тех или иных признаков, действий, событий. Динамичная ситуация непредсказуема в принципе. Оптимальный подход к принятию решений в такой ситуации – адаптивный: мы совершаем пробные шаги, собираем информацию и реагируем в зависимости от того, что узнали. Важным основанием для принятия решений в динамичной ситуации являются наши ценности (что для нас является самым главным) и принципы (как надлежит действовать, руководствуясь ценностями). Примером динамичной ситуации является воспитание ребенка.
Хаотичная ситуация характеризуется отсутствием паттернов, доступных наблюдению. При всём желании в ситуации хаоса мы не сможем выявить устойчивые повторяющиеся совокупности тех или иных признаков, действий, событий. В такой ситуации невозможно выявить причинно-следственные связи между явлениями и нет предыдущего опыта, на который можно было бы положиться. В хаотичной ситуации мы просто что-нибудь делаем (ничегонеделание тоже вариант такого действия), смотрим, что получается и реагируем соответственно. Без попыток анализа, обобщения полученного опыта либо опоры на предыдущий опыт. Просто действуем. Пример хаотичной ситуации для простого гражданина – банковский кризис.

Два важных соображения – в заключение.

  • Сноуден обращает особое внимание на то, что, если человек относится к сложной или динамичной ситуации как к простой, то он рискует вскоре оказаться в ситуации хаотичной. 
  • Патриция Роджерс  (профессор из Австралии, известная своими публикациями в сферах социального проектирования, оценки программ и использования системного мышления) указывает, что в большинстве случаев ситуации, с которыми мы имеем дело, содержат элементы простые, сложные и динамичные. Наши инициативы должны планироваться соответствующим образом. 

понедельник, 29 января 2018 г.

Выступление на вебинаре под эгидой EvalYouth

20 января 2018 года по инициативе неформального международного объединения молодых специалистов по оценке EvalYouth состоялся вебинар на тему "Региональные особенности vs Мировые стандарты: путь к эффективной оценке". Я был одним из спикеров вместе с Татьяной Третьяковой из Кыргызстана и Ириной Кравчук из Украины. Сегодня организатор проведения вебинара Антонина Ришко-Порческу сообщила о том, что запись вебинара доступна на Youtube. Моё 15-минутное выступление - второе (после Татьяны Третьяковой), начинается на 32 минуте. Я говорил о скромности, о чувствительности и о сотрудничестве :)