Evaluation'2017, день 1

Сегодня с утра был на семинаре по использованию инфографики в оценке. Было полезно.

Коллеги из небольшой консалтинговой фирмы "Магнолия" сделали список контрольных вопросов для разработки качественной инфографики и предложили соответствующую схему (см. рисунок слева).

Второй семинар был по анализу социальных сетей. На него я очень надеялся, но семинар получился неудачным. Ведущая обещала прислать всем ссылку на презентацию. Там была кое-какая полезная информация. Для анализа ведущая использовала программу UCINET, которую можно скачать бесплатно. С учетом того, что человек 30 занимается анализом социальных сетей, можно предположить, что программа удобная. Я пока не пробовал.

После этого состоялось открытие конференции в зале достаточно внушительных размеров .

Уже становится традицией приглашать на открытие конференции представителей коренных народов США, которые благословляют работу конференции по-своему. Песня была достаточно длинная. Спели от души. После этих ребят выступила группа, которая выступает за права бездомных. Они пели песни про социальную справедливость и читали стихи собственного сочинения.  Фрагмент песни - ниже. Начало похоже немного на "Не думай о секундах свысока..." :) Песня про то, как человека выселяют, и он остается без жилья и без прав. (оба видео - внизу).

После этого уже выступила президент Американской ассоциации оценки (АЕА) Кэти Ньюкамер. Она рассказала о том, какие есть барьеры на пути использования оценки для научения и что можно предпринять для преодоления этих барьеров. Она сказала, что государственные чиновники в США про оценку знают, но результаты оценки используют недостаточно эффективно. Особое внимание она уделила проблеме расизма и отсутствия толерантности по отношению к тем, кто отличается от большинства.

На следующей сессии трое выступающих во главе с Майклом Пэттоном рассказывала о практическом применении оценки, основанной на принципах (Principles Based Evaluation). Об этом смогу сообщить подробнее чуть позже, т.к. Майкл подарил свою новую книжку.  Она уже есть в продаже на Амазоне. Отмечу, что в этот раз параллельно проходят 50 сессий. Народ распределяется неравномерно. На Пэттона, как всегда, оказалось много желающих, а аудиторию дали совсем маленькую. В результате гуру сидел на полу в ожидании своей очереди выступить.

Завершающая сессия, на которой я выступал, была про компетенции специалистов по оценке. Короткие сообщения вместе со мной сделали коллеги из Канады, ЮАР, IOCE, Новой Зеландии. Мою презентацию можно посмотреть здесь. В ней ответы на 5 предложенных нам вопросов.

Завершился день стендовыми докладами (их оказалось под 300) и встречей с авторами книг по оценке, каждый из которых сидел за отдельным столом и беседовал со всеми желающими.

Конференция АЕА: масштабы мероприятия

Сегодня в Вашингтоне официально открывается очередная конференция Американской ассоциации оценки (American Evaluation Association / AEA). Организаторы говорят, что в этом году ожидается около 4200 участников. Впервые за все время существования АЕА число участников конференции превысит 4000 человек. Перед конференцией в течение трех дней проходят обучающие семинары. В понедельник и во вторник можно принять участие в двухдневных семинарах, во вторник и в среду есть однодневные семинары, а в среду еще и семинары по полдня (с 8 до 12 и с 12 до 15). Семинары также пройдут сразу после окончания конференции - в субботу. Общее число семинаров - 76. Тематика самая разнообразная - от введения в оценку до использования узко специализированных инструментов анализа данных. Сама конференция включает в этом году более 1000 сессий, на которых выступят не менее 2000 человек. Сегодня вечером - стендовые доклады (не менее 200). В ходе конференции будут также организованы встречи с авторами книг, благотворительный аукцион для сбора средств на travel grants для представителей развивающихся стран, встречи тематических групп по интересам. На протяжении всей конференции будут работать специализированные книжные магазины. Кроме того, пройдет торжественный обед, где будут вручены премии АЕА в нескольких номинациях. 

Постараюсь рассказывать ежедневно о самом интересном из того, что удастся увидеть и услышать.

Премию за развитие оценки получил СЦПОИ

Премия «За содействие внедрению и практическому использованию оценки в деятельности благополучателей» учреждена в 2016 году Форумом Доноров и Ассоциацией специалистов по оценке программ и политик, чтобы поощрить вклад донорских организаций в развитие оценки в России.

Сегодня в Москве на конференции Форума Доноров было объявлено, что обладателем премии за 2017 год стал Сибирский центр поддержки общественных инициатив. 

Действительно, СЦПОИ очень многое сделал и делает для развития потенциала оценки в стране. В первую очередь - в среде НКО. Я хорошо помню, как эта работа начиналась в конце 90-х. СЦПОИ первым в России (в 1999 году) провел не просто ознакомительный семинар по оценке программ, но достаточно серьезный курс обучения для специалистов Сибирской Сети. 

Программа курса включала три основных этапа: 

1. Семинар по основам оценки программ (4  дня),

2. Практическую работу участников по оценке программ СЦПОИ (по заказу СЦПОИ) (1,5 месяца).

3. Заключительный семинар, на котором проводится подробный анализ выполненных работ (3 дня). 

СЦПОИ был одним из создателей Международной сети "Оценка программ" в 2000 году и оставался членом Попечительского совета этой сети до 2015 года. 

В 2000 году СЦПОИ провел первую в России конференцию по оценке. 

В 2002 СЦПОИ провел первую в России 5-дневную Школу оценки, в которой приняли участие более 100 человек со всей страны. Школы оценки были проведены на базе СЦПОИ в 2010, 2016 и в 2017. 

Пару лет тому назад СЦПОИ создал виртуальный ресурсный центр по оценке. 

В 2014 году представители СЦПОИ вошли в инициативную группу по созданию российской Ассоциации специалистов по оценке программ и политик (АСОПП), а затем - в Правление ассоциации. В 2016-2017 Президент СЦПОИ Елена Малицкая была президентом АСОПП. 

В 2016 году СЦПОИ уже принимал конференцию АСОПП-2016 в Новосибирске. 

Само собой разумеется, что за все это время были СЦПОИ подготовлены многочисленные публикации по оценке. 

Хотел бы от души поздравить команду СЦПОИ с получением  премии «За содействие внедрению и практическому использованию оценки в деятельности благополучателей» и пожелать дальнейших успехов и славных дел!!! 

Новая публикация ООН по оценке

"Оценка Целей Устойчивого Развития на основе принципа "Развитие для всех без исключения" через призму гендерного равенства и социальной справедливости" - так незамысловато называется новая публикация, подготовленная по инициативе ООН в сотрудничестве с программой EvalPartners. Как известно, Цели устойчивого развития (ЦУР) пришли на смену Целям тысячелетия и стали основным ориентиром для ООН с 2015 года. Соответственно, оценка того, в какой мере миру удается продвигаться к этим целям, весьма актуальна. Тема эта активно обсуждалась, в частности, на 3-м Глобальном форуме по оценке, который прошел в Бишкеке весной этого года.

Публикация доступна на 5 языках, включая русский. Судя по составу авторов, оригинальная версия была написана на английском. Текст изначально был тяжеловат для восприятия. К примеру, он изобилует очень длинными предложениями. Пример: "Повестка дня 2030 содержит обязательства по проведению систематической последующей деятельности и обзоров ЦУР, используя "надежный, добровольный, эффективный, основанный на широком участии, прозрачный и комплексный" подход, который "внесет жизненно важный вклад в процесс реализации и поможет странам добиться максимального прогресса в осуществлении настоящей Повестки дня 2030 и внимательно контролировать ход достижения целей для обеспечения того, чтобы никто не был забыт".

Русский перевод тоже далек от идеала. Пример: "ЦУР продолжат уделять основное внимание борьбе с бедностью и содействию развитию". Очевидно, что цели (даже такие как ЦУР) не являются субъектом деятельности, потому они не могут уделять чему-то внимание. 

Если набраться терпения и преодолеть трудности перевода, то из данной публикации можно почерпнуть много полезной информации о деятельности ООН и о ее оценке.

Общее пространство

В прошлую пятницу завершился недельный семинар на русском языке по мониторингу и оценке в Международном учебном центре МОТ в Турине. Как я уже писал, участники приехали из Азербайджана, Армении, Казахстана, Кыргызстана и Украины. В очередной раз осталось очень приятное ощущение "общего пространства":
1) По существу, русский язык для всех - родной.
2) Реалии, в которых мы живем, во многом схожи несмотря на различия, которые существуют между нашими странами. Потому у всех есть хорошее понимание контекста в широком смысле этого слова. А это сильно облегчает и общение, и преподавание.
Мне было с этой группой очень интересно и приятно работать. Судя по отзывам участников, это было взаимно.
На заключительном ужине прозвучал такой тост: "За объединённые нации!" :)  Поддерживаю.

Почему индикаторы должны разрабатывать эксперты

Вчера на семинаре обсуждали индикаторы. Один из участников, занимающийся мониторингом программ в сфере сельского хозяйства,  привел интересный пример. Им "спустили" индикаторы, один из которых предполагал подсчет количества голов скота погибшего от определенного заболевания. Тут обнаружилась проблема: скот от этого заболевания не умирает. На то, чтобы убрать этот индикатор ушло два года...  Интересно, кто его разрабатывал?

Надо ли спрашивать участников о их ожиданиях в начале тренинга?

Традиция эта хорошо известна. Ведущий предлагает участникам для начала разделиться на малые группы и сформулировать свои ожидания от тренинга. Их записывают на плакатах или просто озвучивают. Вопрос заключается в том, что потом с этим делать. Если ожидания совпадают с намерениями тренера, то все в порядке. Можно просто подтвердить, что всё будет, и продемонстрировать план. А что, если не совпадают? Или не вполне совпадают? В какой мере тренер сможет скорректировать план и внести необходимые изменения? А что, если участники назовут темы, для обсуждения которых тренер недостаточно компетентен? Я в таких случаях предпочитаю сказать об этом открыто и сразу, чтобы тему закрыть. В конце концов, каждый имеет право чего-то не знать.

Идеальный же вариант - узнать об ожиданиях участников заранее, до начала семинара. Сегодня это можно сделать с помощью онлайновой анкеты. Тогда есть возможность скорректировать программу, включить в нее недостающие компоненты, перераспределить время и даже подготовить какие-то новые модули. Когда такой онлайновый опрос удается провести, мне нравится начинать обучение с обсуждения его результатов. Это выглядит особенно органично, если обучение связано с оценкой проектов и программ. 

Вчера начался 5-дневный семинар на русском языке в Международном тренинговом центре ILO в Турине. Говорят, что число обучающих мероприятий на русском языке здесь уже вышло на второе место после английского! В группе специалисты из Азербайджана, Армении, Казахстана, Кыргызстана и Украины. Онлайновый опрос провести удалось. Ответили 15 человек из 16. Вот какими оказались ожидания участников (цифры - число упоминаний). В основном, совпало с моими намерениями. Но некоторые изменения в программу семинара всё же пришлось внести. 

Конференция АСОПП-2017 завершена

Второй день конференции был короче первого, но выдался не менее интересным. Сожалею, что не смог попасть на некоторые сессии. Но это неизбежные издержки: всегда приходится выбирать. Очень рад, что удалось послушать выступления коллег из Украины и Казахстана о развитии оценки в их странах. Встречаемся нечасто. Это была уникальная возможность. Спасибо Ольге Щетининой и Джамиле Асановой за развернутые сообщения!

И вообще хочется сказать БОЛЬШОЕ СПАСИБО всем, кто сделал эту конференцию такой какой она была: участникам, выступающим, волонтерам, партнерам, оргкомитету, правлению АСОПП!!!

Хочу поделиться двумя забавными историями. 

История 1. 

По ошибке фамилию и имя на бейджах участников напечатали маленькими буквами, а отчество - большими. Выглядело это как приглашение обращаться друг к другу по отчеству: "Петрович, ты на пленарное заседание пойдешь?". Мне кажется, идея хороша, но ставит в сложное положение тех, у кого отчества сложнее выговорить. Например, такие как Всеволодовна или Сигизмундович :) Но и с этим можно справиться. Похоже, зародилась новая традиция... 

История 2. На одной из сессий коллега рассказала о том, с какими интересными определениями внутренней и внешней оценки ей пришлось столкнуться. Внутренней называли оценку, которая производится за столом, внутри помещения, а внешней - ту, что проводится на выезде, вне офиса. 

Завершился первый день конференции АСОПП-2017

На открывающем пленарном заседании
мой друг и бизнес-партнер Владимир
Балакирев рассказал о том, что
оценка с развитием, конечно,
связана, но все не так просто... 

Всё было очень плотно. Начали в 10.00, закончили в 19.00. Масса интересных выступлений. Отличная работа внушительной команды волонтеров. Очень приятно было, что к нам приехали лидеры национальных ассоциаций из Казахстана (Джамиля Асанова) и Украины (Ольга Щетинина). Заместитель председателя Комитета общественных связей города Москвы Соболев Игорь Светославович в приветственном слове подчеркнул значимость развития оценки проектов и программ.

У меня сегодня было выступление, посвященное рассмотрению оценки программ как одному из видов консультирования. Для разминки я предложил участникам провести анализ полутора десятков анекдотов про консультантов, чтобы понять, из-за чего консультантов могут так сильно не любить. Хочу привести здесь один из тех анекдотов.

Мужчина приходит в зоомагазин и говорит, что хочет купить обезьяну. Продавец подводит его к вольерам, где сидят три обезьяны. 

Продавец: Вот эта, стоит 600 долларов.

Покупатель: Почему так дорого? 

Продавец: Она умеет петь и аккомпанирует себе на банджо.

Покупатель: Ого! А что же тогда умеет вот эта, за 1400 долларов?

Продавец: Эта умеет говорить на 20 языках и смешивать коктейли. 

Покупатель: Ничего себе! Тогда я не знаю, что и думать вот про этого самца, который стоит 4000 долларов...

Продавец: Тут ситуация такая: я ни разу не видел, чтобы он что-либо делал, но он называет себя консультантом...

Завтра открывается конференция АСОПП-2017

Сегодня прошли традиционные предконференционные семинары. В них приняло участие около 70 человек. На конференции ожидается более 150 участников. В этом году много выступлений. Организаторам пришлось сделать три и местами четыре параллельных сессии, чтобы все уместить в два дня. Программа конференции здесь. Будет интересно!