воскресенье, 30 октября 2016 г.

Конференция в Атланте завершилась

Утром был на сессии, где обсуждалась оценка деятельности фондов. Среди выступающих была Ирина Ефремова-Гарт, которая рассказала об исследовании культуры оценки в российских фондах. Отчет об этом исследовании доступен на сайте Форума Доноров. Выступление Ирины было очень достойным во всех отношениях - по содержанию, и по подаче. Мне показалось интересным еще одно выступление, где проводилась мета-оценка качества оценок международных программ в сфере здравоохранения. Авторы, в частности, обнаружили, что подавляющее большинство оценок проводится с использованием качественных методов (даже не смешанных!).

Вторая сессия проводилась командой специалистов, которые занимаются оценкой образовательных программ в структуре National Geographic. Они рассказывали об оценке чудесных фильмов, которые снимает NG, с точки зрения их обучающего эффекта. Потом было обсуждение возможных шагов по усилению этого эффекта. 

На третьей сессии, которую удалось посетить, шла речь об испjльзовании видео для оценки влияния по методике выявления наиболее значимых изменений (Most Significant Change). Мне вообще кажется очень перспективным использование фото и видео при проведении оценки, чего у нас в регионе практически никто не делает. 

После этого была пленарная сессия, где с заключительным словом выступил Джон Гаргани, потом результаты конференции обсудили четыре президента - 2014,16, 17 и 18 гг. Завершилась эта сессия выступлением нового президента АЕА Кэти Ньюкамер, которая объявила тему следующей конференции: научение и оценка (Learning and Evaluation). Конференция пройдет в Вашингтоне с 6 по 11 ноября 2017 года. 

суббота, 29 октября 2016 г.

Атланта. День 3.

Утром Майкл Пэттон рассказывал об оценке, основанной на принципах. Как всегда, много пищи для размышлений. Такая оценка подходит для динамичных ситуаций, когда все быстро меняется, и приходится программу по ходу дела формировать. Его книга выйдет летом 2017 года в издательстве Gilford Press. 600 страниц. 
Цитата из выступления гуру: "Когда вы сформулируете принцип, снимется вопрос о разделении процесса и результата". Этот так, к размышлению :) 

Потом была пленарная сессия, на которой четверо ветеранов говорили о том, о чем они считали нужным. Выступали (на фото - справа налево): Малика Самаранаяке (Шри Ланка), Роб Чамберс (Канада), Майкл Скривен (США),  и Стаффор Худ (США). Например, Майкл Скривен обратил внимание на то, что спустя 50 лет после выделения оценки как особой сферы профессиональной деятельности ни в смежных областях, ни в обществе в целом нет ясного понимания того, чем является оценка. И это при том, что, по мнению Скривена, оценка является "альфа-дисциплиной". Этот тезис зал встретил бурными аплодисментами.

На сессии по  использованию оценки для предсказания будущего выступали специалисты по работе с большими данными (big data) и малыми данными (small data). Рассказывали о том, что уже могут компьютеры и что они смогут в ближайшем будущем. 

После этого состоялся традиционный торжественный обед, на котором чествовали лауреатов премий, ежегодно присуждаемых ассоциацией. Это мероприятие тоже впечатляет своими масштабами (см. фото). Было очень приятно узнать, что премию за выдающийся вклад в практику оценки получила давняя моя знакомая Гейл Баррингтон из Канады. А за вклад в теорию оценки премию получил Марвин Алкин, который придумал "дерево теорий оценки". Всего премий - 8. 

После обеда был на сессии, где рассказывали о том, как систему оценки внедряют в Google. Естественно, демонстрировали некоторые инструменты, созданные на платформе Google Docs.  

В заключение послушал интересное сообщение про технологию анализа и визуализации данных, которая называется data placemats. Надо будет посмотреть об этом подробнее. Идея отличная! 

пятница, 28 октября 2016 г.

Атланта. Четверг.

Сегодня у нас с Натальей Кошелевой первое выступление состоялось в 7 утра! Мы думали, что не придет никто, и мы будем друг другу рассказывать. Но пришли четверо - к нашему огромному удивлению. Наталья рассказала о том, как была задумана и как развивалась программа поддержки партнерских инициатив между национальными ассоциациями в сфере оценки. Дело в том, что Наталья стояла у истоков этой программы и руководила этой программой. А я потом рассказал, как мы участвовали в этой программе и как повлиял дизайн программы на наше в ней участие. Презентация здесь

Вторая сессия, на которой я побывал, была посвящена провалам и неудачам в оценке. Вначале выступили четверо опытных специалистов, включая Майкла Пэттона. Потом народ из аудитории выступал. Надо отметить, что некоторые были весьма эмоциональны... Ну, тема такая. 

Далее была пленарная сессия, на которой выступала основательница компании, разрабатывающей технические устройства, облегчающие жизнь людей. Они профессионально занимаются инженерным проектированием в целях развития. 

На следующей сессии Партиция Роджерс и ее коллега из Австралии представляли свою новую разработку - руководство по оценке для менеджеров. Этот продукт уже доступен онлайн в тестовом режиме для пользователей сайта BetterEvaluation. Регистрация на сайте бесплатная. 
Там даже есть встроенная функция для разработки ТЗ на проведение оценки. Очевидно, что это руководство можно использовать и для обучения.

Было интересно узнать последние новости от группы, которая разрабатывает компетенции для специалистов по оценке в США. Там же выступила президент Европейской ассоциации оценки Рита Оксанен, которая рассказала об экспериментальном проекте по аттестации специалистов по оценке в Европе.

Потом я участвовал в сессии, посвященной тому, какой вклад может сделать оценка в дизайн программы. Вместе со мной выступали Майкл Бамбергер из США и Томаз Чианка из Бразилии. На этой сессии было очень много слушателей. Думаю, человек 70, не меньше. Моя презентация здесь.   

Дальше была сессия, на которой обсуждали, что происходит в сфере оценки в Индии, России и Китае. Оказалось, что очень много общего. Эта сессия транслировалась в онлайне.

В заключение послушал обсуждение насчет принципов. Это новая тема. Пэттон ее обозначил как "оценку, основанную на принципах". Весной выйдет его новая книга (600 страниц). Обещал прислать. 

По плану у меня еще одна сессия, где будут обсуждать планы работы тематической группы по дизайну программ. Что-то длинный день получился... 

четверг, 27 октября 2016 г.

Атланта: открытие конференции и первые сессии

Конференция открылась. 3500 участников, 900 выступлений.
Для начала представители индейского племени чероки (из числа членов Американской ассоциации, оба - PhD) прочли молитву и сыграли национальную музыку, подобающую случаю.
Далее блестяще выступил президент Американской ассоциации оценки Джон Гаргани. Многие слышали его выступления в Москве в прошлом году и стиль его выступлений представляют. Так вот, на этот раз он превзошел себя! Было все: и юмор, и отличные слайды, и вполне серьезные рассуждения о теме конференции "Оценка + дизайн". Если я правильно понимаю, была трансляция в онлайне. Через некоторое время будет и полная запись доступна.

После этого начались параллельные сессии. Я сходил к Майклу Пэттону на сессию, посвященную тому, как специалисты по оценке могут в большей мере взять на себя ответственность за решение задач планетарного масштаба (борьба с голодом, миротворчество, предотвращение торговли людьми и т.д.). Проводилась эта сессия в интерактивной форме, было о чем поговорить и подумать. Описать все это сейчас не смогу. Отмечу, что спонсором этого и других подобных мероприятий является фонд "Быстрее вперед" (Faster Forward Foundation), созданный специально для развития практики и теории оценки.  

среда, 26 октября 2016 г.

Оценка сотрудничества - новости из Атланты

С утра сегодня был на семинаре по оценке сотрудничества между организациями (здесь описание по-английски  Evaluating Organizational Collaboration and Networks ). Тема важная. Нас довольно часто просят (в числе прочего) оценить развитие взаимодействия между организациями. Семинар понравился. Интенсивно (три часа всего) и содержательно. В очередной раз обращаю внимание на то, какая может быть узкая специализация у наших американских коллег. Проводившая семинар Ребекка Вудланд в начале 2000 защитилась по этой теме (PhD) и с тех пор продолжает ее развивать: разрабатывает методики, пишет статьи, проводит семинары, оказывает консультационные услуги. И все это в сфере оценки сотрудничества между организациями! 

Выделю два момента, которые мне показались интересными.
 
5 принципов (принципами это назвала г-жа Вудланд) сотрудничества: 
- Общность цели
- Сотрудничают люди (не "организации"!)
- Сотрудничество предполагает развитие социальной сети 
- Сотрудничество в своем развитии проходит ряд предсказуемых стадий
- Уровни интеграции ("совместности") могут быть разными. Существует оптимальный уровень, зависящий от общей цели.

5 шагов по оценке сотрудничества: 
- Операционализировать понятие "сотрудничество". 
- Сформировать "карту" изучаемого сообщества.
- Отслеживать стадии развития сотрудничества.
- Оценить уровни интеграции.
- Оценить происходящии в рамках сотрудничества процессы. 

Презентацию с семинара можно скачать здесь.  

Через 2 часа - официальное открытие конференции и очень насыщенная программа - до 9 вечера. Последние 2 часа - стендовые доклады.

вторник, 25 октября 2016 г.

Завтра открывается конференция АЕА в Атланте

Завтра во второй половине дня официально открывается ежегодная конференция Американской ассоциации оценки в Атланте. Вчера, сегодня и завтра с утра проходят обучающие семинары. Скорее всего, на конференции будет около 3-3,5 тыс. участников, которые сделают порядка 1000 сообщений. Продолжительность сессий - 45 минут и 90 минут. Приходится выбирать тщательно и заранее. Выбор не становится от этого легче... Вначале выбираю по именам выступающих: надо послушать нескольких коллег, мнение которых для меня важно. После этого выбираю по тематике. Тут главное не "купиться" на название и внимательно прочесть описание сессии. В программе конференции выступления Ирины Ефремовой-Гарт, Натальи Кошелевой и мои. Про выступления других россиян не знаю пока. Постараюсь ежедневно писать здесь о том, что мне покажется особенно интересным. 

вторник, 18 октября 2016 г.

С людьми советуйся, а своего ума не теряй!

Дорогие друзья, количество откликов на опрос про пословицы превзошло все мои ожидания! На данный момент у нас уже 64 ответа, и, полагаю, голосование можно закрыть, т.к. есть 3 пословицы, которым явно отдано предпочтение.

Вот табличка с результатами голосования (в лучших традициях открытых данных):
 
А вот пословицы-победители:

Всем участникам опроса большое спасибо! Как мне кажется, мы сделали большой вклад в развитие оценки именно в русскоязычном пространстве :) 

PS  В Турине результаты были такими же. 

воскресенье, 16 октября 2016 г.

Викторина про оценку

В конце семинара по мониторингу и оценке программ развития в международном учебном центре МОТ в Турине у меня впервые появилась возможность использовать технологию, с которой раньше был знаком только по ток-шоу на телевидении. Организаторы семинара предложили разработать и провести итоговую викторину для участников. С помощью специальной программы вопросы и ответы (на русском) размещались на экране, потом открывалось голосование, и участники с помощью маленьких пультов должны были выбрать один из ответов. Результаты такого "голосования" выводились на большой экран, и мы их кратко обсуждали. Прошло отлично. Очень хороший вариант завершения обучения!
Всего вопросов было 15. В последнем вопросе я предложил участникам выбрать пословицу, которая полезнее всего при проведении оценки. Предлагаю гостям этого блога принять участие в аналогичном опросе. Голосование будет открыто до вечера 19 октября. 20-го опубликую результаты и сравним их с тем, что получилось у нас в Турине (в той группе были участники из Армении, Беларуси, Болгарии, Кыргызстана и Швеции).  
ПЕРЕЙТИ К ОПРОСУ  - там один вопрос с несколькими вариантами ответов :)

среда, 12 октября 2016 г.

Индикаторная оценка: интересные дискуссии

Продолжается семинар в Турине. Как всегда, интересные (и оживленные!) дискуссии возникают вокруг следующих вопросов: 
  • Чем мониторинг отличается от оценки?
  • Могут ли значения качественных индикаторов быть выражены в числах?
  • Как перейти от реальности (жизнь как она есть) к модели при формировании системы индикаторной оценки? 
  • Как быть, если нет базовых значений индикаторов? 
  • Можно ли корректировать систему индикаторов по ходу программы?
  • Как быть с нежеланием людей принять систему показателей и отчитываться по ней?
  • Что делать с возможным манипулированием значениями показателей?
В очередной раз убеждаюсь, что масса проблем, связанных с показателями, вызвана некорректным подходом к разработке этих самых показателей и построению системы индикаторной оценки в целом. Участники привели много примеров такого рода. 

... И любуюсь горами, что совсем рядом. 

понедельник, 10 октября 2016 г.

Налево пойдешь...

Вопрос: где нужно находиться, чтобы путь в Европу был прямо, в Америку - налево, а в Азию с Африкой - направо? 

Правильный ответ: на территории Международного учебного центра Международной организации труда в Турине. Тут корпуса называются по частям света.