Две статьи

В последнее время ко мне несколько раз обращались журналисты из различных изданий с вопросами об оценке проектов, программ и организаций. Наши беседы с ними были достаточно продолжительными от 30-40 минут до 1,5 часов. Как правило, из всего разговора журналист выбирает одно-два высказывания и включает их в свою статью наряду с мнениями других экспертов. Такой жанр. Я каждый раз стараюсь отвечать развернуто, чтобы помочь человеку разобраться в интересующем его вопросе. Результаты получаются очень разные. Чем это можно объяснить?
Вот, например, сегодня опубликована статья в "Ведомостях" (автор - Мария Подцероб). Название статьи: "Аршином не измеришь". Подзаголовок: "Компании все жестче оценивают результаты своих благотворительных программ и их бюджет. Но им приходится изощряться, чтобы измерить реальную социальную пользу от проекта". Сам факт такой публикации очень отраден! В статье много фактических данных, приводятся мнения более десятка экспертов, материал выстроен логично. Общее впечатление от статьи у меня сложилось хорошее. Но вот читаю собственные высказывания, и возникают вопросы:
"Большинство российских компаний проводят собственными силами лишь так называемую индикаторную оценку, говорит гендиректор компании «Процесс консалтинг» по оценке и мониторингу программ Алексей Кузьмин. Это довольно просто: компания выводит несколько простых индикаторов успеха вроде числа мероприятий и потом собирает статистику".
Сразу бросается в глаза странное описание нашей компании. Времени проверить текст у меня не было: он мне был отправлен в 13.55, а ответить надо было до 15.00. В это время я был на совещании и интернетом не пользовался. Я не говорил, что индикаторную оценку провести просто. Термин "индикаторы успеха" не использовал. Тем более, в сочетании со словом "простые". Там еще приводятся два моих высказывания, и оба тоже содержат неточности.
Интересно, другие эксперты, мнения которых приводятся в статье, тоже не вполне узнали то, что они говорили или это только меня касается? Если только меня, то, может, я так говорю, что журналист не может это пересказать?
Но вот есть для сравнения другая статья в журнале Филантроп (автор - Ольга Павлова). Название статьи: "Что ты хочешь узнать, зачем и кому это нужно": разговор с экспертами об оценке". Ну чудо что за название! Из продолжительного разговора с тремя экспертами автору действительно удалось выбрать ключевой содержательный момент. Все названия организаций написаны правильно (текст вообще я не согласовывал, кстати). Все без исключения высказывания, авторство которых приписывается мне, приведены точно. Готов подписаться. То есть здесь-то все получилось! Могу, значит? Небезнадёжен...
В любом случае читателям моего блога рекомендую обе статьи, если вдруг еще они вам не попадались. В "Ведомостях" то, что я сказал, пропустите :)

Классика

Обнаружил сегодня в свободном доступе статью Майкла Скривена (Michael Scriven) от 1967 года, в которой он вводит понятия формирующей (formative) и  суммирующей (summative) оценки. Статья называется "Методология оценки" (The Methodology of Evaluation) и относится, в первую очередь, к сфере образования (точнее, к curriculum evaluation).  

Проектирование. Конвергенция?

16 ноября Форум Доноров провел "круглый стол", где выступили участники недавних конференций в Атланте Ольга Евдокимова, Ирина Ефремова-Гарт, Наталья Кошелева и я. Идея была поделиться впечатлениями, поговорить о том, что показалось важным. Свое небольшое сообщение я назвал так: "Проектирование. Конвергенция?".

Дело в том, что тема конференции Американской ассоциации оценки включала разговор о связи проектирования (design) и оценки.  Вот как говорится об этом в описании темы конференции на сайте ассоциации: "Мы называем программами специально спланированные действия, которые предпринимаются организациями для улучшения социальной среды либо мира природы. Каждая программа включает фазу проектирования (дизайна), при этом специалисты по оценке пока не предложили систематического подхода к дизайну программ.

Следует ли нам это сделать? Сможем ли мы? Как этот подход будет выглядеть? Какую роль будут играть специалисты по оценке? Как оценка может быть встроена в программу с самого начала? Может ли дизайн быть ориентирован на устойчивое развитие? Что такое «образцовый дизайн» применительно к программам?".

В рамках обсуждения этой темы в Атланте выступали в числе прочих специалисты по дизайну продуктов. Мне кажется очень перспективным стремление американских коллег изучить опыт дизайна продуктов и инженерного проектирования, чтобы применить его в социальном проектировании (термин конвергенция в названии моего выступления относился именно к этому сближению). Вероятно, мне это особенно близко как бывшему инженеру. Уже в ближайшее время кое-что новое включу в наш курс по социальному проектированию. В том числе, в МГППУ.

Вспоминая Атланту

Конференция Evaluation'2016 уже стала воспоминанием. Возможно, в ноябре в Москве удастся провести обсуждение ее итогов со всеми, кому это будет интересно. Пока - в завершение репортажа - хотел бы поделиться несколькими фотографиями.
Участники конференции из нашего региона сразу после закрытия конференции. Слева направо: Камила Товбаева (Таджикистан), Наталья Кошелева, Ольга Евдокимова, Ирина Ефремова-Гарт, Алексей Кузьмин (все - Россия), Нино Саакашвили (Грузия).







Здание отеля, где проводилась конференция, изнутри впечатляет больше, чем снаружи.

Вид на Атланту с 43 этажа.

Конференция в Атланте завершилась

Утром был на сессии, где обсуждалась оценка деятельности фондов. Среди выступающих была Ирина Ефремова-Гарт, которая рассказала об исследовании культуры оценки в российских фондах. Отчет об этом исследовании доступен на сайте Форума Доноров. Выступление Ирины было очень достойным во всех отношениях - по содержанию, и по подаче. Мне показалось интересным еще одно выступление, где проводилась мета-оценка качества оценок международных программ в сфере здравоохранения. Авторы, в частности, обнаружили, что подавляющее большинство оценок проводится с использованием качественных методов (даже не смешанных!).

Вторая сессия проводилась командой специалистов, которые занимаются оценкой образовательных программ в структуре National Geographic. Они рассказывали об оценке чудесных фильмов, которые снимает NG, с точки зрения их обучающего эффекта. Потом было обсуждение возможных шагов по усилению этого эффекта. 

На третьей сессии, которую удалось посетить, шла речь об испjльзовании видео для оценки влияния по методике выявления наиболее значимых изменений (Most Significant Change). Мне вообще кажется очень перспективным использование фото и видео при проведении оценки, чего у нас в регионе практически никто не делает. 

После этого была пленарная сессия, где с заключительным словом выступил Джон Гаргани, потом результаты конференции обсудили четыре президента - 2014,16, 17 и 18 гг. Завершилась эта сессия выступлением нового президента АЕА Кэти Ньюкамер, которая объявила тему следующей конференции: научение и оценка (Learning and Evaluation). Конференция пройдет в Вашингтоне с 6 по 11 ноября 2017 года. 

Атланта. День 3.

Утром Майкл Пэттон рассказывал об оценке, основанной на принципах. Как всегда, много пищи для размышлений. Такая оценка подходит для динамичных ситуаций, когда все быстро меняется, и приходится программу по ходу дела формировать. Его книга выйдет летом 2017 года в издательстве Gilford Press. 600 страниц. 

Цитата из выступления гуру: "Когда вы сформулируете принцип, снимется вопрос о разделении процесса и результата". Этот так, к размышлению :) 

Потом была пленарная сессия, на которой четверо ветеранов говорили о том, о чем они считали нужным. Выступали (на фото - справа налево): Малика Самаранаяке (Шри Ланка), Роб Чамберс (Канада), Майкл Скривен (США),  и Стаффор Худ (США). Например, Майкл Скривен обратил внимание на то, что спустя 50 лет после выделения оценки как особой сферы профессиональной деятельности ни в смежных областях, ни в обществе в целом нет ясного понимания того, чем является оценка. И это при том, что, по мнению Скривена, оценка является "альфа-дисциплиной". Этот тезис зал встретил бурными аплодисментами.

На сессии по  использованию оценки для предсказания будущего выступали специалисты по работе с большими данными (big data) и малыми данными (small data). Рассказывали о том, что уже могут компьютеры и что они смогут в ближайшем будущем. 

После этого состоялся традиционный торжественный обед, на котором чествовали лауреатов премий, ежегодно присуждаемых ассоциацией. Это мероприятие тоже впечатляет своими масштабами (см. фото). Было очень приятно узнать, что премию за выдающийся вклад в практику оценки получила давняя моя знакомая Гейл Баррингтон из Канады. А за вклад в теорию оценки премию получил Марвин Алкин, который придумал "дерево теорий оценки". Всего премий - 8. 

После обеда был на сессии, где рассказывали о том, как систему оценки внедряют в Google. Естественно, демонстрировали некоторые инструменты, созданные на платформе Google Docs.  

В заключение послушал интересное сообщение про технологию анализа и визуализации данных, которая называется data placemats. Надо будет посмотреть об этом подробнее. Идея отличная! 

Атланта. Четверг.

Сегодня у нас с Натальей Кошелевой первое выступление состоялось в 7 утра! Мы думали, что не придет никто, и мы будем друг другу рассказывать. Но пришли четверо - к нашему огромному удивлению. Наталья рассказала о том, как была задумана и как развивалась программа поддержки партнерских инициатив между национальными ассоциациями в сфере оценки. Дело в том, что Наталья стояла у истоков этой программы и руководила этой программой. А я потом рассказал, как мы участвовали в этой программе и как повлиял дизайн программы на наше в ней участие. Презентация здесь

Вторая сессия, на которой я побывал, была посвящена провалам и неудачам в оценке. Вначале выступили четверо опытных специалистов, включая Майкла Пэттона. Потом народ из аудитории выступал. Надо отметить, что некоторые были весьма эмоциональны... Ну, тема такая. 

Далее была пленарная сессия, на которой выступала основательница компании, разрабатывающей технические устройства, облегчающие жизнь людей. Они профессионально занимаются инженерным проектированием в целях развития. 

На следующей сессии Партиция Роджерс и ее коллега из Австралии представляли свою новую разработку - руководство по оценке для менеджеров. Этот продукт уже доступен онлайн в тестовом режиме для пользователей сайта BetterEvaluation. Регистрация на сайте бесплатная. 

Там даже есть встроенная функция для разработки ТЗ на проведение оценки. Очевидно, что это руководство можно использовать и для обучения.

Было интересно узнать последние новости от группы, которая разрабатывает компетенции для специалистов по оценке в США. Там же выступила президент Европейской ассоциации оценки Рита Оксанен, которая рассказала об экспериментальном проекте по аттестации специалистов по оценке в Европе.

Потом я участвовал в сессии, посвященной тому, какой вклад может сделать оценка в дизайн программы. Вместе со мной выступали Майкл Бамбергер из США и Томаз Чианка из Бразилии. На этой сессии было очень много слушателей. Думаю, человек 70, не меньше. Моя презентация здесь.   

Дальше была сессия, на которой обсуждали, что происходит в сфере оценки в Индии, России и Китае. Оказалось, что очень много общего. Эта сессия транслировалась в онлайне.

В заключение послушал обсуждение насчет принципов. Это новая тема. Пэттон ее обозначил как "оценку, основанную на принципах". Весной выйдет его новая книга (600 страниц). Обещал прислать. 

По плану у меня еще одна сессия, где будут обсуждать планы работы тематической группы по дизайну программ. Что-то длинный день получился... 

Атланта: открытие конференции и первые сессии

Конференция открылась. 3500 участников, 900 выступлений.

Для начала представители индейского племени чероки (из числа членов Американской ассоциации, оба - PhD) прочли молитву и сыграли национальную музыку, подобающую случаю.

Далее блестяще выступил президент Американской ассоциации оценки Джон Гаргани. Многие слышали его выступления в Москве в прошлом году и стиль его выступлений представляют. Так вот, на этот раз он превзошел себя! Было все: и юмор, и отличные слайды, и вполне серьезные рассуждения о теме конференции "Оценка + дизайн". Если я правильно понимаю, была трансляция в онлайне. Через некоторое время будет и полная запись доступна.

После этого начались параллельные сессии. Я сходил к Майклу Пэттону на сессию, посвященную тому, как специалисты по оценке могут в большей мере взять на себя ответственность за решение задач планетарного масштаба (борьба с голодом, миротворчество, предотвращение торговли людьми и т.д.). Проводилась эта сессия в интерактивной форме, было о чем поговорить и подумать. Описать все это сейчас не смогу. Отмечу, что спонсором этого и других подобных мероприятий является фонд "Быстрее вперед" (Faster Forward Foundation), созданный специально для развития практики и теории оценки.  

Оценка сотрудничества - новости из Атланты

С утра сегодня был на семинаре по оценке сотрудничества между организациями (здесь описание по-английски  Evaluating Organizational Collaboration and Networks ). Тема важная. Нас довольно часто просят (в числе прочего) оценить развитие взаимодействия между организациями. Семинар понравился. Интенсивно (три часа всего) и содержательно. В очередной раз обращаю внимание на то, какая может быть узкая специализация у наших американских коллег. Проводившая семинар Ребекка Вудланд в начале 2000 защитилась по этой теме (PhD) и с тех пор продолжает ее развивать: разрабатывает методики, пишет статьи, проводит семинары, оказывает консультационные услуги. И все это в сфере оценки сотрудничества между организациями! 

Выделю два момента, которые мне показались интересными.

 

5 принципов (принципами это назвала г-жа Вудланд) сотрудничества: 

- Общность цели

- Сотрудничают люди (не "организации"!)

- Сотрудничество предполагает развитие социальной сети 

- Сотрудничество в своем развитии проходит ряд предсказуемых стадий

- Уровни интеграции ("совместности") могут быть разными. Существует оптимальный уровень, зависящий от общей цели.

5 шагов по оценке сотрудничества: 

- Операционализировать понятие "сотрудничество". 

- Сформировать "карту" изучаемого сообщества.

- Отслеживать стадии развития сотрудничества.

- Оценить уровни интеграции.

- Оценить происходящии в рамках сотрудничества процессы. 

Презентацию с семинара можно скачать здесь.  

Подробное руководство по оценке сотрудничества здесь.

Через 2 часа - официальное открытие конференции и очень насыщенная программа - до 9 вечера. Последние 2 часа - стендовые доклады.

Завтра открывается конференция АЕА в Атланте

Завтра во второй половине дня официально открывается ежегодная конференция Американской ассоциации оценки в Атланте. Вчера, сегодня и завтра с утра проходят обучающие семинары. Скорее всего, на конференции будет около 3-3,5 тыс. участников, которые сделают порядка 1000 сообщений. Продолжительность сессий - 45 минут и 90 минут. Приходится выбирать тщательно и заранее. Выбор не становится от этого легче... Вначале выбираю по именам выступающих: надо послушать нескольких коллег, мнение которых для меня важно. После этого выбираю по тематике. Тут главное не "купиться" на название и внимательно прочесть описание сессии. В программе конференции выступления Ирины Ефремовой-Гарт, Натальи Кошелевой и мои. Про выступления других россиян не знаю пока. Постараюсь ежедневно писать здесь о том, что мне покажется особенно интересным. 

С людьми советуйся, а своего ума не теряй!

Дорогие друзья, количество откликов на опрос про пословицы превзошло все мои ожидания! На данный момент у нас уже 64 ответа, и, полагаю, голосование можно закрыть, т.к. есть 3 пословицы, которым явно отдано предпочтение.

Вот табличка с результатами голосования (в лучших традициях открытых данных):

 

А вот пословицы-победители:

Всем участникам опроса большое спасибо! Как мне кажется, мы сделали большой вклад в развитие оценки именно в русскоязычном пространстве :) 

PS  В Турине результаты были такими же. 

Викторина про оценку

В конце семинара по мониторингу и оценке программ развития в международном учебном центре МОТ в Турине у меня впервые появилась возможность использовать технологию, с которой раньше был знаком только по ток-шоу на телевидении. Организаторы семинара предложили разработать и провести итоговую викторину для участников. С помощью специальной программы вопросы и ответы (на русском) размещались на экране, потом открывалось голосование, и участники с помощью маленьких пультов должны были выбрать один из ответов. Результаты такого "голосования" выводились на большой экран, и мы их кратко обсуждали. Прошло отлично. Очень хороший вариант завершения обучения!

Всего вопросов было 15. В последнем вопросе я предложил участникам выбрать пословицу, которая полезнее всего при проведении оценки. Предлагаю гостям этого блога принять участие в аналогичном опросе. Голосование будет открыто до вечера 19 октября. 20-го опубликую результаты и сравним их с тем, что получилось у нас в Турине (в той группе были участники из Армении, Беларуси, Болгарии, Кыргызстана и Швеции).  

ПЕРЕЙТИ К ОПРОСУ  - там один вопрос с несколькими вариантами ответов :)

Индикаторная оценка: интересные дискуссии

Продолжается семинар в Турине. Как всегда, интересные (и оживленные!) дискуссии возникают вокруг следующих вопросов: 

• Чем мониторинг отличается от оценки?
• Могут ли значения качественных индикаторов быть выражены в числах?
• Как перейти от реальности (жизнь как она есть) к модели при формировании системы индикаторной оценки? 
• Как быть, если нет базовых значений индикаторов? 
• Можно ли корректировать систему индикаторов по ходу программы?
• Как быть с нежеланием людей принять систему показателей и отчитываться по ней?
• Что делать с возможным манипулированием значениями показателей?

В очередной раз убеждаюсь, что масса проблем, связанных с показателями, вызвана некорректным подходом к разработке этих самых показателей и построению системы индикаторной оценки в целом. Участники привели много примеров такого рода. 

... И любуюсь горами, что совсем рядом. 

Налево пойдешь...

Вопрос: где нужно находиться, чтобы путь в Европу был прямо, в Америку - налево, а в Азию с Африкой - направо? 

Правильный ответ: на территории Международного учебного центра Международной организации труда в Турине. Тут корпуса называются по частям света. 

Как учесть интересы участников семинара

Продолжается наше сотрудничество с Международным тренинговым центром ILO в Турине. Сегодня начинаем семинар по оценке на русском языке. Объявление о нем проходило по рассылке АСОПП. Проанализировал состав группы и обнаружил, что, как это часто бывает, участники имеют разное отношение к оценке в силу своих должностных обязанностей. Попробуем, конечно, выяснить и учесть разные ожидания. 

Завершена конференция АСОПП в Новосибирске

Вчера завершилась конференция АСОПП в Новосибирске. Количество участников было существенно меньше, чем в прошлом году в Москве (всего около 35 человек). Тому, как мне кажется, есть две основные причины: (1) в Новосибирске меньше людей, заинтересованных в оценке настолько, чтобы оплатить регистрационный взнос за участие в конференции; (2) в прошлом году добрая половина участников конференции представляла сообщество специалистов по оценке в сфере детства. Их участие в конференции было поддержано Фондом Тимченко. Относительная немногочисленность участников никак не сказалась на качестве выступлений и дискуссий. Все без исключения выступления были хорошо подготовленными и содержательными. Мне только очень жаль, что не смогла приехать Татьяна Макарова из Тольятти, которая традиционно выступает с очень интересными сообщениями о своем опыте работы с экспертами. Надеюсь, в следующем году Татьяна к нам вновь присоединится. 

Вчера мы с Мариной Михайловой впервые рассказали о результатах работы, которую с Центром "Гарант" (Архангельск) ведем на протяжении уже нескольких месяцев. Тема: "Формирование и оценка попечительских советов НКО". 18-19 октября в Архангельске состоится семинар, где мы подробно расскажем обо всем и представим книгу (ее публикация запланирована на весну 2017 года). Книга будет доступна в онлайне. Пока предлагаю нашу вчерашнюю презентацию.   

В Новосибирске - снег

Конференция АСОПП в Новосибирске продолжается. Вчерашний день был насыщен очень интересными выступлениями и дискуссиями. Досадно, что нет возможности послушать все сообщения. 

Я вчера рассказывал о подходах к оценке влияния программ. Поделился опытом исследования влияния музейной программы Фонда Потанина. В ближайшее время мы вместе с Фондом планируем представить результаты этого исследования. Пока можно ознакомиться с краткой версией здесь.   

Сегодня утром выпал снег, но времени смотреть в окно нет. Через 10 минут начинаются утренние сессии...  

АСОПП-2016: семинары завершены

Сегодня в Новосибирске прошли предконференционные семинары. На семинаре по системному мышлению в проектировании и оценке было несколько интересных обсуждений. В частности, мы затрагивали следующие вопросы: 

- Каждый ли может принять, понять и по-настоящему освоить такой стиль мышления? Всем ли это дано? 

- Что вообще означает на практике такой стиль мышления?

- Не слишком ли "накладно" будет все это внедрять в условиях кризиса, когда денег и так хронически не хватает? 

- Нужно ли рассказывать о системном мышлении людям, которые пока не освоили как следует логические модели? 

Ход обсуждений я не фиксировал, естественно. Гости моего блога могут подумать над тем, как бы они ответили на эти вопросы. С презентацией можно познакомиться здесь (около 9 Мб).    

Конференция АСОПП-2016: завтра - семинары

Завтра пройдут семинары перед конференцией. Я буду проводить семинар по использованию системного мышления в проектировании и оценке программ. По сравнению с прошлым годом логика и содержание семинара существенно переработаны. Надеюсь, получится и интереснее, и полезнее для участников. 

Пока - цитата из одной любопытной книжки:

"Мы творим собственное будущее мелкими, незначительными ежедневными поступками, и только позднее узнаем, что какие-то решения определили всю последующую жизнь". 

Джозеф О'Коннор, Иан Макдермотт «Искусство системного мышления. Необходимые знания о системах и творческом подходе к решению проблем» 

ITC ILO - технологии

В предыдущей публикации об организации семинара в учебном центре Международной организации труда в Турине забыл упомянуть одну важную деталь. Каждый участник на период обучения получает в распоряжение iPad. С учетом того, что есть специальная интернет-страничка семинара с разными ресурсами + отличный WiFi, это очень удобно. Мне кажется, отличная идея! Планшетные компьютеры сегодня не такие уж дорогие. 

А вот и наша группа... 

ITC ILO

Тренинговый центр Международной организации труда в Турине выглядит как настоящий университетский кампус: просторная зеленая территория; уютные учебные и жилые корпуса; студенческие кафе и фитнес-центр. Здесь идут разные программы, включая полноценные курсы магистерского уровня, где можно получить соответствующий диплом. Все, естественно, ориентировано на специалистов МОТ и других структур ООН, а также сотрудничающих с ООН организаций. Говорят, за год через центр проходят 12000 человек! Основные отличия студентов по сравнению с "обычными" университетами: огромное разнообразие (внешность, одежда, языки) и возраст (тут обучаются люди взрослые). Например, в группе, с которой я сейчас работаю (семинар по оценке программ и проектов) представители из полутора десятков стран - от Бахрейна до Швейцарии. Условия для занятий идеальные. В перерывах кофе и чай подают на улице в шатре на лужайке под раскидистым деревом :)

Вчера в очередной раз убедился в том, что Шерлок Холмс намного более популярен в России, чем в других странах. Полагаю, мы и Англию обойдем по этому показателю скоро. В наших группах достаточно назвать рассказ А. Конан Дойла "Пестрая лента", и всем все понятно. Здесь же приходится делать подробное вступление прежде чем перейти к тому, как Холмс анализирует факты (это одно из моих любимых учебных заданий). Большой плюс - возможность использования оригинальных текстов как в случае с Холмсом, так и про оценку  (рабочий язык - английский). Все-таки с английскими терминами в оценке все намного лучше устоялось, чем в русском варианте. И очень много ресурсов в интернете доступно. Кстати, для каждой группы здесь делают отдельную интернет-страничку, куда загружаются разные материалы, ссылки, фотографии и т.д. Отличная идея! 

Курс по оценке эффективности социальных проектов в МГППУ

Вчера завершился очередной курс по оценке эффективности социальных проектов для магистрантов МГППУ. Продолжаю искать оптимальный формат такого курса. Материала много. Хочется и общую картину развития дисциплины студентам показать, и практические аспекты представить, и учесть интересы и потребности самих студентов. Замечательная особенность магистерской аудитории в МГППУ: все слушатели - взрослые люди, которые знают, зачем они учатся и с интересом относятся к занятиям. С такой группой очень приятно работать! 

Конференция по доказательному подходу в социальном проектировании в МГППУ

Сегодня был первый день конференции "Доказательный подход к проектированию и оценке результатов программ в сфере детства", которая проходит в МГППУ. Конференция организована Межотраслевым профессиональным объединением «Оценка программ в сфере детства». 

Мне, к большому сожалению, не удалось попасть вчера на семинары. Говорят, было интересно! Сегодня выступал с сообщением "Доказательный подход к управлению социальными проектами". 

Вот моя версия основных характеристик такого подхода: 

• Подразумевает обязательное обоснование решений, принимаемых на всех стадиях жизненного цикла проекта.
• Предполагает использование лучших из доступных доказательств для обоснования решений.
• Не предполагает жесткого увязывания качества доказательств со способами их получения (как это принято, например, в доказательной медицине). 
• Учитывает возможные различия в восприятии качества доказательств различными заинтересованными сторонами.
• Допускает использование в виде доказательств научных данных, организационных данных, живого опыта, ценностей и принципов. 
• Учитывает, что большинство проектов содержат и простые, и сложные, и динамичные компоненты. Предполагает использование разных доказательств для разных компонентов. При выборе обоснований применительно к динамичным компонентам учитывает контекст и начальные условия.

Полная версия моей презентации здесь.

Хотел бы поздравить всех организаторов конференции с таким важным шагом в развитии доказательного подхода в социальной сфере в нашей стране! Насколько мне известно это первая конференция такого уровня по данной теме в России. 

Отдельная благодарность коллегам из Центра доказательного социального проектирования за саму идею конференции!

Защита магистерских работ по оценке

Сегодня в МГППУ прошла защита магистерских работ по программе «Проектирование психолого-педагогической деятельности в негосударственных организациях». Две работы были посвящены оценке:

• «Модель оценки инициатив по социализации подростков с умственной отсталостью» (автор - Маргарита Воронцова)
• «Прогностическая оценка программ поддержки семей с детьми с ограниченными возможностями здоровья» (автор - Лариса Бурдасова)

Обе работы успешно защищены. Рассчитываю, что в ближайшее время коллеги напишут статьи для нашего журнала. Им точно есть, чем поделиться. 

Пока же хотел бы поздравить Маргариту и Ларису, а также всех их сокурсников и сокурсниц с удачной защитой! На мой взгляд, самых добрых слов и искренних поздравлений заслуживают также инициаторы и кураторы магистерской программы «Проектирование психолого-педагогической деятельности в негосударственных организациях». С первым выпуском!!!

Будущее оценки

В Архангельске 9-10 июня прошла Всероссийская школа оценки, организованная Информационно-аналитическим центром развития гражданских инициатив (Новосибирск) в партнерстве с Центром "Гарант" (Архангельск) и Ассоциацией специалистов по оценке программ и политик. Одна из сессий, которые было поручено провести мне, называлась "Будущее оценки". Я представил прогноз относительно того, какие 10 изменений в сфере оценки произойдут к 2026 году:

1. Реальная интеграция проектирования и оценки (практика, теория, образование). 
2. Повышение степени открытости данных, которые можно использовать в т.ч. для проведения оценки.
3. Хорошо обоснованные «стандартные» наборы критериев для оценки различных объектов (организаций, видов деятельности, программ, проектов) и их отдельных характеристик.
4. Расширение использования ИКТ при проведении оценки. 
5. Преобладание компактного представления результатов оценки, отказ от многостраничных отчетов, новые находки в сфере визуализации данных и результатов оценки.
6. Рост числа магистерских программ по социальному проектированию и оценке. 
7. Рост потенциала различных организаций в сфере оценки, развитие внутренней оценки и самооценивания.
8. Развитие отраслевых подходов к оценке.
9. Активное международное сотрудничество в сфере оценки в евразийском регионе и за его пределами.
10. Повышение интереса к оценке как средству контроля и обеспечения прозрачности со стороны политических партий, Государственной Думы, региональных и местных законодательных собраний. 

Историческое событие

Вчера Московский государственный психолого-педагогический университет (МГППУ) объявил об открытии новой магистерской программы, которая будет готовить специалистов по проектированию и оценке.

Магистерская программа «Доказательное проектирование и оценка программ в области управления социальными рисками в сфере детства» (открыта в 2016 году) ориентирована на подготовку специалистов социальных организаций, работающих в сфере помощи детям, подросткам и семьям. Основной акцент при подготовке ставится на овладение технологиями обоснованного социального проектирования. Для того, чтобы идея, направленная на помощь детям, была грамотно и эффективно реализована, специалист должен знать специфику психологии и социологии современного детства, уметь разработать и логически выстроить проект, обосновать адекватность, необходимость и достаточность применяемых для решения поставленных задач методов, найти ресурсы для его реализации, воплотить проект в жизнь, оценить и проанализировать полученные результаты. Именно эти компетенции будут сформированы и реализованы в виде индивидуального проекта в данной программе.

Это первая в России магистерская программа, в названии которой присутствуют слова "оценка программ". Значимость этого события для развития нашей профессии трудно переоценить. Теперь есть место, где можно получить высшее образование в сфере оценки! Обучение бесплатное!

Особо хотел бы отметить, что руководство МГППУ пригласило к сотрудничеству в рамках данной образовательной программы Ассоциацию специалистов по оценке программ и политик (АСОПП) с тем, чтобы представители российского профессионального сообщества приняли участие в разработке программы, преподавании и организации практики для студентов. 

Поздравляю всех нас с таким знаменательным событием! Отдельное спасибо руководству МГППУ и Центру доказательного социального проектирования при МГППУ! Запомним эту дату: 7 июня 2016 года. 

Записаться в список потенциальных магистрантов и получить информацию, необходимую для поступления, можно по ссылке. Дополнительные вопросы высылайте по адресу proektirovaniengo@gmail.com, с темой письма «поступление».

20 лет спустя

Мы провели первую оценку проекта в 1996 году, то есть ровно двадцать лет тому назад. Оценивали совместный проект Американской ассоциации социальных работников (примерно 150 тыс. членов) и вновь созданной Российской ассоциации социальных работников и социальных педагогов. Закончили работу, сдали отчет. Получилось хорошо. Помню, как клиент сказал, что, если такого рода работы нас интересуют, то он готов нас рекомендовать знакомым. Он считал, что спрос на оценку проектов был в тот момент на подъеме. Мы не планировали тогда специализироваться в сфере оценки проектов и программ, а потому поблагодарили его и ... отказались. В течение последующих двух лет произошло несколько событий, которые изменили наше отношение к оценке. Это были, в первую очередь, наше партнерство с британским специалистом в сфере оценки Сарой дел Туфо (Sarah del Tufo) и знакомство с книгой американца Майкла Пэттона (Michael Patton) "Практическая оценка" (Practical Evaluation, 1980). Сара помогла нам заглянуть в мир практической оценки как одного из видов консультирования, а книга Майкла (которую, кстати, Сара нам рекомендовала) позволила увидеть оценку как интереснейшую профессию. Если бы не Сара и Майкл, возможно, мы бы сегодня чем-то другим занимались. Они оба продолжают активно работать, и мы с благодарностью желаем им всего самого доброго!

• Сайт Сары дел Туфо
• Сайт Майкла Пэттона

Оценка без критериев - не оценка? (фрагмент одной дискуссии)

Уже много лет я подписан на тематический список рассылки на Yahoo Groups. Называется XCEval. Сейчас там около 1200 подписчиков со всего мира. Пишу туда очень редко. Являюсь, скорее, активным читателем. Рабочий язык - английский. Подписаться может любой человек - без ограничений.

На днях Боб Вильямс из Новой Зеландии (очень известный специалист в сфере применения системного мышления в оценке) написал на XCEval о тревожной тенденции, заключающейся в том, что все чаще набор критериев оценки программ определяется заранее как стандартный и не учитывает в должной мере особенностей оцениваемой программы и потребностей заинтересованных сторон. Я поддержал Боба и добавил, что есть еще и тенденция использовать "стандартный" набор вопросов, на которые оценка должна ответить, что создает массу проблем. Далее я поделился нашим опытом проведения оценки (в традиции оценки, ориентированной на практическое использование), когда ключевым моментом, "ядром" задания на проведение оценки являются не критерии, а вопросы, на которые надо ответить. Далеко не все наши технические задания содержали критерии оценки, но все они содержали вопросы. Я написал, что мы избегаем использования понятия "критерий оценки", чтобы сфокусироваться именно на вопросах, которые обсуждаются с Заказчиком, тщательно формулируются и становятся фундаментом для всей последующей работы. 

К своему удивлению, я получил довольно жесткий ответ от Боба. Он вообще не отличается мягкостью в дискуссиях, удивила не жесткость :) Он написал, что моя позиция является чудовищной ошибкой и также отражает некую негативную тенденцию. Основной его тезис был такой: "Без критериев нет оценки". 

Я согласился, что, действительно, без критериев невозможна "оценка, основанная на критериях" (criterion-focused evaluation) - один из видов оценки, но не оценка вообще. Имел я в виду, что есть другие подходы, которые, к примеру, перечислены в книге Майкла Пэттона Utilization Focused Evaluation, 4th ed. (стр. 300-305). Майкл перечисляет 79 видов оценки в зависимости от того, на чем она сфокусирована. Оценка, основанная на критериях, упоминается в числе прочих. 

На это откликнулись сам Боб ("Категорически не согласен!"), а затем еще два очень уважаемых человека - Роберт Пиччиотто (бывший директор Независмой группы оценки Всемирного Банка) и Томас Швандт (один из лидеров Американской ассоциации оценки, бывший редактор American Journal of Evaluation, профессор из Иллинойса, США). Оба джентльмена поддержали Боба. Томас написал, что он присоединяется к группе, в которой считают, что невозможно провести оценку, не имея критериев. Роберт - примерно в том же духе.

Считаю очень примечательным сам факт, что три таких известных человека решили написать по поводу критериев. Это говорит о значимости темы для них. Они далеко не на каждое письмо на XCEval откликаются. Уверен, что они не включились бы, если бы дело было только во мне. Вероятнее всего, это одна из дискуссионных зон в мире оценки, которую я невольно затронул. Интересно! 

Еще два слова о моей позиции по этому вопросу. Я не против критериев как таковых, но не считаю, что они настолько значимы во всех случаях. Гораздо важнее для меня вопросы, на которые надо ответить. 

Примеры критериев: 

- эффективность, 

- устойчивость эффекта. 

Примеры соответствующих вопросов: 

- В какой мере достигнута цель программы? 

- В какой степени эффект программы сохраняется после ее окончания? 

Если меня просят оценить (или даже измерить) эффективность программы, то это мало что говорит само по себе. А вот когда мы формулируем вопрос(ы), тут становится понятно, о чем речь. От вопросов можно уже планировать оценку. А результатом оценки будут ответы на эти вопросы. Главу в отчете можно назвать "Эффективность", но ее содержание должно определяться вопросом, на который надо ответить. Для разных программ, людей, обстоятельств вопросы про эффективность могут сильно отличаться.

Самооценивание как составляющая гуманистического подхода к обучению

Гуманистический подход к обучению центрирован на учащемся. Роль учителя - способствовать подлинному усвоению нового, помогать ребенку реализовать потенциал своих индивидуальных возможностей. Эту формулировку я заимствовал из текста Карла Роджерса. На мой взгляд, она очень хорошо отражает сущность гуманистического подхода к обучению. В своей знаменитой статье "Вопросы, которые я бы себе задал, если бы был учителем", Роджерс пишет:

"Вот вопросы, которые я задал бы себе, если бы взял на себя ответственность за детей, к которым пришел в класс, чтобы помочь им учиться:

1. Умею ли я входить во внутренний мир человека, который учится и взрослеет? Смог ли бы я отнестись к этому миру без предрассудков, без предвзятых оценок, смог ли бы я личностно, эмоционально откликнуться на этот мир? 
2. Умею ли я позволить самому себе быть личностью и строить открытые, эмоционально насыщенные, неролевые взаимоотношения с моими учениками, отношения, в которых все участники учатся? Хватит ли у меня мужества разделить со своими учениками эту интенсивность наших взаимоотношений?
3. Сумею ли я обнаружить интересы каждого в моем классе и смогу ли позволить ему или ей следовать этим индивидуальным интересам, куда бы они ни вели?
4. Смогу ли помочь моим ученикам сохранить живой интерес, любопытство по отношению к самим себе, к миру, который их окружает, — сохранить и поддержать самое дорогое, чем обладает человек?
5. В достаточной ли степени я сам творческий человек, который сможет столкнуть детей с людьми и с их внутренним миром, с книгами, всеми видами источников знаний — с тем, что действительно стимулирует любознательность и поддерживает интерес?
6. Смог ли бы я принимать и поддерживать нарождающиеся и в первый момент несовершенные идеи и творческие задумки моих учеников, этих посланников будущих творческих форм учения и активности? Смог ли бы я принять тех творческих детей, которые так часто выглядят беспокойными и не отвечают принятым стандартам в поведении?
7. Смог ли бы я помочь ребенку расти целостным человеком, чувства которого порождают идеи, а идеи — чувства?"

Такая позиция учителя предполагает, что в плане оценки первичной является способность ученика к самооцениванию, которое приверженцы гуманистического подхода иногда называют "единственной формой значимой оценки".

Вопросы к размышлению: 

• Можно ли распространить этот принцип на группы и организации? 
• Можно ли считать, что основной (наиболее значимой) формой оценки в образовательном учреждении, построенном на принципах гуманизма, должно быть самооценивание (в разных формах, естественно)? Речь идет не только и не столько об учениках уже. 

Отчет об оценке программы сертификации специалистов по оценке

Канадцы первыми в мире разработали и внедрили в 2009 году систему сертификации специалистов по оценке. Это довольно трудоемкий процесс, занимающий не один месяц. За сертификацию нужно платить. В общем, все по-взрослому. 6-летний опыт программы сертификации специалистов по оценке в Канаде подробно проанализирован в отчете об оценке этой программы, который теперь доступен в онлайне (английский язык, 56 страниц без учета приложений).

В отчете много интересного.  В частности, оказалось, что далеко не все заказчики услуг по оценке в Канаде указывают сертификацию как обязательное или желательное требование к консультантам, которых они нанимают. Объясняют они это тем, что сертифицированных специалистов мало, и можно вообще не найти подходящего. Это создает своего рода замкнутый круг: сертифицированных специалистов мало, поэтому сертификацию клиенты не требуют, поэтому число сертифицированных специалистов не растет.

Авторы дают три рекомендации по совершенствованию программы:

1. Скорректировать существующее предложение с учетом потребностей заказчиков услуг по оценке.
2. Повысить прозрачность существующего процесса сертификации. 
3. Четко сформулировать, в чем состоит ценность сертификации для специалистов по оценке и потребителей их услуг.  

Компетенции специалиста по оценке: версия АЕА

AEA - это Американская ассоциация оценки (American Evaluation Association). Отдельные исследователи в США одними из первых в мире занялись изучением и описанием компетенций специалиста по оценке (см., например, публикации Jean King). Однако лишь в прошлом году была сформирована рабочая группа по компетенциям под эгидой АЕА. Около 15% членов АЕА представляют другие страны либо живут и работают в других странах. Поэтому рабочая группа запланировала 25 групповых обсуждений (в скайпе), чтобы учесть мнение тех, кто находится за пределами США. На днях я принимал участие в одном из таких обсуждений и, соответственно, познакомился с проектом документа, над которым идет работа. Пока компетенции специалиста по оценке (коллеги ориентируются на тех, кто оценивает программы) разделены на 5 групп:

- базовые или основополагающие компетенции, 

- компетенции в сфере методологии оценки, 

- компетенции, относящиеся к работе с контекстом оценки, 

- компетенции в сфере менеджмента,

- межличностные компетенции. 

В рамках каждой группы кратко перечисляются характеристики "компетентного специалиста по оценке" (competent evaluator). Документ компактный, занимает меньше двух страниц. 

По всей вероятности, к концу года он примет более-менее окончательный вид, и мы сможем ознакомиться с ним. 

Цели, задачи и "ожидаемые результаты" проекта

Хочу возразить против сложившейся в нашей стране практики включения раздела "Ожидаемые результаты" в описания социально-ориентированных проектов и программ наряду с целями и задачами. Считаю эту практику ошибочной по следующей причине.

Цель (любого уровня) - это образ конечного результата или ожидаемый результат. И миссии, и цели, и задачи проектов и программ являются ничем иным, как ожидаемыми результатами. В проектировании даже термин есть для этого специальный - "цепочка ожидаемых результатов" (results chain). Другой термин, который стали все больше использовать в последние годы - "карта ожидаемых результатов" (outcomes map). Те, кому больше по душе "дерево целей" (goal tree), вполне могут называть его "деревом ожидаемых результатов". 

Для того, чтобы можно было понять, достигнуты ли ожидаемые результаты, используются показатели (индикаторы). 

Таким образом, включение раздела "ожидаемые результаты" в описание проекта лишь запутывает заявителя и никоим образом не делает проекты и программы более "заточенными" на результат. 

Предлагаю всем, от кого это зависит, не включать в шаблон описания проекта раздел "Ожидаемые результаты" и настаивать на том, чтобы заявители описывали миссию, цель и задачи проекта в терминах ожидаемых результатов. От этого всем только лучше будет: и заявителям; и благополучателям; и экспертам, которые оценивают заявки; и специалистам, которые проводят оценку проектов в ходе их выполнения или по завершении; и самой финансирующей организации.   

Как создать облако из слов

Облака из слов бывает удобно использовать в отчетах по результатам оценки и в презентациях этих результатов. Поэтому сегодня я хотел бы поделиться ссылками на бесплатные онлайновые сервисы, позволяющие генерировать облака из слов. Они все точно работают с английскими текстами, но не все работают с русскими. 

1. ABCYa! Word Clouds (только английский, русские буквы не понимает)
2. TagCrowd (только английский, для русского текста делает по умолчанию транслитерацию - заменяет русские буквы английскими)
3. Tagul (требует регистрации, допускает бесплатное использование только в личных некоммерческих целях)
4. Tagxedo (требует установить дополнительную программу Silverlight)
5. Tricklar (сам выбирает медийные источники за заданный период для формирования облаков по ключевому слову, только английский)
6. WordClouds (меню английское, может работать с русскими текстами, не требует регистрации)
7. WordItOut (меню английское, может работать с русскими текстами, не требует регистрации)
8. Wordle (требует установить Java browser plugin, отличная программа, работает и с английскими, и с русскими текстами, очень много опций для получения требуемой формы, пространственной ориентации слов, размера и цвета изображения, но в последнее время не запускается во многих браузерах по соображениям безопасности). 

Ниже для иллюстрации привожу облако, которое сгенерировал Tricklar на слово Russia.

Порядок оценки социального эффекта проектов

В Распоряжении Президента РФ от 5 апреля 2016 года № 68-рп "Об обеспечении в 2016 году государственной поддержки некоммерческих неправительственных организаций, участвующих в развитии институтов гражданского общества, реализующих социально значимые проекты и проекты в сфере защиты прав и свобод человека и гражданина" некоммерческим неправительственным организациям предписывается (пункт 2.д.) "разработать порядок оценки социального эффекта, полученного от реализации социально значимых проектов и проектов в сфере защиты прав и свобод человека и гражданина".

Насколько я знаю, это первое официальное упоминание о необходимости оценки социального эффекта проектов на столь высоком уровне в нашей стране. Вне всякого сомнения, это очень важное событие для всех, кто профессионально занимается оценкой социально ориентированных программ и проектов, значимый шаг на пути развития института оценки в России.

В ближайшее время наверняка будут предприняты шаги по разработке "порядка оценки социального эффекта". Если бы меня спросили, на что нужно обратить внимание при проведении этой работы, я бы ответил так:

1. Нужно обязательно начать с определения понятия "социальный эффект". Здесь далеко не все так однозначно, как может показаться на первый взгляд. 
2. Следует обратиться к уже существующим в мире наработкам. Сделано в этой сфере очень многое. Есть многочисленные публикации, к примеру вот эта (название можно перевести как "Руководство по оценке социальных эффектов проектов и управлению ими"). Даже есть международная ассоциация специалистов, работающих в этой сфере. 
3. Важно иметь в виду, что оценка социального эффекта - очень непростая задача. А решение нужно в данном случае какое-то достаточно простое , поскольку оно должно быть реализовано уже в 2016 году. Здесь есть противоречие, поэтому особое внимание надо будет уделить корректности методов такой оценки и не останавливаться на достигнутом: это задача не на один год. 
4. Надо уделить особое внимание необходимости наращивания потенциала в этой сфере. Мало разработать метод или порядок оценки. Надо еще обучить людей тому, как этим методом пользоваться. 

Полагаю, нам на ежегодной конференции Ассоциации специалистов по оценке программ и политик (октябрь, Новосибирск) и на Школе оценки (июнь, Архангельск) нужно будет обязательно уделить внимание этой теме. 

Конференция АСОПП-2016 в Новосибирске

Сегодня открыт прием заявок на выступления на II Ежегодной конференции Ассоциации специалистов по оценке программ и политик (АСОПП).

Конференция и семинары перед ней пройдут с 5 по 7 октября 2016 года в Новосибирске. Решение Правления АСОПП провести конференцию в Сибири продиктовано желанием сделать наше мероприятие более доступным для тех, кому в Москву ехать далеко и дорого, а в Новосибирск - ближе и дешевле. Это, в частности, относится и к нашим коллегам и друзьям в Центральной Азии, например, в Казахстане. Тем более, что Координационный Совет Евразийского альянса национальных ассоциаций в сфере оценки решил активно поддержать наше мероприятие, присвоив ему статус "мероприятия года" в регионе.  

По числу конференций, семинаров и школ, посвященных оценке, Новосибирск, точно является одним из лидеров в нашей стране. Достаточно вспомнить первую большую конференцию Международной сети "Оценка программ" в 2000 году, Школы по оценке 2001, 2010 и 2015 годов. Это лишь некоторые мероприятия из тех, что были проведены под руководством либо при самом активном участии наших новосибирских коллег, представляющих Сибирский центр поддержки общественных инициатив (СЦПОИ) и ИНА-Центр. 

Тема конференции: "Оценка программ и политик в эпоху кризиса: вызовы и возможности". Уверен, что будет интересно. Не пропустите!

Какими качествами должен обладать член правления ассоциации специалистов по оценке

В свое время С.Н.Паркинсон в своих "законах" предложил весьма эффективный подход к написанию объявлений о вакансиях. Он рекомендовал формулировать требования к кандидату таким образом, чтобы пришел один и самый подходящий человек. К примеру, это может выглядеть так:
"Требуется археолог высокой квалификации, готовый провести пятнадцать лет на раскопках инкских захоронений в поселке Геенна, на Аллигаторовой реке. По окончании работ обеспечен титул или орден. Пенсия полагается, но ни разу не понадобилась. Оклад – 2000 фунтов в год. Заявление в трех экземплярах подавать директору Норокопательного института, Гроб, Иллинойс, США".
Здесь и дурные и хорошие стороны строго уравновешены. Нет нужды уточнять, что от соискателя требуются терпение, упорство и смелость. Сами условия отсекают всех не обладающих этими свойствами. Нет нужды писать, что нужен одинокий человек. Нет нужды оговаривать, что он должен быть помешан на раскопках, – никто, кроме помешанных, и не откликнется. Их может быть трое, но для двоих оплата окажется слишком низкой. Третьего привлечет награда. По-видимому, если мы предложим орден св. Михаила, заинтересуются двое, а если предложим орден Британской империи, не заинтересуется никто. В нашем же случае заявление будет одно. Соискатель не в своем уме, но это неважно. Именно он нам и требуется".
(Сирил Норткот Паркинсон, "Законы Паркинсона", 2014)
Эту блестящую идею напомнило мне сегодняшнее письмо с приглашением номинировать кандидатов в Правление Американской ассоциации оценки (ААО):
"Работать в Правлении ААО может любой член ААО (включая как граждан США, так и граждан других стран). Вновь избранные члены Правления будут работать в этом качестве три года, начиная с 1 января 2017 и ежегодно посещать три заседания Правления. Каждый член Правления участвует в работе Правления на регулярной основе, посещая заседания Правления, активно участвуя в работе Правления, переписке по электронной почте, рабочих группах и комитетах разного рода. Расходы на личное участие в двух заседаниях Правления покрываются ААО. Третье заседание проводится в период проведения ежегодной конференции ассоциации, поэтому покрытие расходов в этом случае ограничивается оплатой отеля за два дополнительных дня и соответствующих расходов на питание, связанных с посещением заседания Правления...
При отборе кандидатов учитывается:
- их предыдущая работа в Ассоциации (буквально там сказано "служение", а не работа)
- другие вклады кандидатов в развитие профессии и их служение профессии,
- доступность кандидатов (см. ниже).
Кандидаты должны дать согласие на участие во деятельности Правления в течение трех лет, а также письменно подтвердить:
- возможность и желание принять участие в трех ежегодных заседаниях Правления,
- доступность для периодических телеконференций Правления,
- понимание, что члены Правления не могут получать никаких наград ААО,
- согласие следовать всем политикам ААО, относящимся к обязанностям членов Правления".

Чем оценка (evaluation) отличается от исследования (research)?

На днях обсуждали с коллегой эту тему. Хотел бы поделиться видением профессора Патриции Роджерс из Австралии, опубликованным в блоге на сайте Betterevaluation. Отличный, кстати, сайт! 

Итак, Патриция предлагает четыре подхода к объяснению отличия оценки от исследования: 

1) Две области, не связанные между собой: разные цели; по-разному формируются вопросы, на которые нужно ответить; разные критерии оценки значимости и качества; разные референтные группы для вынесения суждения о ценности. 

2) Две взаимно пересекающиеся области: есть "пересечения", например, методы и инструменты работы с эмпирическими данными; и есть отличия, например, постановка задачи и использование результатов. 

3) Оценка как подкатегория исследования: проведение исследования не всегда предполагает проведение оценки, а проведение оценки всегда предполагает проведение исследования. 

4) Исследование как подкатегория оценки в том смысле, что собр и анализ эмпирических данных - неотъемлемая часть оценки. 

Мне кажется, что в классификации Патриции недостает еще одного варианта: "ничем не отличается" или "оценка и исследование - это абсолютно одно и то же". В комментариях к ее публикации как раз такой вариант был предложен.

Так отличаются или нет? Думаю, многое зависит от начальных условий и от контекста. В том мире, в котором я живу и работаю, отличаются. Но я легко могу представить себе ситуации, в которых обсуждение отличий большого смысла не имеет. 

Для тех, кто хотел бы глубже погрузиться в данную тему, рекомендую статью Мири Левин-Розалис (Miri Levin-Rozalis), опубликованную в Канадском журнале оценки (2003). В этой статье много ссылок на публикации людей, являющихся основоположниками оценки как самостоятельной дисциплины и особой профессии таких как Кэмпбелл, Кук, Губа, Линкольн, Хаус, Скривен, Пэттон. 

Почему профессиональные ассоциации не должны оказывать услуг по профилю деятельности своих членов?

Вопрос это не новый. В нашем регионе мы обсуждали его еще в 2000 году, когда создавали Международную сеть «Оценка программ». В сентябре 2012 я уже и здесь об этом писал. Самые недавние дискуссии по этому поводу, в которых мне пришлось принимать участие, состоялись в начале марта в Алматы на встрече Евразийского альянса национальных ассоциаций в сфере оценки.
Сегодня пришло письмо от моего коллеги Пабло Родригеса-Билелла (Pablo Rodriguez-Bilella), специалиста по оценке программ, исследователя и профессора социальной антропологии из Аргентины. Пабло откликается на переписку президента Международной организации по сотрудничеству в сфере оценки Зиада Мусы и члена правления одной из национальных ассоциаций. Последний обратился к лидерам национальных ассоциаций в сфере оценки со следующим вопросом: есть ли в уставах их ассоциаций положение о том, что их профессиональные объединения не могут действовать как консалтинговые компании и, в частности, принимать участие в тендерах на проведение оценки?
Во-первых, хотел бы сказать, в уставе Российской ассоциации специалистов по оценке программ и политик такое положение есть. Оно было и в уставе Международной сети «Оценка программ». Но раз вопрос возникает, я бы хотел еще раз дать на него развернутый ответ.

Был конь да изъездился

В 2005 году я был на семинаре по проектированию в Голландии, где ведущий использовал пример с лошадью, которую, как известно, можно подвести к воде, но нельзя заставить пить. При этом были продемонстрированы картинки из пособия Международной организации труда (ILO (1995) Design, monitoring and evaluation of technical cooperation programmes and projects). Мы стали активно применять эту метафору в семинарах по проектированию и по оценке программ и проектов в нашем регионе. Первыми увидели лошадь представители некоммерческих организаций Казахстана в 2005 году. С тех пор прошло без малого 11 лет. "История лошади" стала весьма популярной и используется очень многими. На днях после очередной лекции ко мне подошла студентка и сказала, что про лошадь она слышит в моем исполнении уже в шестой (!) раз. В апреле буду проводить очередной семинар по проектированию. Уже без лошади, она свое отслужила :) Если вдруг кто-то из читателей этого блога про лошадь не слышал или подзабыл, описание ее истории есть в книге "Оценка программ: методология и практика" на стр.12-14.

Теория филантропии

В декабре 2015 года в журнале The Foundation Review (volume 7, issue 4) опубликованы две статьи, в одной из которых предлагается новая концепция, названная авторами "теорией филантропии", а в другой обсуждается эта новая концепция. Один из авторов - Майкл Пэттон, известный многим в нашей стране как гуру в сфере оценки программ. "Теория филантропии" формируется применительно к деятельности отдельно взятой филантропической организации (фонда) и отличается как от стратегии, так и от "теории изменений". Этим отличиям, кстати, авторы уделяют особое внимание.

Думаю, это своего рода "прорыв" в осмыслении деятельности фондов и в управлении ими. Данные публикации могут иметь очень важное практическое значение как для фондов, так и для специалистов по оценке, работающих с филантропическими и социально-ориентированными программами. 

Очень рекомендую прочесть!

В Храме Христа Спасителя сегодня говорили об оценке проектов

По приглашению Фонда "Соработничество" провел сегодня небольшой семинар (1,5 часа) на тему "Оценка эффективности социальных проектов" в рамках XXIV Международных рождественских чтений. Семинар проходил в зале для пресс-конференций в Храме Христа Спасителя. Интерес к семинару со стороны участников чтений был достаточно большой. К концу семинара в аудитории практически не осталось свободных мест. По словам организаторов, присутствовало более 60 человек. Среди них было значительное число грантополучателей конкурса "Православная инициатива". Примечательно, что РПЦ при поддержке Фонда "Соработничество" активно развивает социально-ориентированную проектную деятельность и оценку проектов. Что касается семинара, то меня заверили, что это было первое мероприятие по оценке в стенах Храма Христа Спасителя.