И снова о российской ассоциации...

Многие из тех, кто заходит ко мне "на огонек", вероятно, обратили внимание на публикации о создании российской ассоциации специалистов по оценке программ. При попытке зарегистрировать такую ассоциацию инициативная группа столкнулась с рядом проблем, решить которые будет проще всего, если создавать ассоциацию без официальной регистрации. Сейчас этот вариант прорабатывается. В ближайшее время напишу подробнее.

Наверное, сразу возникнут вопросы: что за проблемы? Они достаточно принципиальны. Приведу один пример. Оказалось, что действующее законодательство РФ не позволяет для принятия важнейших решений использовать онлайновое голосование членов ассоциации (я писал об этом). Высший орган ассоциации - общее собрание членов - понимается в буквальном смысле, они должны физически присутствовать в одном месте и там голосовать. Мы (инициативная группа) рассчитывали на то, что в нашей ассоциации будет возможность дистанционного привлечения всех членов к принятию решений, которые находятся в компетенции общего собрания. Для такой большой страны как Россия мне лично это кажется единственным разумным вариантом в 21 веке. То есть общее собрание (в нашем понимании) должно быть виртуальным, что позволит участвовать в принятии решений всем без исключения членам ассоциации. В рамках действующего законодательства такой механизм для официально зарегистрированной организации использовать нельзя категорически.

Продолжение следует (даже не сомневайтесь!)

Развитие оценки программ и проектов в России

Сегодня обсуждали с коллегой развитие оценки программ и проектов в России. Если бы мне пришлось кратко охарактеризовать текущую ситуацию, я бы назвал следующее:

1. Оценка программ и проектов пока не воспринимается как особая область знания и профессиональная сфера деятельности. Подавляющее большинство людей, занятых разработкой и осуществлением программ и проектов, не представляет, насколько развита оценка программ и проектов за рубежом и слабо знакомо даже с ее основами и с базовыми публикациями, которые пока существуют лишь на иностранных языках (преимущественно - на английском). Предпринимаются первые систематические шаги по распространению информации об оценке программ на русском языке: статьи, книги, дайджесты, пособия, блоги, сайты.
2. Рынок оценки программ и проектов очень ограничен. Специализация в области оценки программ весьма проблематична. Число специалистов, владеющих методами оценки и имеющих практический опыт проведения оценки программ и проектов, относительно невелико и растет медленно. 
3. В стране формируется сообщество людей, занятых оценкой или интересующихся оценкой программ и проектов. 
4. Оценка программ и проектов в государственном секторе пока не является приоритетом. Основное внимание уделяется формированию систем оценки эффективности и результативности деятельности различных учреждений социальной сферы (образование, наука, культура, социальная помощь, здравоохранение).
5. Из трех видов оценки (экспертная, индикаторная, эмпирическая) в России принимаются во внимание преимущественно экспертная и индикаторная. Эмпирическая оценка программ в России используется преимущественно негосударственными организациями: благотворительными фондами, некоммерческими организациями, и бизнесом (для оценки социальных программ). 

Перечень как показатель

Опубликовано Постановление Правительства РФ №979 от 01.11.13 об оценке результативности деятельности научных организаций. В качестве приложения к указанному постановлению опубликованы показатели оценки упомянутой выше результативности. Таким образом, появилась еще одна сфера деятельности, где оценивание регламентировано официальным документом высокого уровня. Интересно, что в преамбуле к Постановлению (стр.3) делается акцент на разведении "мониторинга" и "оценки".
Под оценкой понимается вынесение один раз в пять лет суждения о результативности деятельности научной организации (это моя трактовка, четкого определения понятия "оценка" в документе я не нашел). По итогам оценки научная организация может быть отнесена к одной из 3-х категорий. Включение в 3 категорию - это очень плохая новость для организации,

Грузинская ассоциация оценки

Вчера удалось встретиться в Тбилиси с руководством и сотрудниками Грузинской ассоциации оценки (GEA - Georgian Evaluation Association). Оказалось, что в этом году ассоциации исполняется уже 5 лет! Это была первая в СНГ официально зарегистрированная профессиональная ассоциация в области оценки программ. Мне было очень интересно ознакомиться с направлениями текущей деятельности грузинского сообщества специалистов по оценке. Поскольку они сами не очень рекламируют свою деятельность, мне тоже неудобно о ней подробно писать. Но скажу, что я был впечатлён и размахом, и разнообразием направлений деятельности. Не думаю, что кто-либо еще у нас в регионе занимается, скажем, государственной политикой в области оценки программ или государственными стандартами в сфере оценки. Конечно, число членов грузинской ассоциации пока относительно невелико, но все еще придет. Главное, что в ассоциации работают люди, которые серьезно относятся к оценке. И, что особенно приятно, все стажеры и волонтеры GEA очень молоды и глаза у них горят :)
PS Кстати, у GEA отличный офис в очень хорошем месте.

Оценка замысла проекта - модель IMACON

Вышла в свет новая книга наших коллег из Беларуси Сергея Готина и Владислава Величко "Модель IMACON: оценка замысла проектов, мониторинг, организационное развитие" (скачивается бесплатно в формате PDF). Это одна из немногих известных мне публикаций, где очень подробно рассматриваются методика и инструментарий оценки замыслов проектов. Авторы описывают свою методику так: "Методология IMACON позволяет осуществить комплексную оценку проектного предложения, указать на узкие места концепции проекта и дать конкретные рекомендации по совершенствованию заявки еще до выделения финансирования. Она также дает возможность предвидеть угрозы, существующие для успешной реализации проекта, и предлагает инструмент визуального сравнения проектных предложений в процессе принятия решений об их поддержке".
Поздравляю Сергея и Владислава, а также всех нас с новой полезной публикацией на русском языке!

Вот полные библиографические данные этой книги:
Модель IMACON: оценка замысла проектов, мониторинг, организационное развитие /
С. В. Готин, В. В. Величко. – Вильнюс: UAB “Petro Ofsetas”, 2013 – 132 c.

Экспертиза vs Оценка на основе индикаторов

В 2011 гг. я предложил классификацию видов оценивания (применительно к оценке программ), включающую три категории:

1. Экспертную оценку
2. Оценку на основе индикаторов 
3. Эмпирическую оценку

Здесь можно об этом прочесть чуть подробнее. Надеюcь, что в конце этого года или в начале следующего выйдет наша с Д.Цыганковым статья в канадском журнале (Canadian Journal of Program Evaluation), где данная классификация будет представлена англоязычному профессиональному сообществу. Журнал, кстати рецензируемый :)
Специалисты по оценке программ, как правило, выделяют типы оценки и обсуждают соответствующую методологию в рамках парадигмы эмпирической оценки. Практика же показывает, что использование экспертизы и оценки на основе индикаторов не менее значимо. Более того, для выбора оптимального варианта оценивания зачастую необходимо принять во внимание все три возможных подхода. В этом и состоит практическая польза предложенной классификации.
В статье, на которую я ссылался вчера, академик Паршин говорит о преимуществах экспертизы по сравнению с оценкой на основе показателей при вынесении суждения об эффективности исследовательской деятельности. Вот выдержка из той статьи: "Конечно, ученые предлагают альтернативы количественным показателям. Паршин считает, что главным способом оценки должна стать экспертиза. Так, он обращает внимание: работа редколлегий, отбор докладчиков на конференции, отбор экспертов существовали в науке много лет, а они часто основаны на субъективных оценках. «Мой личный опыт участия во всех упомянутых видах оценочной деятельности говорит, что, как правило, она приводит к разумным результатам», — утверждает Паршин".

Оценка эффективности работы научных учреждений

Отличная статья в Газете.ру про оценку эффективности работы научных учреждений. Автор разобрался в вопросе и не ограничился ставшей традиционной критикой реформы РАН. Очень содержательная статья. Затрагивается в ней и тема методологии оценки на основе показателей. В частности, академик Паршин утверждает: «Как только вы начинаете оценивать какой-то содержательный процесс по формальному показателю, так довольно быстро целью процесса становится не та содержательная деятельность, которую вы оцениваете, а стремление любой ценой увеличить этот показатель». Кому из специалистов по оценке этот тезис не знаком?
Оценка - альфа дисциплина, однозначно! 

2015 станет Международным годом оценки

Международные даты и периоды ООН — специальные мероприятия и памятные даты, объявляемые Генеральной Ассамблеей с целью привлечения внимания к проблемам интернационального значения. Существуют международные десятилетия, годы, месяцы, дни. Например, текущий год является Международным годом водного сотрудничества, а 2014 год объявлен Международным годом кристаллографии. 

2015 год объявлен Международным годом оценки (International Year of Evaluation). Это решение поддержано ООН на самом высоком уровне. Генеральный секретарь ООН лично выступил по этому поводу и поддержал инициативу движения EvalPartners, объединяющего профессиональные организации в области оценки по всему миру. Международный год оценки объявлен для продвижения оценки на международном, региональном, национальном и местном уровнях. Уверен, что и в СНГ и в России 2015 год будет отмечен многими интересными событиями: конференциями, семинарами, публикациями и т.д. Эту уникальную возможность для развития нашей профессии необходимо использовать максимально эффективно! Подготовка уже началась.

Знать то, что сделали предшественники

В исследовательской работе исключительно важным является отслеживание и анализ уже существующего знания для того, чтобы (а) определить "белые пятна" и (б) связать вновь генерируемое знание с уже имеющимся. Проблема, с которой сталкивались все, кому нужно было ознакомиться с существующим интеллектуальным контекстом их исследовательской работы в социальных науках, заключается в том, что огромный массив знаний существует на иностранных языках. Была такая проблема и у меня. В свое время пришлось специально поехать в США, чтобы провести месяц в университетской библиотеке. Иначе просто невозможно было погрузиться в море информации по оценке программ.
Сейчас ситуация меняется, и исследователям становятся доступны новые каналы получения информации. Отмечу три, касающиеся оценки программ и не только:
1) Благодаря фантастическому проекту Google Books  миллионы книг и журналов можно теперь читать в онлайне бесплатно.
2) Бесплатный портал BetterEvaluation позволит сориентироваться в мире оценки и выйти на авторов и публикации, которые могут быть интересны исследователю.
3) За относительно небольшую плату (85 долларов США в год) можно вступить в Американскую ассоциацию оценки и получить доступ не только к последним выпускам American Journal of Evaluation и New Directions in Evaluation, но и (внимание!) к онлайновой базе, где есть все выпуски указанных изданий за все время их существования. База позволяет производить поиск по ключевым словам. А в каждой статье есть библиография...
Фактически сегодня любой человек, имеющий доступ к интернету, может провести серьезный анализ литературы по интересующей его проблеме. Если сложно читать по-английски, можно воспользоваться переводчиком Google. У нас нет больше оснований снижать "планку" из-за отсутствия доступа к зарубежным публикациям.

В Казахстане оценили программу "Болашак"

Программа "Болашак" была инициирована президентом Казахстана Нурсултаном Назарбаевым 5 ноября 1993 года для подготовки кадров в престижных иностранных высших учебных заведениях. За прошедшие 20 лет в программе приняли участие около 10 тысяч человек. 

Приятно отметить, что в Казахстане не только провели оценку такой заметной и значимой для страны программы, но и организовали специальную конференцию, на которой были представлены и обсуждены результаты этой оценки. К сожалению, в интернет-изданиях дается очень сжатая информация. Однако даже на основании этой информации можно сделать вывод о том, что казахстанские коллеги сделали еще один шаг на пути к доказательному менеджменту в государственном управлении. 

Я слышал раньше об этой программе и не раз встречал ее выпускников - весьма профессиональных людей, работающих на ответственных позициях в органах государственного управления. Но я не представлял масштабов этой программы. 10000 человек, обученных в хороших зарубежных вузах за 20 лет - это серьезно. Естественно, и оценка такой программы - задача не из простых. 

Мне понравилось, что критикам программы, использующим эмоциональные и не вполне корректные доводы типа "они (выпускники программы) изучали английский язык в пивбарах" противопоставляется весьма убедительная аргументация, основанная на результатах изучения карьеры выпускников, отзывах самих выпускников, их работодателей и экспертов. Тем самым дискуссия переводится из эмоционального в профессиональный план, что очень отрадно.

Если бы я участвовал в обсуждении результатов оценки, я, наверное, задал бы следующие вопросы: 

- В какой мере оправдались ожидания от программы? Получился ли тот эффект,  на который рассчитывали? 

- Каковы сильные и слабые стороны программы? 

- Каковы возможности совершенствования программы?

И есть один вопрос методологического свойства. Как пишут в интернете, "оценка проводилась институтом общественной политики при казахстанской партии власти "Нур Отан". Вопрос заключается в том, в какой мере использованная методология позволила получить непредвзятые результаты, отражающие реальное положение вещей. Упоминание "вредных, критически настроенных экспертов", которые привлекались для оценки программы, меня не вполне удовлетворило в этом плане. Было бы интересно узнать детали. Но это, если бы была такая возможность. 

А пока хочу еще раз поздравить казахстанских коллег с очередным успехом на пути практического внедрения оценки программ. Они это ДЕЛАЮТ, а не ГОВОРЯТ о необходимости оценки.