Компетенции специалиста по оценке: всё непросто

В середине 90-х годов канадские коллеги (Канадское общество оценки) начали работу по описанию компетенций специалиста по оценке. Вскоре после этого аналогичная работа была проведена американцами (Американская ассоциация оценки) и австралийцами (Австралийское общество оценки). Во всех трех случаях подходы по формированию перечня компетенций были идентичными ("снизу -  вверх"): коллеги просили опытных специалистов по оценке отрефлексировать свой опыт. На основании их ответов были подготовлены проекты документов, которые предлагались для обсуждения в профессиональном сообществе. По итогам этих обсуждений принимались окончательные версии. Таким образом, первые перечни компетенций формировались на основании многолетнего практического опыта проведения оценки в странах, где степень зрелости оценки как профессии была достаточно высокой. Можно предположить, что проведение подобной работы было признаком зрелости профессии в этих странах. В этой презентации есть информация о профессионализации оценки. 

В начале 2000-х было опубликовано уже около полутора десятков перечней компетенций. В 2016 году появились компетенции специалиста по оценки от Группы оценки ООН. В этой презентации есть несколько перечней компетенций, включая ооновский.   

Многие считают, что сущностных отличий между этими перечнями нет. Именно поэтому Американская ассоциация оценки выступила с инициативой договориться всем о некотором «ядре» компетенций, которое стало бы общим для всех стран и составило бы ориентировочно 60-80% от национальных перечней. Оставшиеся 20-40% могли бы быть специфичными для конкретной страны. Была даже сформирована международная рабочая группа для реализации этой идеи. Вроде бы, все логично: речь же идет об одной и той же профессии. Но не тут-то было…

И здесь перехожу к тому, что всё непросто 😊 (см. заголовок). Список сложностей, конечно, не исчерпывающий. 

• Договориться не удалось. Не буду вдаваться в подробности, но полагаю, что, степень зрелости оценки как профессии в мировом масштабе оказалась недостаточно высокой для достижения консенсуса даже по 60% компетенций. 
• Одна из сложностей связана с тем, что в зависимости от особенностей выбранной карьеры в оценке (практик, теоретик, преподаватель, менеджер – см. рисунок) перечни компетенций могут быть разными. В связи с этим возникают интересные вопросы, связанные с различными сочетаниями особенностей карьеры, например, «практик + преподаватель». Подробнее здесь можно посмотреть об этом.  
• Еще одна сложность связана с тем, что при наличии большого количества публикаций о компетенциях повышается вероятность принятия компетенций по принципу «сверху вниз» без обсуждения с профессиональным сообществом в той или иной стране. В принципе, такое возможно даже до появления такого сообщества в отдельно взятой стране.
• В заключение хотел бы сказать еще об одной сложности, о которой писал и говорил ранее (подробнее здесь). На мой взгляд, внешняя оценка является одним из видов консультирования, что предполагает включение навыков консультирования в перечень компетенций специалиста по оценке. Пока этого не происходит.

Про оценку организаций

Ближайшее заседание клуба PROОЦЕНКУ будет посвящено оцениванию организаций. Один из вопросов, которые планируется обсудить, относится к сфере компетенций. Нужны ли для оценки организаций какие-то особые компетенции, отличные от тех, которые требуются для оценки программ и проектов? На мой взгляд, нужны. Хотя бы потому, что человек, проводящий оценку, должен хорошо понимать, что собой представляет объект оценки: по каким законам он формируется, функционирует, развивается. Другими словами, для оценки проектов и программ надо хорошо разбираться в проектах и программах, а для оценки организаций, надо хорошо понимать организации. 

При этом... Тот, кто оценивает проекты, должен в какой-то мере понимать организации, поскольку они реализуют проекты и являются значимым для проектов контекстом. А тот, кто оценивает организации, должен иметь представление о проектах, поскольку эта форма деятельности повсеместно используется организациями.

Если принять во внимание, что методы, которые используются при оценке проектов, программ и организаций - одни и те же (анкетирование, наблюдение, интервью и т.д.), то нам точно будет, о чем поговорить на клубе :) 

Регистрация участников здесь. Заседание пройдет 10 марта онлайн с 11 до 12.30 мск.  

Компетенции специалиста по оценке: международная инициатива

В прошлом году наши канадские и американские коллеги предложили обсудить возможность достижения (частичного) консенсуса относительно компетенций специалиста по оценке. Дело в том, что работы в этом направлении до сих пор велись разными группами в разных странах, в частности, в Австралии, США, Канаде, Новой Зеландии. Европейское общество оценки и ООН опубликовали свои варианты. Для всех заинтересованных сторон очевидно, что для развития профессии было бы неплохо прийти к согласию относительно базовых компетенций (скажем, 60-70%), а для учета специфики добавлять особые компетенции (30-40%). В прошлом году на конференции Американской ассоциации оценки эту инициативу поддержали представители многих стран. В этом году уже прошла небольшая онлайн-конференция по этому вопросу. Думаю, нашей ассоциации обязательно надо участвовать в этой инициативе. Как только станут понятны дальнейшие шаги, надо будет сформировать рабочую группу. А пока будем поддерживать контакт с инициаторами.

Компетенции специалиста по оценке

Еще одна презентация - про компетенции специалиста по оценке.

Выступление на вебинаре под эгидой EvalYouth

20 января 2018 года по инициативе неформального международного объединения молодых специалистов по оценке EvalYouth состоялся вебинар на тему "Региональные особенности vs Мировые стандарты: путь к эффективной оценке". Я был одним из спикеров вместе с Татьяной Третьяковой из Кыргызстана и Ириной Кравчук из Украины. Сегодня организатор проведения вебинара Антонина Ришко-Порческу сообщила о том, что запись вебинара доступна на Youtube. Моё 15-минутное выступление - второе (после Татьяны Третьяковой), начинается на 32 минуте. Я говорил о скромности, о чувствительности и о сотрудничестве :)

Отчет об оценке программы сертификации специалистов по оценке

Канадцы первыми в мире разработали и внедрили в 2009 году систему сертификации специалистов по оценке. Это довольно трудоемкий процесс, занимающий не один месяц. За сертификацию нужно платить. В общем, все по-взрослому. 6-летний опыт программы сертификации специалистов по оценке в Канаде подробно проанализирован в отчете об оценке этой программы, который теперь доступен в онлайне (английский язык, 56 страниц без учета приложений).

В отчете много интересного.  В частности, оказалось, что далеко не все заказчики услуг по оценке в Канаде указывают сертификацию как обязательное или желательное требование к консультантам, которых они нанимают. Объясняют они это тем, что сертифицированных специалистов мало, и можно вообще не найти подходящего. Это создает своего рода замкнутый круг: сертифицированных специалистов мало, поэтому сертификацию клиенты не требуют, поэтому число сертифицированных специалистов не растет.

Авторы дают три рекомендации по совершенствованию программы:

1. Скорректировать существующее предложение с учетом потребностей заказчиков услуг по оценке.
2. Повысить прозрачность существующего процесса сертификации. 
3. Четко сформулировать, в чем состоит ценность сертификации для специалистов по оценке и потребителей их услуг.  

Компетенции специалиста по оценке: версия АЕА

AEA - это Американская ассоциация оценки (American Evaluation Association). Отдельные исследователи в США одними из первых в мире занялись изучением и описанием компетенций специалиста по оценке (см., например, публикации Jean King). Однако лишь в прошлом году была сформирована рабочая группа по компетенциям под эгидой АЕА. Около 15% членов АЕА представляют другие страны либо живут и работают в других странах. Поэтому рабочая группа запланировала 25 групповых обсуждений (в скайпе), чтобы учесть мнение тех, кто находится за пределами США. На днях я принимал участие в одном из таких обсуждений и, соответственно, познакомился с проектом документа, над которым идет работа. Пока компетенции специалиста по оценке (коллеги ориентируются на тех, кто оценивает программы) разделены на 5 групп:

- базовые или основополагающие компетенции, 

- компетенции в сфере методологии оценки, 

- компетенции, относящиеся к работе с контекстом оценки, 

- компетенции в сфере менеджмента,

- межличностные компетенции. 

В рамках каждой группы кратко перечисляются характеристики "компетентного специалиста по оценке" (competent evaluator). Документ компактный, занимает меньше двух страниц. 

По всей вероятности, к концу года он примет более-менее окончательный вид, и мы сможем ознакомиться с ним. 

Хороший консультант и плохой консультант

Оценка программ является одним из видов консультирования. Естественно, что навыки консультирования логично считать одной из компетенций специалиста по оценке. Литературы по консультированию - море. Большинство авторов так или иначе стараются объяснить отличия хорошего консультанта от плохого. На картинке приводится версия одного из очень известных экспертов Дэвида Майстера (тут его личный сайт). Цитируется по книге Васильев Г.А., Деева Е.М., Управленческое консультирование: Учебное пособие для студентов вузов, обучающихся по специальности 061100 (Менеджмент организации), М., «ЮНИТИ-ДАНА», 2004 г. 

Навыки фасилитации как одна из компетенций специалиста по оценке программ

Сегодня в Москве проходит пятая конференция фасилитаторов, а в начале октября (с 1 по 5) в пансионате "Клязьма" под Москвой планируется проведение конференции Международной ассоциации фасилитаторов (IAF). В данном случае под фасилитацией (facilitation) понимается недирективное управление групповыми обсуждениями. Соответственно, фасилитатор - это человек, который владеет техниками организации и проведения групповых обсуждений. При проведении оценки программ такие навыки могут очень даже пригодиться, скажем, при проведении групповых интервью или при проведении групповых обсуждений внутри команды консультантов. Если же вы используете подходы, которые относятся к т.н. "оценке с участием" (participatory evaluation) или "оценке в сотрудничестве" (collaborative evaluation), то навыки фасилитации являются попросту необходимыми. Об этом пишут и канадские коллеги, которые впервые в мире стали проводить сертификацию специалистов по оценке, и Патриция Роджерс из Австралии, и Джин Кинг из США в своей новой книге "Интерактивная практика оценки". Сегодня в интернете можно найти много книг и статей по фасилитации. Вот публикация, которую рекомендует П.Роджерс: Creative Facilitation.  (14,5 MB, PDF).
Кстати, при кажущейся простоте инструментов и легкости, с которой работают квалифицированные фасилитаторы, все далеко не так просто...

Специальный выпуск Канадского журнала по оценке программ

Те, кто интересуется компетенциями специалистов в области оценки, могут найти полезным специальный выпуск Канадского журнала по оценке программ, целиком посвященный этой теме. Полагаю, это самая свежая и самая полная информация о состоянии дел в этой области. Статьи написаны авторами из разных стран (Канада, Новая Зеландия, Россия, ЮАР, США). Мы с Даниилом Цыганковым про российский опыт написали. Все статьи можно почитать и скачать бесплатно. 

Презентация о компетенциях специалистов по оценке программ

На сайте Международной сети "Оценка программ" сегодня была размещена моя презентация на тему "Профессиональные компетенции специалистов по оценке программ". В ней развиваются некоторые идеи, о которых я писал ранее в этом блоге.  

Теоретик, практик или организатор?

На мой взгляд, люди, которые сделали карьеру в сфере оценки программ и стали настоящими профессионалами, делятся на три категории: теоретики, практики и организаторы. Все они делают важные вклады в развитие оценки как профессии, но вклады эти разные.
Теоретики - это те, кто специализируется в сфере развития знания об оценке. Они чаще всего работают в университетах или при университетах и занимаются исследовательской деятельностью.

Профессиональные компетенции специалиста по оценке программ

Как известно, компетенции — это знания, умения, навыки, модели поведения и личностные характеристики, позволяющие эффективно выполнять определенную деятельность (достигать результатов). Подробнее о "компетенциях" можно почитать, например, здесь. Приведенное выше определение взято именно из этой статьи О.Светлышевой. Важной особенностью этого определения является акцент на эффективном выполнении деятельности, а не только на наличии совокупности знаний, умений и навыков.

Почему важно иметь четко сформулированные компетенции для специалиста по оценке программ? Приведу несколько причин: