К сожалению, точка зрения специалистов по оценке не может быть принята во внимание

Время от времени получаю письма с просьбой принять участие в анкетировании, связанном с оценкой. Считаю для себя участие в таких мероприятиях обязательным, т.к. иначе знание об оценке развивать будет невозможно.

Только что получил очередное приглашение. Теперь от исследователей из Цюриха (ZHAW School of Management and Law, Zurich University of Applied Sciences). В преамбуле поясняется, что мне написали как члену Американской ассоциации оценки. Тема исследования - независимость оценки. Тема меня интересует, и мне есть что сказать по этому поводу. 

Начал отвечать. 

Первый вопрос: в какой роли Вы участвуете в оценке - как клиент или  как оценщик? 

Отметил, что как оценщик и приготовился отвечать дальше. 

А дальше такое сообщение: "К сожалению, точка зрения оценщиков или сотрудников оценочных служб не может быть принята во внимание в этом опросе".

Ну да, что с нами-то обсуждать независимость оценки? 

И далее: "Поскольку любое дополнительное участие в опросе важно, мы будем благодарны, если вы передадите следующую ссылку на опрос другим клиентам оценки в вашей сети..."

Ну а вот это вряд ли.

И, наконец, "Большое спасибо за Вашу поддержку!" )))))))))))))))))))))) 

Занавес.

PS Понимаю всё про дизайн исследования и критерии отбора респондентов. Наверное, им так надо. Но уж очень неожиданно и как-то нелепо вышло :) Предполагаю, что большинство членов Американской ассоциации тоже чаще бывают в роли оценщиков, а не клиентов. Так что многие так же отреагируют... 

Донна Подемс "Путь оценщика: практическое руководство"

В 2000 году конференция Американской ассоциации оценки проходила в городе Гонолулу на Гавайях. Там я обратил внимание на молодую женщину, которая задавала очень хорошие вопросы. Например, она спрашивала, почему в жизни мониторинг-и-оценка как бы неразделимы (даже аббревиатура устоявшаяся есть в английском - M&E от monitoring-and-evaluation), а на конференции говорят только об оценке. Это была Донна Подемс (Donna Podems) - американка, которая последние 20 лет живет в ЮАР. 

Мы с Донной в профессии двигались параллельными курсами и, соответственно, многое обсуждали: 

• она занималась практическим проведением оценки программ и проектов;
• она создала консалтинговую компанию, специализирующуюся в сфере оценки; 
• она получила степень доктора философии (PhD) со специализацией в сфере организационного развития и оценки (её научным руководителем был Майкл Пэттон); 
• она стала преподавать оценку в университете;
• она активно участвовала в создании и развитии национальной ассоциации оценки в ЮАР, а также в жизни Американской ассоциации оценки.

Думаю, не ошибусь, если скажу, что сегодня - спустя без малого 20 лет с момента нашего знакомства - Донна входит в число ведущих специалистов в нашей профессии в мире. Она написала несколько книжек; по поручению Американской ассоциации координировала разработку перечня профессиональных компетенций специалиста по оценке для США; преподаёт оценку в университете Йоханнесбурга (ЮАР) и в университете Мичигана (США). 

В прошлом году вышла новая книга Донны Подемс, название которой можно перевести так: "Путь оценщика. Ваше практическое руководство в сфере оценки". Читаю и узнаю Донну :) Например, в разделе, где подробно обсуждается разница между мониторингом и оценкой, она даёт примерно такую практическую рекомендацию: "Если вас попросят организовать 'мониторинг-и-оценку', обязательно попросите пояснить, что именно люди имеют в виду и желательно с примерами. Если они сами не смогут объяснить, то предложите им своё видение (тоже лучше с примерами) и спросите, устроит ли их такой вариант". 

С большим удовольствием рекомендую читателям моего блога Донну Подемс и её новую книгу!

Методика анализа и оценки магистерских программ от ТГУ

В Томском государственном университете при поддержке Фонда Потанина реализован проект "Разработка методики анализа и оценки магистерских программ". Результат проекта - коллективная монография под ред. Е.А.Сухановой, размещенная в открытом доступе на сайте ТГУ.

В монографии обсуждаются существующие подходы к анализу и оценке качества магистерских программ; обосновывается модель оценки эффективности, положенная в основу новой методики; описывается процесс формирования и апробации методики; даются рекомендации по ее использованию. Для интересующихся деталями приводится матрица критериев и показателей методики анализа эффективности магистерских программ.

Авторы предлагают рассматривать методику как "инструмент "второго уровня" в процессе управления развитием программы. Это не инструмент для мониторинга качества. Мы исходим из того, что у реализуемых магистерских программ постулированы образовательные результаты и они достигаемы. А вот насколько эти результаты востребованы рынками, капитализированы выпускниками, отражаются в продуктах магистратуры (исследованиях, стартапах, сетях и т.д.) – это задача анализа эффективности".

Методику рекомендуется применять после первого полного цикла реализации программы и далее ежегодно.

Методика позволяет "оценить эффективность образовательной программы по трем категориям: удовлетворенность, результативность, актуальность.
1. Удовлетворенность – субъективная качественная оценка выпускниками содержания, технологий, результатов образовательной программы и ее влияния на карьерный рост.
2. Результативность – объективная и субъективная качественная и количественная оценка влияния образовательной программы на образовательные результаты, социальную и карьерную траекторию выпускников. Респондентами являются выпускники и работодатели, используются также статистические показатели.
3. Актуальность – объективная и прогностическая качественная оценка работодателями и экспертными группами субъектов социально-экономического и технологического развития целевых установок и образовательных продуктов программы глобальной, национальной и региональной повестке".

Публикация, вне всякого сомнения, весьма актуальная и может представлять интерес не только для тех, кто занимается оценкой в сфере образования.

PS Мне показалось, что с текстом монографии следовало бы еще поработать и редактору, и корректору: не всегда с первого раза удается понять, о чем речь (см., к примеру, описание оценки актуальности в приведенной выше цитате), и довольно много опечаток, что досадно.  

Оценка программ: методика, метод, методология

Начну с цитаты из статьи Афанасьева М.П. и Шаш Н.Н. "ИНСТРУМЕНТАРИЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ БЮДЖЕТНЫХ ПРОГРАММ":

"В современных условиях в связи с переходом на программно-целевое бюджетирование необычайную актуальность приобретает проблема качественного улучшения различных видов бюджетных программ, реализуемых в Российской Федерации. Всегда ли программные мероприятия достигают своих целей? какие результаты мы получаем? как нам следует усовершенствовать программные документы? Получить достоверный ответ на эти вопросы можно лишь при условии использования эффективного инструментария оценки, что требует разработки и внедрения оценочных методов и процедур, позволяющих наиболее адекватно измерить результаты в ходе реализации программ.

Несмотря на стратегическую важность данной проблемы, и по сей день ни в российской, ни в зарубежной практике не создано единой методики, позволяющей построить систему оценки эффективности реализуемых бюджетных программ разного уровня (курсив мой - АК)".

Надо отметить, что тема необходимости разработки единой методики возникает очень часто, как только речь заходит об оценке чего-либо, например, 

• об оценке эффективности деятельности органов местного самоуправления,
• об оценке эффективности использования средств господдержки,
• об оценке эффективности налоговых льгот.

Список можно было бы легко продолжить. Чем же так привлекательна идея "единой методики оценки"? Когда объекты оценки однотипны; вопрос, на который призвана ответить оценка, один и тот же, а результаты оценки разных объектов необходимо сравнивать либо между собой, либо с какими-то нормативами или стандартами, единый алгоритм оценки (или единая методика) совершенно необходим. Словарь определяет методику как "установленный способ осуществления деятельности; готовый «рецепт», алгоритм, процедуру для проведения каких-либо нацеленных действий".  

Использование результатов оценки: есть ли шанс что-то улучшить? (видео)

В марте прошлого года меня пригласили выступить на конференции, которая проводится раз в два года для специалистов по оценке Международной организации труда. Получилось так, что моё выступление услышал Гийом Мерсье (Guillaume Mercier), старший менеджер программ Международного тренингового центра Международной организации труда (ITC ILO). Гийом предложил сделать короткую онлайновую версию этого выступления. Все, что потребовалось от меня, - это скомпоновать 20-минутную презентацию (вместо 1,5 часов) и рассказать на камеру. Остальную работу сделал Гийом, за что ему огромное спасибо!!! Содержание, конечно, можно обсуждать и критиковать, но видео получилось красоты неземной, тут двух мнений быть не может :)  Приглашаю всех желающих посмотреть (англ.язык).

Сообщение на русском языке на ту же тему было представлено на последней конференции АСОПП. Видео нет, но презентацию можно посмотреть и скачать.

Допущения

Сегодня в новостных лентах прошла информация о том, что спикер Совета Федерации Валентина Матвиенко предлагает оценивать решения, принимаемые правительством страны и депутатами, на основании того, как они влияют на уровень счастья россиян. В пример она привела Объединенные Арабские Эмираты, где было создано министерство счастья и благосостояния. «Любое решение, которое готовит правительство, проходит экспертизу этого министерства на предмет того, будет ли лучше людям от этого, будут ли они более счастливы», — отметила Матвиенко на встрече с женщинами — участницами конкурса «Лидеры России», ее слова приводит «Интерфакс». По мнению спикера Совета Федерации, в России было бы полезно внедрить экспертизу, которая бы показывала, как каждое действие чиновников и депутатов скажется на счастье людей.

Если мысль Валентины Ивановны изложена без искажений, то она основана на двух допущениях: 

1) Любое решение чиновников или депутатов влияет на счастье людей.

2) Все решения, которые принимают чиновники или депутаты, должны делать людей более счастливыми. 

Мне кажется, что оба допущения - спорные.

Зачем СП РФ нужны специалисты по оценке

На днях в новостях АСОПП было размещено объявление о вакансии "Аналитик (оценка проектов)". Нужен такой специалист Счетной палате РФ. Вероятно, все это происходит в рамках реализации стратегии СП РФ, опубликованной в августе прошлого года. Здесь можно о стратегии прочесть.

Счетная палата занимается аудитом. Аудит и оценка - смежные области. Наверное, ближе всего к оценке т.н. "стратегический аудит". Вот его определение в версии СП РФ:

"Стратегический аудит – составная часть аудита, осуществляющая проверку основных стратегических решений и стратегии развития организации. Стратегический аудит базируется на данных финансового, налогового и управленческого аудита, ориентирован на долгосрочную перспективу и учитывает влияние внешних факторов макросреды.

Счетная палата Российской Федерации использует в своей деятельности принципы системного аудита, включающего в себя три компонента:

– финансовый аудит как оценка законности произведенных расходов.

– аудит эффективности как оценка целесообразности и продуктивности расходования ресурсов.

– стратегический аудит как экспертиза достижения национальных целей, поставленных руководством страны.

При проведении стратегического аудита аудитор оценивает результаты проведенного в организации стратегического анализа, осуществленный стратегический выбор и реализацию стратегии, а также контроль за ее реализацией. При этом нефинансовые, качественные показатели становятся доминирующими, особенно на уровнях аудита эффективности и стратегического аудита. Это требует разработки соответствующих методов и подходов при проведении аудита.

Стратегический аудит выявляет степень связи социальной политики со спецификой организации и внешними условиями. Каждая из частей стратегического аудита базируется на соответствующей области стратегического учета и стратегического анализа, все это сливается в совокупности в учетно-аналитическое обеспечение принятия стратегических решений, которые в сочетании со стратегией развития организации подлежат стратегическому аудиту."

Еще один вид аудита, который еще ближе к оценке - это т.н. performance audit. Иногда этот термин переводят как "аудит эффективности". На мой взгляд, не очень удачный перевод. Но главное - суть. Вот определение этого вида аудита: 

"Performance audit является независимой проверкой программы, функции, операции или систем и процедур управления правительственной или некоммерческой организации для оценки того, достигает ли организация экономии, эффективности и результативности в использовании имеющихся ресурсов"

Степень участия

Речь пойдет об оценке с участием детей. Тема в последнее время много обсуждается на разных уровнях. Я тоже считаю её важной.

Начнем с того, что при оценке инициатив, ориентированных на детей, важно рассматривать детей как источник информации. Как ни парадоксально, это происходит не всегда. Причины - самые разные. Например, с детьми не всегда работают традиционные методики - надо что-то изобретать. В частности, если дети маленькие или особые. Другая причина - уверенность в том, что взрослым виднее, на то они и взрослые. 

Но использование детей лишь в качестве источника информации - это минимальный вариант их включения в оценку. На самом деле, можно организовать процесс оценки таким образом, что дети будут полноценно участвовать в нем (естественно, в меру своих сил) от начала и до конца, т.е. от постановки задачи до представления результатов. В этом случае работа взрослых - обучение, фасилитация, наставничество.  

Таким образом, степень участия детей в процессе оценки можно изобразить в виде шкалы, на левом полюсе которой дети как источник информации, а на правом - дети как полноценные исполнители оценки. При этом роль взрослого меняется от специалиста, ответственного за проведение оценки (левый полюс) до фасилитатора или наставника (правый полюс). И, естественно, появляется бесконечное множество вариантов участия детей, находящееся между этими полюсами. То же самое можно сказать и о роли взрослого.

Мониторинг достижения национальных целей

Счетная палата Российской Федерации разместила на своем сайте информацию о ключевых показателях национальных проектов; а также о показателях, на основе которых измеряется достижение национальной цели. В разделе "Мониторинг достижения национальных целей" есть данные по значениям показателей по состоянию на конец 2017 года и на данный момент. Все данные можно выгрузить в формате Excel. Там больше информации, чем видно на сайте, в частности, имеются значения показателей за 2015 и 2016 гг. 

Обновленный сайт АСОПП

Возможно, пока не все заметили, что сайт АСОПП теперь выглядит по-новому. Мне очень нравятся и новый дизайн (выполнен профессионально с учетом фирменного стиля ассоциации), и новый функционал сайта (не всё заметно пользователям, но там появились важные новые функции). Библиотека теперь полностью открыта для всех интересующихся (не обязательно членов АСОПП) и там намного больше материалов, чем раньше. Создана онлайновая система подачи заявок на выступления на конференции, которой можно будет воспользоваться уже в этом году.

Реконструкция сайта АСОПП стала возможной благодаря гранту Комитета общественных связей (КОС) города Москвы, за что ему огромное спасибо. 

Это была большая работа, которую координировала член Правления АСОПП Елена Журавлева. Я знаю, сколько сил и времени Елена потратила на этот проект и хотел бы выразить ей особую признательность. Естественно, отдельно надо поблагодарить дизайнера Екатерину Лангваген и программиста Елену Дёмину, которые выполнили свои задачи профессионально в установленные сроки и с душой. 

Хотел бы поздравить Правление АСОПП, которое инициировало реконструкцию сайта; всех, кто был причастен к этой работе, но кого я не упомянул выше; а также всех членов нашей ассоциации с новым сайтом!