понедельник, 11 марта 2019 г.

Использование результатов оценки: есть ли шанс что-то улучшить? (видео)


В марте прошлого года меня пригласили выступить на конференции, которая проводится раз в два года для специалистов по оценке Международной организации труда. Получилось так, что моё выступление услышал Гийом Мерсье (Guillaume Mercier), старший менеджер программ Международного тренингового центра Международной организации труда (ITC ILO). Гийом предложил сделать короткую онлайновую версию этого выступления. Все, что потребовалось от меня, - это скомпоновать 20-минутную презентацию (вместо 1,5 часов) и рассказать на камеру. Остальную работу сделал Гийом, за что ему огромное спасибо!!! Содержание, конечно, можно обсуждать и критиковать, но видео получилось красоты неземной, тут двух мнений быть не может :)  Приглашаю всех желающих посмотреть (англ.язык).
Сообщение на русском языке на ту же тему было представлено на последней конференции АСОПП. Видео нет, но презентацию можно посмотреть и скачать.

среда, 6 марта 2019 г.

Допущения

Сегодня в новостных лентах прошла информация о том, что спикер Совета Федерации Валентина Матвиенко предлагает оценивать решения, принимаемые правительством страны и депутатами, на основании того, как они влияют на уровень счастья россиян. В пример она привела Объединенные Арабские Эмираты, где было создано министерство счастья и благосостояния. «Любое решение, которое готовит правительство, проходит экспертизу этого министерства на предмет того, будет ли лучше людям от этого, будут ли они более счастливы», — отметила Матвиенко на встрече с женщинами — участницами конкурса «Лидеры России», ее слова приводит «Интерфакс». По мнению спикера Совета Федерации, в России было бы полезно внедрить экспертизу, которая бы показывала, как каждое действие чиновников и депутатов скажется на счастье людей.

Если мысль Валентины Ивановны изложена без искажений, то она основана на двух допущениях: 
1) Любое решение чиновников или депутатов влияет на счастье людей.
2) Все решения, которые принимают чиновники или депутаты, должны делать людей более счастливыми. 

Мне кажется, что оба допущения - спорные.

среда, 27 февраля 2019 г.

Зачем СП РФ нужны специалисты по оценке

На днях в новостях АСОПП было размещено объявление о вакансии "Аналитик (оценка проектов)". Нужен такой специалист Счетной палате РФ. Вероятно, все это происходит в рамках реализации стратегии СП РФ, опубликованной в августе прошлого года. Здесь можно о стратегии прочесть.
Счетная палата занимается аудитом. Аудит и оценка - смежные области. Наверное, ближе всего к оценке т.н. "стратегический аудит". Вот его определение в версии СП РФ:
"Стратегический аудит – составная часть аудита, осуществляющая проверку основных стратегических решений и стратегии развития организации. Стратегический аудит базируется на данных финансового, налогового и управленческого аудита, ориентирован на долгосрочную перспективу и учитывает влияние внешних факторов макросреды.

Счетная палата Российской Федерации использует в своей деятельности принципы системного аудита, включающего в себя три компонента:
– финансовый аудит как оценка законности произведенных расходов.
– аудит эффективности как оценка целесообразности и продуктивности расходования ресурсов.
– стратегический аудит как экспертиза достижения национальных целей, поставленных руководством страны.
При проведении стратегического аудита аудитор оценивает результаты проведенного в организации стратегического анализа, осуществленный стратегический выбор и реализацию стратегии, а также контроль за ее реализацией. При этом нефинансовые, качественные показатели становятся доминирующими, особенно на уровнях аудита эффективности и стратегического аудита. Это требует разработки соответствующих методов и подходов при проведении аудита.
Стратегический аудит выявляет степень связи социальной политики со спецификой организации и внешними условиями. Каждая из частей стратегического аудита базируется на соответствующей области стратегического учета и стратегического анализа, все это сливается в совокупности в учетно-аналитическое обеспечение принятия стратегических решений, которые в сочетании со стратегией развития организации подлежат стратегическому аудиту."
Еще один вид аудита, который еще ближе к оценке - это т.н. performance audit. Иногда этот термин переводят как "аудит эффективности". На мой взгляд, не очень удачный перевод. Но главное - суть. Вот определение этого вида аудита
"Performance audit является независимой проверкой программы, функции, операции или систем и процедур управления правительственной или некоммерческой организации для оценки того, достигает ли организация экономии, эффективности и результативности в использовании имеющихся ресурсов"

четверг, 21 февраля 2019 г.

Степень участия

Речь пойдет об оценке с участием детей. Тема в последнее время много обсуждается на разных уровнях. Я тоже считаю её важной.
Начнем с того, что при оценке инициатив, ориентированных на детей, важно рассматривать детей как источник информации. Как ни парадоксально, это происходит не всегда. Причины - самые разные. Например, с детьми не всегда работают традиционные методики - надо что-то изобретать. В частности, если дети маленькие или особые. Другая причина - уверенность в том, что взрослым виднее, на то они и взрослые. 
Но использование детей лишь в качестве источника информации - это минимальный вариант их включения в оценку. На самом деле, можно организовать процесс оценки таким образом, что дети будут полноценно участвовать в нем (естественно, в меру своих сил) от начала и до конца, т.е. от постановки задачи до представления результатов. В этом случае работа взрослых - обучение, фасилитация, наставничество.  
Таким образом, степень участия детей в процессе оценки можно изобразить в виде шкалы, на левом полюсе которой дети как источник информации, а на правом - дети как полноценные исполнители оценки. При этом роль взрослого меняется от специалиста, ответственного за проведение оценки (левый полюс) до фасилитатора или наставника (правый полюс). И, естественно, появляется бесконечное множество вариантов участия детей, находящееся между этими полюсами. То же самое можно сказать и о роли взрослого.

среда, 13 февраля 2019 г.

Мониторинг достижения национальных целей

Счетная палата Российской Федерации разместила на своем сайте информацию о ключевых показателях национальных проектов; а также о показателях, на основе которых измеряется достижение национальной цели. В разделе "Мониторинг достижения национальных целей" есть данные по значениям показателей по состоянию на конец 2017 года и на данный момент. Все данные можно выгрузить в формате Excel. Там больше информации, чем видно на сайте, в частности, имеются значения показателей за 2015 и 2016 гг. 

среда, 6 февраля 2019 г.

Обновленный сайт АСОПП

Возможно, пока не все заметили, что сайт АСОПП теперь выглядит по-новому. Мне очень нравятся и новый дизайн (выполнен профессионально с учетом фирменного стиля ассоциации), и новый функционал сайта (не всё заметно пользователям, но там появились важные новые функции). Библиотека теперь полностью открыта для всех интересующихся (не обязательно членов АСОПП) и там намного больше материалов, чем раньше. Создана онлайновая система подачи заявок на выступления на конференции, которой можно будет воспользоваться уже в этом году.
Реконструкция сайта АСОПП стала возможной благодаря гранту Комитета общественных связей (КОС) города Москвы, за что ему огромное спасибо. 
Это была большая работа, которую координировала член Правления АСОПП Елена Журавлева. Я знаю, сколько сил и времени Елена потратила на этот проект и хотел бы выразить ей особую признательность. Естественно, отдельно надо поблагодарить дизайнера Екатерину Лангваген и программиста Елену Дёмину, которые выполнили свои задачи профессионально в установленные сроки и с душой. 
Хотел бы поздравить Правление АСОПП, которое инициировало реконструкцию сайта; всех, кто был причастен к этой работе, но кого я не упомянул выше; а также всех членов нашей ассоциации с новым сайтом! 

четверг, 31 января 2019 г.

Наставничество в сфере оценки

Международная инициатива EvalYouth запускает программу наставничества (по-английски наставник - mentor). Мне предложили принять участие в качестве наставника. Для начала нагрузка будет небольшая - 4 онлайновых либо личных встречи продолжительностью 1 час каждая.

Коллеги из EvalYouth разработали программу, которая "состоит из теоретической части (три модуля с базовой информацией о принципах оценивания, сферах, организациях в оценивании и т д,  видео и литературой для учеников, а также с перечнем предлагаемых тем для обсуждение с ментором), а также практической частью, когда ученик и ментор могут обсудить практические аспекты проведения оценки, которые их интересуют" (цитирую из письма, которое мне прислали). 

Мне понравилось, что процесс взаимодействия с наставником определенным образом (мягко) регламентирован. Например, на первой встрече рекомендуется выполнить следующие задания: 
  • Познакомиться и обменяться контактной информацией;
  • Обсудить, почему вы решили работать в сфере мониторинга и оценки;
  • Обсудить ожидания ментора и ученика от участия в программе и любые потенциальные проблемы или вопросы, которые могут у вас возникнуть;
  • Договориться о методах совместной работы и общения (какой платформой Вам наиболее удобно пользоваться: скайп, месенджер, вотсапп, вайбер и др.)
  • Обсудить результаты самооценки компетенций ученика как специалиста по оценке; определить области профессионального и личностного развития ученика и определить, какую поддержку может оказать ему ментор  в этом процессе;
  • Обсудить ожидание ментора от участия в программе: чем ученик может быть полезным для профессионального развития ментора.
В конце встречи обоим участникам предлагается заполнить небольшую анкету.
То есть инициаторы программы фасилитируют и мониторят процесс.

Мы некоторое время тому назад занимались вопросами оценки программ наставничества, поэтому с организацией таких программ тоже познакомились. Будет очень интересно попробовать, как это может работать на практике.