Счетная палата РФ опубликовала основные направления деятельности на 2019 – 2021

На сайте СП РФ подробно изложены основные направления деятельности на 3 года. "Главный фокус деятельности Счетной палаты — стратегический аудит, предполагающий мониторинг реализации и оценку достижения национальных целей майского Указа Президента. Кроме того, стратегический аудит позволит определить достаточность ранее утвержденных Правительством проектов и программ. По результатам стратегического аудита ведомство будет представлять свои рекомендации по дальнейшей работе."

Счетная палата планирует внедрить "практику предоставления рекомендаций, которые должны нивелировать и даже полностью искоренить выявленные проблемы". Это анонсируется как инновация. Таким образом, если раньше главной задачей было проблемы выявить (и здесь миссия СП РФ заканчивалась), то сейчас фокус будет на том, как эти проблемы решить. Задача, конечно, много сложнее. Тем более, что рекомендации должны быть хорошо обоснованы. "Это повышает нашу ответственность, потому что каждую нашу фразу, рекомендацию нужно будет защищать", - говорит председатель СП РФ А.Кудрин. 

"Тирания показателей". Книга Джерри Мюллера переведена и уже в продаже.

Книга действительно необычная, поскольку автор подробно рассматривает негативные эффекты чрезмерного увлечения показателями. Вот перечень типичных ошибок, возникающих в результате, по мнению автора (особо отмечу, что речь, конечно же, идет о США): 

• Измерение того, что легче всего измерить. То, что легче всего измерить, редко бывает самым важным.
• Измерение простого, когда желаемый результат сложен. Фокусирование на измерении результатов, связанных только с одной целью, часто вводит в заблуждение.
• Измерение вклада, а не результатов. Измеряем объем использованных ресурсов, а не полученные результаты. 
• Снижение качества информации из-за стандартизации. Информация становится более достоверной и определенной, чем на самом деле.
• Снятие сливок. К примеру, исполнители отдают предпочтение клиентам с менее сложными проблемами. Вероятность успешного решения проблемы в этом случае возрастает. 
• Улучшение показателей за счет снижения стандартов. Снижение стандартов - один из способов улучшения результатов.
• Улучшение показателей путем исключения или искажения данных. Например, полиция может "снижать" уровень преступности, переквалифицируя тяжкие преступления в мелкие правонарушения.
• Подтасовка. Частота этого явления растет в прямой зависимости от значимости показателей. Например, в ответ на закон, повысивший значимость результатов тестирования знаний учащихся, учителя и директора школ во многих городах стали изменять ответы учащихся на тесты.

Действительно ли имеет место положительный результат?

На официальном сайте губернатора и правительства Ульяновской области опубликована информация об итогах реализации Программы развития правовой грамотности и правосознания граждан в 2018 году. Документ содержит подробное освещение мероприятий Программы и выводы о её эффективности. Считаю, что сам факт проведения такой работы заслуживает уважения! Однако анализ данной публикации показывает, что методику проведения оценки программы можно и нужно усовершенствовать.

В документе говорится, что "оценка эффективности Программы проводится по итогам каждого года её реализации. Положительным результатом реализации Программы считается достижение плановых значений показателей её результативности, утверждённых указом Губернатора Ульяновской области от 18.06.2018 № 56, или превышение фактических значений показателей результативности Программы над их плановыми значениями."

Таким образом, коллеги используют индикаторную оценку. Важнейший принцип индикаторной оценки: показатели разрабатываются после разработки модели программы и "привязываются" к элементам этой модели. В рассматриваемом документе модель программы не фигурирует. В нем проводится развернутый анализ проведенных мероприятий, из которого следует, что программа была весьма масштабной и что все, что планировали сделать, было выполнено. 

Программный подход предполагает достижение определенного заранее известного результата. Модель программы должна была бы обосновать связь мероприятий (что делаем) с результатом (к чему это приводит). Соответственно, в программе должны быть показатели, связанные с деятельностью в рамках программы (мероприятиями) и с результатом программы. 

По названию программы можно предположить, что главным результатом программы должно было стать повышение правовой грамотности и правосознания граждан.

Теперь обратимся к выводам, которые сделаны по итогам реализации программы.

"Вывод по итогам оценки эффективности реализации Программы. Реализация Программы в 2018 году имеет положительный результат, так как в ходе её реализации из 7 показателей результативности:

• 4 показателя превысили плановые значения;
• 2 показателя достигли планового значения.
• 1 показатель не достиг планового значения."

При ближайшем рассмотрении оказывается, что показатели, целевые значения которых достигнуты или превышены, не относятся к конечному результату программы, а характеризуют успешность реализации мероприятий (число участников, число посещений сайта, число публикаций и т.п.). 

Единственный показатель, целевое значение которого не достигнуто, как раз относится к цели программы: "Доля правильных ответов в общем количестве ответов граждан на вопросы, содержащиеся во Всероссийском (правовом) юридическом диктанте". 

Таким образом, итоги программы выглядят так: сделали все, что запланировали (и даже больше), но запланированного результата не достигли. 

Мне кажется, главный вопрос, который здесь возникает: почему так получилось? Без ответа на него рискованно продолжать программу в том же духе, ведь она не срабатывает так, как было задумано. Тут возникает необходимость в проведении эмпирической оценки. Индикаторы не помогут...

Убедительность обоснований

Любопытная заметка Адриана Брауна (Adrian Brown) относительно убедительности обоснований эффективности (или неэффективности) программ.

Многие знают о том, что в США была программа , в рамках которой подростков группы риска (та категория детей, которых у нас ставят на учет в КДН) организованно возили на экскурсию в тюрьму. Замысел был такой: увидят, куда они могут попасть, и одумаются. Важной составляющей экскурсии (фактором воздействия) были оскорбления посетителей заключенными. В общем, можно сказать, что подростков пытались серьёзно напугать. Собственно, программа так и называлась Scared Straight. Знающие английский язык могут посмотреть видео.

В 2012 году был проведен систематический анализ 7 разных исследований данной программы, который показал, что программа не работает так, как было задумано. Напротив, она провоцирует правонарушения со стороны подростков, которые в ней участвовали. С тех пор в США и во многих других странах программа получила "черную метку" от апологетов доказательного подхода как "технология с доказанной неэффективностью". 

Между тем, по мнению А.Брауна, все не так просто. Если посмотреть внимательнее на те 7 исследований, которые легли в основу анализа эффективности программы, обнаруживается, что 

а) все исследования проведены в США,

б) они проведены достаточно давно (1967-1982)

в) лишь два из них являются статистически значимыми, при этом они оба имеют серьезные недостатки. В частности, в одном из этих исследований было обнаружено, что в экспериментальной группе (те, кто был на экскурсии в тюрьме) 5 подростков совершили преступления, а в контрольной группе (те, кто не был на экскурсии) преступления совершили 6 подростков. Таким образом, если бы в экспериментальной группе еще один мальчик совершил правонарушение, всё рассыпалось бы.

О чем, по мнению А.Брауна, следует подумать:

• Насколько убедительны доказательства эффективности социальных технологий, которые подаются под маркой "систематического анализа"? 
• Не может ли жесткая ориентация на "доказанную эффективность" мешать внедрению новшеств и сбору информации о том, что может, на самом деле, работать?
• Возможно, практикующим специалистам не следует слишком уж "зацикливаться" на формальных критериях "убедительности обоснований". Постоянная рефлексия собственного опыта и обсуждение того, что работает, а что не работает и почему, могут оказаться весьма полезными.

Благодарю за информацию о данной публикации Даниила Цыганкова!

С тендером или без тендера

Выбор консультанта для проведения оценки (как, впрочем и любого другого консультанта) может производиться на конкурсной основе или без конкурса.

В случае, когда конкурс не проводится, клиент может включить консультанта в обсуждение технического задания на проведение оценки на самых ранних стадиях. По существу, помощь в формировании технического задания становится в этом случае частью услуги, которую оказывает консультант. 

Ситуация с объявлением тендера* имеет ряд существенных отличий.

Во-первых, клиенту необходимо самостоятельно подготовить достаточно детальное описание предстоящей оценки с указанием сроков и - иногда - ориентировочного бюджета. Эта работа требует со стороны клиента не только затрат времени, но и наличия определенных компетенций. С нами как-то даже заключили контракт на подготовку объявления о международном тендере на проведение оценки. Естественно, мы в этом тендере не участвовали, что было оговорено в контракте. 

Во-вторых, клиенту следует позаботиться о том, чтобы все участники тендера оказались в равных условиях: 

• у них должна быть одна и та же информация о предстоящей оценке (объявление о тендере),
• они должны понимать, какие есть возможности для общения с клиентом до подачи заявки (к кому можно обращаться за уточнениями и каков порядок этих обращений).

В третьих, клиент должен иметь хорошо прописанные формальные процедуры проведения тендера и следить за их неукоснительным соблюдением. 

По завершении тендера клиент может обсудить техническое задание с выбранным консультантом. Однако, здесь уже будет меньше пространства для маневра, поскольку основные параметры ТЗ уже были указаны в объявлении о тендере. 

*Википедия предлагает следующее определение: "Те́ндер (англ. tender — заявка на подряд) — конкурентная форма отбора предложений на поставку товаров, оказание услуг или выполнение работ по заранее объявленным в документации условиям, в оговоренные сроки на принципах состязательности, справедливости и эффективности. Контракт заключается с победителем тендера — участником, подавшим предложение, соответствующее требованиям документации, в котором предложены наилучшие условия. В отличие от аукционов, участники тендера не имеют доступа к условиям, предложенным конкурентами.

На начало 2018 года термин «тендер» в Российской Федерации законодательно не определён, поэтому в официальных документах не используется. В повседневной речи может являться как аналогом русских терминов конкурс или аукцион, так и других конкурентных процедур, например, запрос цены, запрос предложения."

К сожалению, точка зрения специалистов по оценке не может быть принята во внимание

Время от времени получаю письма с просьбой принять участие в анкетировании, связанном с оценкой. Считаю для себя участие в таких мероприятиях обязательным, т.к. иначе знание об оценке развивать будет невозможно.

Только что получил очередное приглашение. Теперь от исследователей из Цюриха (ZHAW School of Management and Law, Zurich University of Applied Sciences). В преамбуле поясняется, что мне написали как члену Американской ассоциации оценки. Тема исследования - независимость оценки. Тема меня интересует, и мне есть что сказать по этому поводу. 

Начал отвечать. 

Первый вопрос: в какой роли Вы участвуете в оценке - как клиент или  как оценщик? 

Отметил, что как оценщик и приготовился отвечать дальше. 

А дальше такое сообщение: "К сожалению, точка зрения оценщиков или сотрудников оценочных служб не может быть принята во внимание в этом опросе".

Ну да, что с нами-то обсуждать независимость оценки? 

И далее: "Поскольку любое дополнительное участие в опросе важно, мы будем благодарны, если вы передадите следующую ссылку на опрос другим клиентам оценки в вашей сети..."

Ну а вот это вряд ли.

И, наконец, "Большое спасибо за Вашу поддержку!" )))))))))))))))))))))) 

Занавес.

PS Понимаю всё про дизайн исследования и критерии отбора респондентов. Наверное, им так надо. Но уж очень неожиданно и как-то нелепо вышло :) Предполагаю, что большинство членов Американской ассоциации тоже чаще бывают в роли оценщиков, а не клиентов. Так что многие так же отреагируют... 

Донна Подемс "Путь оценщика: практическое руководство"

В 2000 году конференция Американской ассоциации оценки проходила в городе Гонолулу на Гавайях. Там я обратил внимание на молодую женщину, которая задавала очень хорошие вопросы. Например, она спрашивала, почему в жизни мониторинг-и-оценка как бы неразделимы (даже аббревиатура устоявшаяся есть в английском - M&E от monitoring-and-evaluation), а на конференции говорят только об оценке. Это была Донна Подемс (Donna Podems) - американка, которая последние 20 лет живет в ЮАР. 

Мы с Донной в профессии двигались параллельными курсами и, соответственно, многое обсуждали: 

• она занималась практическим проведением оценки программ и проектов;
• она создала консалтинговую компанию, специализирующуюся в сфере оценки; 
• она получила степень доктора философии (PhD) со специализацией в сфере организационного развития и оценки (её научным руководителем был Майкл Пэттон); 
• она стала преподавать оценку в университете;
• она активно участвовала в создании и развитии национальной ассоциации оценки в ЮАР, а также в жизни Американской ассоциации оценки.

Думаю, не ошибусь, если скажу, что сегодня - спустя без малого 20 лет с момента нашего знакомства - Донна входит в число ведущих специалистов в нашей профессии в мире. Она написала несколько книжек; по поручению Американской ассоциации координировала разработку перечня профессиональных компетенций специалиста по оценке для США; преподаёт оценку в университете Йоханнесбурга (ЮАР) и в университете Мичигана (США). 

В прошлом году вышла новая книга Донны Подемс, название которой можно перевести так: "Путь оценщика. Ваше практическое руководство в сфере оценки". Читаю и узнаю Донну :) Например, в разделе, где подробно обсуждается разница между мониторингом и оценкой, она даёт примерно такую практическую рекомендацию: "Если вас попросят организовать 'мониторинг-и-оценку', обязательно попросите пояснить, что именно люди имеют в виду и желательно с примерами. Если они сами не смогут объяснить, то предложите им своё видение (тоже лучше с примерами) и спросите, устроит ли их такой вариант". 

С большим удовольствием рекомендую читателям моего блога Донну Подемс и её новую книгу!

Методика анализа и оценки магистерских программ от ТГУ

В Томском государственном университете при поддержке Фонда Потанина реализован проект "Разработка методики анализа и оценки магистерских программ". Результат проекта - коллективная монография под ред. Е.А.Сухановой, размещенная в открытом доступе на сайте ТГУ.

В монографии обсуждаются существующие подходы к анализу и оценке качества магистерских программ; обосновывается модель оценки эффективности, положенная в основу новой методики; описывается процесс формирования и апробации методики; даются рекомендации по ее использованию. Для интересующихся деталями приводится матрица критериев и показателей методики анализа эффективности магистерских программ.

Авторы предлагают рассматривать методику как "инструмент "второго уровня" в процессе управления развитием программы. Это не инструмент для мониторинга качества. Мы исходим из того, что у реализуемых магистерских программ постулированы образовательные результаты и они достигаемы. А вот насколько эти результаты востребованы рынками, капитализированы выпускниками, отражаются в продуктах магистратуры (исследованиях, стартапах, сетях и т.д.) – это задача анализа эффективности".

Методику рекомендуется применять после первого полного цикла реализации программы и далее ежегодно.

Методика позволяет "оценить эффективность образовательной программы по трем категориям: удовлетворенность, результативность, актуальность.
1. Удовлетворенность – субъективная качественная оценка выпускниками содержания, технологий, результатов образовательной программы и ее влияния на карьерный рост.
2. Результативность – объективная и субъективная качественная и количественная оценка влияния образовательной программы на образовательные результаты, социальную и карьерную траекторию выпускников. Респондентами являются выпускники и работодатели, используются также статистические показатели.
3. Актуальность – объективная и прогностическая качественная оценка работодателями и экспертными группами субъектов социально-экономического и технологического развития целевых установок и образовательных продуктов программы глобальной, национальной и региональной повестке".

Публикация, вне всякого сомнения, весьма актуальная и может представлять интерес не только для тех, кто занимается оценкой в сфере образования.

PS Мне показалось, что с текстом монографии следовало бы еще поработать и редактору, и корректору: не всегда с первого раза удается понять, о чем речь (см., к примеру, описание оценки актуальности в приведенной выше цитате), и довольно много опечаток, что досадно.  

Оценка программ: методика, метод, методология

Начну с цитаты из статьи Афанасьева М.П. и Шаш Н.Н. "ИНСТРУМЕНТАРИЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ БЮДЖЕТНЫХ ПРОГРАММ":

"В современных условиях в связи с переходом на программно-целевое бюджетирование необычайную актуальность приобретает проблема качественного улучшения различных видов бюджетных программ, реализуемых в Российской Федерации. Всегда ли программные мероприятия достигают своих целей? какие результаты мы получаем? как нам следует усовершенствовать программные документы? Получить достоверный ответ на эти вопросы можно лишь при условии использования эффективного инструментария оценки, что требует разработки и внедрения оценочных методов и процедур, позволяющих наиболее адекватно измерить результаты в ходе реализации программ.

Несмотря на стратегическую важность данной проблемы, и по сей день ни в российской, ни в зарубежной практике не создано единой методики, позволяющей построить систему оценки эффективности реализуемых бюджетных программ разного уровня (курсив мой - АК)".

Надо отметить, что тема необходимости разработки единой методики возникает очень часто, как только речь заходит об оценке чего-либо, например, 

• об оценке эффективности деятельности органов местного самоуправления,
• об оценке эффективности использования средств господдержки,
• об оценке эффективности налоговых льгот.

Список можно было бы легко продолжить. Чем же так привлекательна идея "единой методики оценки"? Когда объекты оценки однотипны; вопрос, на который призвана ответить оценка, один и тот же, а результаты оценки разных объектов необходимо сравнивать либо между собой, либо с какими-то нормативами или стандартами, единый алгоритм оценки (или единая методика) совершенно необходим. Словарь определяет методику как "установленный способ осуществления деятельности; готовый «рецепт», алгоритм, процедуру для проведения каких-либо нацеленных действий".  

Использование результатов оценки: есть ли шанс что-то улучшить? (видео)

В марте прошлого года меня пригласили выступить на конференции, которая проводится раз в два года для специалистов по оценке Международной организации труда. Получилось так, что моё выступление услышал Гийом Мерсье (Guillaume Mercier), старший менеджер программ Международного тренингового центра Международной организации труда (ITC ILO). Гийом предложил сделать короткую онлайновую версию этого выступления. Все, что потребовалось от меня, - это скомпоновать 20-минутную презентацию (вместо 1,5 часов) и рассказать на камеру. Остальную работу сделал Гийом, за что ему огромное спасибо!!! Содержание, конечно, можно обсуждать и критиковать, но видео получилось красоты неземной, тут двух мнений быть не может :)  Приглашаю всех желающих посмотреть (англ.язык).

Сообщение на русском языке на ту же тему было представлено на последней конференции АСОПП. Видео нет, но презентацию можно посмотреть и скачать.