Действительно ли имеет место положительный результат?

На официальном сайте губернатора и правительства Ульяновской области опубликована информация об итогах реализации Программы развития правовой грамотности и правосознания граждан в 2018 году. Документ содержит подробное освещение мероприятий Программы и выводы о её эффективности. Считаю, что сам факт проведения такой работы заслуживает уважения! Однако анализ данной публикации показывает, что методику проведения оценки программы можно и нужно усовершенствовать.

В документе говорится, что "оценка эффективности Программы проводится по итогам каждого года её реализации. Положительным результатом реализации Программы считается достижение плановых значений показателей её результативности, утверждённых указом Губернатора Ульяновской области от 18.06.2018 № 56, или превышение фактических значений показателей результативности Программы над их плановыми значениями."

Таким образом, коллеги используют индикаторную оценку. Важнейший принцип индикаторной оценки: показатели разрабатываются после разработки модели программы и "привязываются" к элементам этой модели. В рассматриваемом документе модель программы не фигурирует. В нем проводится развернутый анализ проведенных мероприятий, из которого следует, что программа была весьма масштабной и что все, что планировали сделать, было выполнено. 

Программный подход предполагает достижение определенного заранее известного результата. Модель программы должна была бы обосновать связь мероприятий (что делаем) с результатом (к чему это приводит). Соответственно, в программе должны быть показатели, связанные с деятельностью в рамках программы (мероприятиями) и с результатом программы. 

По названию программы можно предположить, что главным результатом программы должно было стать повышение правовой грамотности и правосознания граждан.

Теперь обратимся к выводам, которые сделаны по итогам реализации программы.

"Вывод по итогам оценки эффективности реализации Программы. Реализация Программы в 2018 году имеет положительный результат, так как в ходе её реализации из 7 показателей результативности:

• 4 показателя превысили плановые значения;
• 2 показателя достигли планового значения.
• 1 показатель не достиг планового значения."

При ближайшем рассмотрении оказывается, что показатели, целевые значения которых достигнуты или превышены, не относятся к конечному результату программы, а характеризуют успешность реализации мероприятий (число участников, число посещений сайта, число публикаций и т.п.). 

Единственный показатель, целевое значение которого не достигнуто, как раз относится к цели программы: "Доля правильных ответов в общем количестве ответов граждан на вопросы, содержащиеся во Всероссийском (правовом) юридическом диктанте". 

Таким образом, итоги программы выглядят так: сделали все, что запланировали (и даже больше), но запланированного результата не достигли. 

Мне кажется, главный вопрос, который здесь возникает: почему так получилось? Без ответа на него рискованно продолжать программу в том же духе, ведь она не срабатывает так, как было задумано. Тут возникает необходимость в проведении эмпирической оценки. Индикаторы не помогут...

Убедительность обоснований

Любопытная заметка Адриана Брауна (Adrian Brown) относительно убедительности обоснований эффективности (или неэффективности) программ.

Многие знают о том, что в США была программа , в рамках которой подростков группы риска (та категория детей, которых у нас ставят на учет в КДН) организованно возили на экскурсию в тюрьму. Замысел был такой: увидят, куда они могут попасть, и одумаются. Важной составляющей экскурсии (фактором воздействия) были оскорбления посетителей заключенными. В общем, можно сказать, что подростков пытались серьёзно напугать. Собственно, программа так и называлась Scared Straight. Знающие английский язык могут посмотреть видео.

В 2012 году был проведен систематический анализ 7 разных исследований данной программы, который показал, что программа не работает так, как было задумано. Напротив, она провоцирует правонарушения со стороны подростков, которые в ней участвовали. С тех пор в США и во многих других странах программа получила "черную метку" от апологетов доказательного подхода как "технология с доказанной неэффективностью". 

Между тем, по мнению А.Брауна, все не так просто. Если посмотреть внимательнее на те 7 исследований, которые легли в основу анализа эффективности программы, обнаруживается, что 

а) все исследования проведены в США,

б) они проведены достаточно давно (1967-1982)

в) лишь два из них являются статистически значимыми, при этом они оба имеют серьезные недостатки. В частности, в одном из этих исследований было обнаружено, что в экспериментальной группе (те, кто был на экскурсии в тюрьме) 5 подростков совершили преступления, а в контрольной группе (те, кто не был на экскурсии) преступления совершили 6 подростков. Таким образом, если бы в экспериментальной группе еще один мальчик совершил правонарушение, всё рассыпалось бы.

О чем, по мнению А.Брауна, следует подумать:

• Насколько убедительны доказательства эффективности социальных технологий, которые подаются под маркой "систематического анализа"? 
• Не может ли жесткая ориентация на "доказанную эффективность" мешать внедрению новшеств и сбору информации о том, что может, на самом деле, работать?
• Возможно, практикующим специалистам не следует слишком уж "зацикливаться" на формальных критериях "убедительности обоснований". Постоянная рефлексия собственного опыта и обсуждение того, что работает, а что не работает и почему, могут оказаться весьма полезными.

Благодарю за информацию о данной публикации Даниила Цыганкова!

С тендером или без тендера

Выбор консультанта для проведения оценки (как, впрочем и любого другого консультанта) может производиться на конкурсной основе или без конкурса.

В случае, когда конкурс не проводится, клиент может включить консультанта в обсуждение технического задания на проведение оценки на самых ранних стадиях. По существу, помощь в формировании технического задания становится в этом случае частью услуги, которую оказывает консультант. 

Ситуация с объявлением тендера* имеет ряд существенных отличий.

Во-первых, клиенту необходимо самостоятельно подготовить достаточно детальное описание предстоящей оценки с указанием сроков и - иногда - ориентировочного бюджета. Эта работа требует со стороны клиента не только затрат времени, но и наличия определенных компетенций. С нами как-то даже заключили контракт на подготовку объявления о международном тендере на проведение оценки. Естественно, мы в этом тендере не участвовали, что было оговорено в контракте. 

Во-вторых, клиенту следует позаботиться о том, чтобы все участники тендера оказались в равных условиях: 

• у них должна быть одна и та же информация о предстоящей оценке (объявление о тендере),
• они должны понимать, какие есть возможности для общения с клиентом до подачи заявки (к кому можно обращаться за уточнениями и каков порядок этих обращений).

В третьих, клиент должен иметь хорошо прописанные формальные процедуры проведения тендера и следить за их неукоснительным соблюдением. 

По завершении тендера клиент может обсудить техническое задание с выбранным консультантом. Однако, здесь уже будет меньше пространства для маневра, поскольку основные параметры ТЗ уже были указаны в объявлении о тендере. 

*Википедия предлагает следующее определение: "Те́ндер (англ. tender — заявка на подряд) — конкурентная форма отбора предложений на поставку товаров, оказание услуг или выполнение работ по заранее объявленным в документации условиям, в оговоренные сроки на принципах состязательности, справедливости и эффективности. Контракт заключается с победителем тендера — участником, подавшим предложение, соответствующее требованиям документации, в котором предложены наилучшие условия. В отличие от аукционов, участники тендера не имеют доступа к условиям, предложенным конкурентами.

На начало 2018 года термин «тендер» в Российской Федерации законодательно не определён, поэтому в официальных документах не используется. В повседневной речи может являться как аналогом русских терминов конкурс или аукцион, так и других конкурентных процедур, например, запрос цены, запрос предложения."

К сожалению, точка зрения специалистов по оценке не может быть принята во внимание

Время от времени получаю письма с просьбой принять участие в анкетировании, связанном с оценкой. Считаю для себя участие в таких мероприятиях обязательным, т.к. иначе знание об оценке развивать будет невозможно.

Только что получил очередное приглашение. Теперь от исследователей из Цюриха (ZHAW School of Management and Law, Zurich University of Applied Sciences). В преамбуле поясняется, что мне написали как члену Американской ассоциации оценки. Тема исследования - независимость оценки. Тема меня интересует, и мне есть что сказать по этому поводу. 

Начал отвечать. 

Первый вопрос: в какой роли Вы участвуете в оценке - как клиент или  как оценщик? 

Отметил, что как оценщик и приготовился отвечать дальше. 

А дальше такое сообщение: "К сожалению, точка зрения оценщиков или сотрудников оценочных служб не может быть принята во внимание в этом опросе".

Ну да, что с нами-то обсуждать независимость оценки? 

И далее: "Поскольку любое дополнительное участие в опросе важно, мы будем благодарны, если вы передадите следующую ссылку на опрос другим клиентам оценки в вашей сети..."

Ну а вот это вряд ли.

И, наконец, "Большое спасибо за Вашу поддержку!" )))))))))))))))))))))) 

Занавес.

PS Понимаю всё про дизайн исследования и критерии отбора респондентов. Наверное, им так надо. Но уж очень неожиданно и как-то нелепо вышло :) Предполагаю, что большинство членов Американской ассоциации тоже чаще бывают в роли оценщиков, а не клиентов. Так что многие так же отреагируют... 

Донна Подемс "Путь оценщика: практическое руководство"

В 2000 году конференция Американской ассоциации оценки проходила в городе Гонолулу на Гавайях. Там я обратил внимание на молодую женщину, которая задавала очень хорошие вопросы. Например, она спрашивала, почему в жизни мониторинг-и-оценка как бы неразделимы (даже аббревиатура устоявшаяся есть в английском - M&E от monitoring-and-evaluation), а на конференции говорят только об оценке. Это была Донна Подемс (Donna Podems) - американка, которая последние 20 лет живет в ЮАР. 

Мы с Донной в профессии двигались параллельными курсами и, соответственно, многое обсуждали: 

• она занималась практическим проведением оценки программ и проектов;
• она создала консалтинговую компанию, специализирующуюся в сфере оценки; 
• она получила степень доктора философии (PhD) со специализацией в сфере организационного развития и оценки (её научным руководителем был Майкл Пэттон); 
• она стала преподавать оценку в университете;
• она активно участвовала в создании и развитии национальной ассоциации оценки в ЮАР, а также в жизни Американской ассоциации оценки.

Думаю, не ошибусь, если скажу, что сегодня - спустя без малого 20 лет с момента нашего знакомства - Донна входит в число ведущих специалистов в нашей профессии в мире. Она написала несколько книжек; по поручению Американской ассоциации координировала разработку перечня профессиональных компетенций специалиста по оценке для США; преподаёт оценку в университете Йоханнесбурга (ЮАР) и в университете Мичигана (США). 

В прошлом году вышла новая книга Донны Подемс, название которой можно перевести так: "Путь оценщика. Ваше практическое руководство в сфере оценки". Читаю и узнаю Донну :) Например, в разделе, где подробно обсуждается разница между мониторингом и оценкой, она даёт примерно такую практическую рекомендацию: "Если вас попросят организовать 'мониторинг-и-оценку', обязательно попросите пояснить, что именно люди имеют в виду и желательно с примерами. Если они сами не смогут объяснить, то предложите им своё видение (тоже лучше с примерами) и спросите, устроит ли их такой вариант". 

С большим удовольствием рекомендую читателям моего блога Донну Подемс и её новую книгу!