Модели консультирования и оценка программ

Ни у кого не вызывает сомнения, что оценка является одним из видов консультирования. Однако специалисты по оценке не так уж часто обращаются к литературе по консультированию, хотя это может быть весьма интересно. Хочу предложить читателям моего блога соотнести оценку программ с одной из самых известных классификаций моделей консультирования, предложенной Эдгаром Шайном (Schein, E. H. (2000). Models of consultation: What do organizations of the twenty-first century need? In R. T. Golembiewski (Ed.), Handbook of organizational consultation (pp. 893-902). New York: Marcel Dekker).
Как вы думаете, к какой из моделей консультирования оценка программ ближе всего?

Успеть подать заявку на выступление

С 2000 года я принимаю активное участие в подготовке ежегодных конференций по оценке в нашем регионе. Вначале это были конференции Международной сети "Оценка программ", а затем стали проводиться ежегодные конференции АСОПП в России. В этом году пройдет уже 5-я национальная конференция. С самого начала заметил интересное явление. Мы очень заранее (за пару месяцев) объявляем срок подачи заявок на выступления, напоминаем о том, что срок приближается. В итоге, когда срок проходит, оргкомитет конференции начинает получать письма от людей, которым не хватило буквально 1-2-х дней по совершенно объективным причинам... :) Не уверен, следует ли глубоко изучать этот феномен и делать какие-то далеко идущие выводы. Просто хотел попросить тех читателей моего блога, которые планируют выступить на конференции АСОПП-2019, не откладывать написание заявок на выступления. В этом году все удобно, заявка подается в режиме онлайн. На всякий случай: крайний срок подачи - 1 июля, 18.00 мск!

Социальное проектирование и оценка: взгляд в будущее

В Алматы проходит международная конференция, посвященная обсуждению развития гражданского общества в странах Центральной Азии. Организатор конференции - Ассоциация развития гражданского общества (АРГО). Мне предложили выступить с 5-минутным "импульсным" докладом на тему "Социальное проектирование и оценка: взгляд в будущее", чтобы обозначить несколько возможных тем для дискуссии. В очередной раз убедился, что подготовить 5-минутное выступление намного сложнее, чем 1,5-часовое :) 

Вот мой "взгляд в будущее" (имеется в виду наш регион): 

1) ТВОРЧЕСТВО. Будет расти значимость творческой составляющей в социальном проектировании. Люди будут уделять больше времени именно поиску оптимального решения. Повысится интерес к методам поиска новых идей и решений, к т.н. дизайн-мышлению. 

2) ДОКАЗАТЕЛЬНОСТЬ. Будет расти стремление лучше обосновывать замысел проекта и решения, связанные с управлением проектом. В том или ином виде будет внедряться доказательный подход к проектированию. Соответственно, будет расти запрос на оценку на всех стадиях жизненного цикла проекта.

3) ОТ ТОГО, ЧТО ПРОЩЕ, К ТОМУ, ЧТО ВАЖНЕЕ. В развитии оценки будет происходить смещение фокуса с того, что проще оценить (мероприятия), на то, что важнее оценить (результаты, воздействие). 

4) АДАПТИВНОСТЬ. И в проектировании, и в оценке социальных программ и проектов все большее значение будет приобретать адаптивность - способность перестраиваться на ходу с учетом изменяющихся условий.  

Трудности внедрения оценки: российский опыт

Завтра Всемирный банк вместе с АСОПП проводят мероприятие в рамках глобальной недели оценки (gLocal). По формату, как я понял, это будет нечто среднее между семинаром и "круглым столом". Тема: «Российский опыт оценки: методология, реализация, развитие».
Запланировано три выступления и дискуссия. Александр Боровых расскажет об оценке в методических рекомендациях по разработке федеральных и региональных программ и о применении их на практике. Владимир Балакирев обсудит ситуацию с развитием оценки программ в России. Мне предложили сделать небольшое сообщение о проблемах внедрения оценки в России.

Буду говорить о трех проблемных областях:

1. Низкое качество дизайна программ, которое порой сильно затрудняет их оценку.
2. Смешение жанров, которое заключается в том, что оценку рассматривают как инспекцию и используют соответствующие подходы.
3. Доминирование индикаторной оценки, которая при всех её преимуществах имеет свои ограничения и не позволяет получить ответы на некоторые весьма важные вопросы.

Все эти проблемы буду рассматривать применительно к оценке государственных программ. 

Мероприятие пройдет с 14 до 16 (мск). Будет онлайн трансляция с переводом на английский. 

Он-лайн подключение: WebEx, код: 733 279 281, пароль: N8TbqJ3W

Нашего полку прибыло

В России появилась новая некоммерческая организация - Центр перспективных управленческих решений (ЦПУР). Её единственный учредитель и руководитель Мария Шклярук поясняет: "У ЦПУР есть понятная миссия: мы хотим развивать в России принятие решений, основанное на данных (evidence-based & data-driven policymaking). Политики, государственные чиновники должны уметь просчитывать последствия своего выбора и в своих решениях опираться в том числе на доказательственные методы. Наша задача — с помощью этих методов, донесенных в простой и понятной форме, показать, как правильно принимать решения, которые будут достигать изначально задуманного результата, а не порождать больше проблем, чем было до начала их внедрения. Про российских чиновников часто говорят известную фразу: «Хотели как лучше, а получилось как всегда». Мы хотим сделать так, чтобы если «хотели как лучше», то и получилось лучше".

Счетная палата РФ опубликовала основные направления деятельности на 2019 – 2021

На сайте СП РФ подробно изложены основные направления деятельности на 3 года. "Главный фокус деятельности Счетной палаты — стратегический аудит, предполагающий мониторинг реализации и оценку достижения национальных целей майского Указа Президента. Кроме того, стратегический аудит позволит определить достаточность ранее утвержденных Правительством проектов и программ. По результатам стратегического аудита ведомство будет представлять свои рекомендации по дальнейшей работе."

Счетная палата планирует внедрить "практику предоставления рекомендаций, которые должны нивелировать и даже полностью искоренить выявленные проблемы". Это анонсируется как инновация. Таким образом, если раньше главной задачей было проблемы выявить (и здесь миссия СП РФ заканчивалась), то сейчас фокус будет на том, как эти проблемы решить. Задача, конечно, много сложнее. Тем более, что рекомендации должны быть хорошо обоснованы. "Это повышает нашу ответственность, потому что каждую нашу фразу, рекомендацию нужно будет защищать", - говорит председатель СП РФ А.Кудрин. 

"Тирания показателей". Книга Джерри Мюллера переведена и уже в продаже.

Книга действительно необычная, поскольку автор подробно рассматривает негативные эффекты чрезмерного увлечения показателями. Вот перечень типичных ошибок, возникающих в результате, по мнению автора (особо отмечу, что речь, конечно же, идет о США): 

• Измерение того, что легче всего измерить. То, что легче всего измерить, редко бывает самым важным.
• Измерение простого, когда желаемый результат сложен. Фокусирование на измерении результатов, связанных только с одной целью, часто вводит в заблуждение.
• Измерение вклада, а не результатов. Измеряем объем использованных ресурсов, а не полученные результаты. 
• Снижение качества информации из-за стандартизации. Информация становится более достоверной и определенной, чем на самом деле.
• Снятие сливок. К примеру, исполнители отдают предпочтение клиентам с менее сложными проблемами. Вероятность успешного решения проблемы в этом случае возрастает. 
• Улучшение показателей за счет снижения стандартов. Снижение стандартов - один из способов улучшения результатов.
• Улучшение показателей путем исключения или искажения данных. Например, полиция может "снижать" уровень преступности, переквалифицируя тяжкие преступления в мелкие правонарушения.
• Подтасовка. Частота этого явления растет в прямой зависимости от значимости показателей. Например, в ответ на закон, повысивший значимость результатов тестирования знаний учащихся, учителя и директора школ во многих городах стали изменять ответы учащихся на тесты.

Действительно ли имеет место положительный результат?

На официальном сайте губернатора и правительства Ульяновской области опубликована информация об итогах реализации Программы развития правовой грамотности и правосознания граждан в 2018 году. Документ содержит подробное освещение мероприятий Программы и выводы о её эффективности. Считаю, что сам факт проведения такой работы заслуживает уважения! Однако анализ данной публикации показывает, что методику проведения оценки программы можно и нужно усовершенствовать.

В документе говорится, что "оценка эффективности Программы проводится по итогам каждого года её реализации. Положительным результатом реализации Программы считается достижение плановых значений показателей её результативности, утверждённых указом Губернатора Ульяновской области от 18.06.2018 № 56, или превышение фактических значений показателей результативности Программы над их плановыми значениями."

Таким образом, коллеги используют индикаторную оценку. Важнейший принцип индикаторной оценки: показатели разрабатываются после разработки модели программы и "привязываются" к элементам этой модели. В рассматриваемом документе модель программы не фигурирует. В нем проводится развернутый анализ проведенных мероприятий, из которого следует, что программа была весьма масштабной и что все, что планировали сделать, было выполнено. 

Программный подход предполагает достижение определенного заранее известного результата. Модель программы должна была бы обосновать связь мероприятий (что делаем) с результатом (к чему это приводит). Соответственно, в программе должны быть показатели, связанные с деятельностью в рамках программы (мероприятиями) и с результатом программы. 

По названию программы можно предположить, что главным результатом программы должно было стать повышение правовой грамотности и правосознания граждан.

Теперь обратимся к выводам, которые сделаны по итогам реализации программы.

"Вывод по итогам оценки эффективности реализации Программы. Реализация Программы в 2018 году имеет положительный результат, так как в ходе её реализации из 7 показателей результативности:

• 4 показателя превысили плановые значения;
• 2 показателя достигли планового значения.
• 1 показатель не достиг планового значения."

При ближайшем рассмотрении оказывается, что показатели, целевые значения которых достигнуты или превышены, не относятся к конечному результату программы, а характеризуют успешность реализации мероприятий (число участников, число посещений сайта, число публикаций и т.п.). 

Единственный показатель, целевое значение которого не достигнуто, как раз относится к цели программы: "Доля правильных ответов в общем количестве ответов граждан на вопросы, содержащиеся во Всероссийском (правовом) юридическом диктанте". 

Таким образом, итоги программы выглядят так: сделали все, что запланировали (и даже больше), но запланированного результата не достигли. 

Мне кажется, главный вопрос, который здесь возникает: почему так получилось? Без ответа на него рискованно продолжать программу в том же духе, ведь она не срабатывает так, как было задумано. Тут возникает необходимость в проведении эмпирической оценки. Индикаторы не помогут...

Убедительность обоснований

Любопытная заметка Адриана Брауна (Adrian Brown) относительно убедительности обоснований эффективности (или неэффективности) программ.

Многие знают о том, что в США была программа , в рамках которой подростков группы риска (та категория детей, которых у нас ставят на учет в КДН) организованно возили на экскурсию в тюрьму. Замысел был такой: увидят, куда они могут попасть, и одумаются. Важной составляющей экскурсии (фактором воздействия) были оскорбления посетителей заключенными. В общем, можно сказать, что подростков пытались серьёзно напугать. Собственно, программа так и называлась Scared Straight. Знающие английский язык могут посмотреть видео.

В 2012 году был проведен систематический анализ 7 разных исследований данной программы, который показал, что программа не работает так, как было задумано. Напротив, она провоцирует правонарушения со стороны подростков, которые в ней участвовали. С тех пор в США и во многих других странах программа получила "черную метку" от апологетов доказательного подхода как "технология с доказанной неэффективностью". 

Между тем, по мнению А.Брауна, все не так просто. Если посмотреть внимательнее на те 7 исследований, которые легли в основу анализа эффективности программы, обнаруживается, что 

а) все исследования проведены в США,

б) они проведены достаточно давно (1967-1982)

в) лишь два из них являются статистически значимыми, при этом они оба имеют серьезные недостатки. В частности, в одном из этих исследований было обнаружено, что в экспериментальной группе (те, кто был на экскурсии в тюрьме) 5 подростков совершили преступления, а в контрольной группе (те, кто не был на экскурсии) преступления совершили 6 подростков. Таким образом, если бы в экспериментальной группе еще один мальчик совершил правонарушение, всё рассыпалось бы.

О чем, по мнению А.Брауна, следует подумать:

• Насколько убедительны доказательства эффективности социальных технологий, которые подаются под маркой "систематического анализа"? 
• Не может ли жесткая ориентация на "доказанную эффективность" мешать внедрению новшеств и сбору информации о том, что может, на самом деле, работать?
• Возможно, практикующим специалистам не следует слишком уж "зацикливаться" на формальных критериях "убедительности обоснований". Постоянная рефлексия собственного опыта и обсуждение того, что работает, а что не работает и почему, могут оказаться весьма полезными.

Благодарю за информацию о данной публикации Даниила Цыганкова!

С тендером или без тендера

Выбор консультанта для проведения оценки (как, впрочем и любого другого консультанта) может производиться на конкурсной основе или без конкурса.

В случае, когда конкурс не проводится, клиент может включить консультанта в обсуждение технического задания на проведение оценки на самых ранних стадиях. По существу, помощь в формировании технического задания становится в этом случае частью услуги, которую оказывает консультант. 

Ситуация с объявлением тендера* имеет ряд существенных отличий.

Во-первых, клиенту необходимо самостоятельно подготовить достаточно детальное описание предстоящей оценки с указанием сроков и - иногда - ориентировочного бюджета. Эта работа требует со стороны клиента не только затрат времени, но и наличия определенных компетенций. С нами как-то даже заключили контракт на подготовку объявления о международном тендере на проведение оценки. Естественно, мы в этом тендере не участвовали, что было оговорено в контракте. 

Во-вторых, клиенту следует позаботиться о том, чтобы все участники тендера оказались в равных условиях: 

• у них должна быть одна и та же информация о предстоящей оценке (объявление о тендере),
• они должны понимать, какие есть возможности для общения с клиентом до подачи заявки (к кому можно обращаться за уточнениями и каков порядок этих обращений).

В третьих, клиент должен иметь хорошо прописанные формальные процедуры проведения тендера и следить за их неукоснительным соблюдением. 

По завершении тендера клиент может обсудить техническое задание с выбранным консультантом. Однако, здесь уже будет меньше пространства для маневра, поскольку основные параметры ТЗ уже были указаны в объявлении о тендере. 

*Википедия предлагает следующее определение: "Те́ндер (англ. tender — заявка на подряд) — конкурентная форма отбора предложений на поставку товаров, оказание услуг или выполнение работ по заранее объявленным в документации условиям, в оговоренные сроки на принципах состязательности, справедливости и эффективности. Контракт заключается с победителем тендера — участником, подавшим предложение, соответствующее требованиям документации, в котором предложены наилучшие условия. В отличие от аукционов, участники тендера не имеют доступа к условиям, предложенным конкурентами.

На начало 2018 года термин «тендер» в Российской Федерации законодательно не определён, поэтому в официальных документах не используется. В повседневной речи может являться как аналогом русских терминов конкурс или аукцион, так и других конкурентных процедур, например, запрос цены, запрос предложения."