Методики оценки эффективности госпрограмм в России: проблемы и пути решений

В журнале БЮДЖЕТ.RU вчера была опубликована статья В.В.Климанова и А.А.Михайловой "Методики оценки эффективности госпрограмм в регионах". Полную версию статьи в онлайне можно прочесть, если воспользоваться опцией "Версия для печати". Либо придется купить бумажную версию журнала. Очень рекомендую прочесть эту статью всем, кто так или иначе занимается оценкой программ. Авторы описывают ситуацию в России, отмечают возникающие трудности и предлагают направления действий по внедрению унифицированной методики оценки эффективности госпрограмм.

Приведу несколько цитат. 

«Оценка эффективности государственной программы в соответствии с новой типовой методикой проходит на основе: 

оценок степени достижения целей и решения задач государственной программы, подпрограмм и федеральных целевых программ, входящих в гос программу;

оценки степени реализации основных мероприятий, ведомственных целевых программ и мероприятий федеральных целевых программ и достижения ожидаемых непосредственных

результатов их реализации;

оценки степени соответствия запланированному уровню затрат;

оценки эффективности использования средств федерального бюджета.

В данной методике у ответственных исполнителей возникают различные возможности для учета особенностей конкретных программ. Например, при оценке степени реализации государственной программы ответственным исполнителем могут определяться коэффициенты значимости отдельных показателей (индикаторов) целей и задач. 

В общем виде методика выглядит следующим образом:

ЭРгп = 0,5 х СРгп + 0,5 х ΣЭРп/п * Kj /j,

где:

ЭРгп — эффективность реализации государственной программы; 

СРгп — степень реализации государственной программы;

ЭРп/п — эффективность реализации подпрограммы (федеральной целевой программы);

Kj — коэффициент значимости подпрограммы;

j — количество подпрограмм".

Книжка по теории изменений

Спешу поделиться хорошей новостью! Благотворительный детский фонд "Виктория" разместил на своем сайте книгу, которая называется «Теория изменений: общие рекомендации к применению (из опыта БДФ «Виктория»)». В книге содержится обзор зарубежных публикаций по теории изменений, подробное описание опыта применения теории изменений Фондом "Виктория" и рекомендации по применению теории изменений при планировании программ. Для специалистов по оценке программ эта книга также может быть полезна. Спасибо БДФ "Виктория" за огромную работу по подготовке этой книги к печати и готовность поделиться собственным опытом, а компании Evolution and Philanthropy - за инициирование, финансовую поддержку и активное участие в этом важном проекте. 

Какие риски появляются в связи с унификацией заданий на проведение эмпирической оценки программ

Отправной точкой для определения подхода к оценке программы являются вопросы, на которые надлежит ответить в ходе оценки. Вопросы эти появляются как отражение информационных потребностей будущих пользователей результатов оценки. Следовательно, постановка задачи начинается с выяснения этих потребностей и согласования вопросов, на которые нужно ответить. При этом учитывается, для чего планируется использовать полученную в результате оценки информацию. Тем самым закладывается основа для того, чтобы результаты оценки были использованы.
Практика показывает, что бывает еще один источник вопросов. Во многих крупных структурах существует единая система отчетности и приняты критерии оценки программ, по которым надо отчитываться. Здесь вопросы формируются в соответствии с едиными критериями оценки и не обязательно отражают текущие информационные потребности лиц, принимающих решения.
Наиболее известен перечень критериев Комитета по содействию в развитии (Development Assisatnce Committee / DAC) Организации экономического сотрудничества и развития (Organization for Economic Co-operation and Development / OECD). Ниже приведены критерии оценки DAC, их краткие определения и некоторые из рекомендованных для включения в задание вопросов.
Стремление к унификации в сфере отчетности вполне понятно. Однако здесь заложено противоречие: использование "стандартных" заданий на проведение оценки снижает степень полезности оценки. Фактически для формирования задания в соответствии с критериями DAC совершенно не нужно выяснять, кто будет пользоваться результатами оценки и есть ли у них потребность в какой-либо информации. Все задано "по умолчанию" - и пользователи, и их вопросы. Получается, что OECD, принимая стандартные критерии, нарушает один из собственных принципов проведения оценки - принцип полезности.
Полагаю, противоречие можно разрешить следующим образом: применять критерии DAC для формирования систем показателей в рамках индикаторной оценки (мониторинга) программ. Здесь критерии очень даже пригодятся. При проведении же эмпирической оценки вполне можно идти классическим путем в традициях оценки, ориентированной на практическое использование (Utilization Focuesd Evaluation), отталкиваясь от информационных потребностей будущих пользователей результатов оценки.

Доказательность аргументации

Сегодня в СМИ прошла информация о диалоге, состоявшемся между Советом по правам человека при Президенте РФ и Минкомсвязи. Приведу две цитаты.

Еще один пример манипулирования значениями показателей

Любопытная иллюстрация закона Кемпбэлла в блоге Алексея Крушельницкого. Судя по комментариям к этой записи, достоверность приведенного примера ни у кого не вызывает сомнений.
"Один из главных критериев, по которым оцениваются университеты - это количество научных статей в престижных научных международных журналах. Чтобы их было больше, нужно иметь высококлассные научные кадры, нужно иметь современное научное оборудование, нужно иметь вообще современную научную инфраструктуру. Создавать и растить все это - очень долго, дорого и муторно. А показатели нужны прямо сейчас. Что делаем? Правильно, мухлюем. Мы просто будем покупать у забугорных коллег за 500 евро в месяц статьи (точнее то, чтобы наш университет туда вставили), которыми потом будем отчитываться - вот, мол, смотрите, как на глазах растет российская наука. Хотя российская наука как таковая к этому никакого отношения иметь по сути не будет".

Целеполагание и оценка эффективности социальных программ

В прошлую пятницу принимал участие в видеоконференции, организованной Институтом экономических исследований (Астана). Видеозапись заседания секции «Современные подходы к оценке социально-экономической эффективности». Мое выступление - в начале. Тема - "Целеполагание и оценка эффективности социальных программ". В рамках этого выступления я попытался объяснить, с чем связан слишком глобальный или чересчур конкретный характер целей социальных программ, и как это мешает проведению оценки эффективности. Там несколько скомкана вторая часть выступления: неожиданно оказалось, что у меня меньше времени, чем планировалось. 

Бывают ли простые ответы на сложные вопросы?

В последнее время был принят целый ряд решений на самом высоком уровне, в результате чего оценка стала внедряться в различных сферах государственного управления в России. Оценивается регулирующее воздействие вновь принимаемых законодательных и нормативных актов на бизнес (ОРВ); оценивается эффективность научных и образовательных учреждений; Счетная Палата приступила к оценке эффективности госпрограмм; начато внедрение т.н. независимой оценки качества социальных услуг. Список можно было бы продолжить.
Я бы хотел порассуждать об оценке государственных программ, поскольку оценка программ - наша основная специализация. Не требует обоснования тезис о том, что любая государственная программа представляет собой весьма сложную деятельность. Возьмем, к примеру, программу, направленную на сокращение ущерба для жизни и здоровья людей от дорожно-транспортных происшествий. В течение нескольких лет в масштабах огромной страны будет проводиться целый комплекс мероприятий, ориентированных на пешеходов, на водителей транспортных средств, на организацию дорожного движения и т.д., в результате чего ожидается снижение числа ДТП с серьезными последствиями.
Вполне закономерен вопрос: в какой мере деятельность в рамках программы позволяет добиваться поставленных целей? 

Хороший консультант и плохой консультант

Оценка программ является одним из видов консультирования. Естественно, что навыки консультирования логично считать одной из компетенций специалиста по оценке. Литературы по консультированию - море. Большинство авторов так или иначе стараются объяснить отличия хорошего консультанта от плохого. На картинке приводится версия одного из очень известных экспертов Дэвида Майстера (тут его личный сайт). Цитируется по книге Васильев Г.А., Деева Е.М., Управленческое консультирование: Учебное пособие для студентов вузов, обучающихся по специальности 061100 (Менеджмент организации), М., «ЮНИТИ-ДАНА», 2004 г. 

Экспресс-оценка проблем сетей НКО в Центральной Азии

На завершившемся на прошлой неделе семинаре в Алматы мы обсуждали вопросы построения сетей, управления ими и оценки их эффективности. Под "сетью" в данном контексте понимается "совокупность свободных, самодостаточных и независимых участников, объединенных общими ценностями и интересами" (Jessica Lipnack and Jeffrey Stamps, 1982). Участниками сети могут быть и люди, и организации. Антрополог В.Хайн (Virginia Hine, 1970) выделила три сущностных качества сети:

• Сегментация (состоит из автономных сегментов, которые организационно самодостаточны)
• Децентрализация (горизонтальные связи, мобильное лидерство)
• Общие ценности и объединяющие идеи («идеологические узы»)  

Сеть - это особый вид организации, отличающийся гибкостью, "легкостью", обилием и значимостью горизонтальных связей. 

В ходе семинара мы решили вместе с участниками (около 30 человек из 5 стран Центральной Азии) провести экспресс-оценку проблем, которые являются общими для сетей НКО. Получилось, что ключевые проблемы лежат в 5 областях: 

1. Управление. В управлении сетью не учитывается специфика сети как организации. Опасение создать бюрократию внутри сети. 
2. Качество членов. Недостаточная зрелость некоторых членов сети. Приоритет – количество членов сети, а не качество.
3. Активность членов. Члены сети вступают без намерения быть активными.
4. Финансирование. Доноры предпочитают финансировать проекты, а сетям нужны средства на институциональное развитие. В принципе, источников финансирования для сетей мало. 
5. Юридический статус. Неопределенность юридического статуса сети.

Мне кажется, интересный получился результат в нашей экспресс-оценке. Можно "примерить" к сети, в которую входите вы или ваша организация. Возможно, что-то общее найдете. 

Навыки фасилитации как одна из компетенций специалиста по оценке программ

Сегодня в Москве проходит пятая конференция фасилитаторов, а в начале октября (с 1 по 5) в пансионате "Клязьма" под Москвой планируется проведение конференции Международной ассоциации фасилитаторов (IAF). В данном случае под фасилитацией (facilitation) понимается недирективное управление групповыми обсуждениями. Соответственно, фасилитатор - это человек, который владеет техниками организации и проведения групповых обсуждений. При проведении оценки программ такие навыки могут очень даже пригодиться, скажем, при проведении групповых интервью или при проведении групповых обсуждений внутри команды консультантов. Если же вы используете подходы, которые относятся к т.н. "оценке с участием" (participatory evaluation) или "оценке в сотрудничестве" (collaborative evaluation), то навыки фасилитации являются попросту необходимыми. Об этом пишут и канадские коллеги, которые впервые в мире стали проводить сертификацию специалистов по оценке, и Патриция Роджерс из Австралии, и Джин Кинг из США в своей новой книге "Интерактивная практика оценки". Сегодня в интернете можно найти много книг и статей по фасилитации. Вот публикация, которую рекомендует П.Роджерс: Creative Facilitation.  (14,5 MB, PDF).
Кстати, при кажущейся простоте инструментов и легкости, с которой работают квалифицированные фасилитаторы, все далеко не так просто...