Об оценке в очередном эпизоде подкаста ИРСУ «Чейные дети»

Беседуем с Мариной Ивановой об оценке в 12 выпуске подкаста «Чейные дети» (его поддерживает Институт развития семейного устройства - ИРСУ). Этот эпизод о том, что такое оценка социальных программ, почему это не проверка, а пространство для развития. Как оценка может быть связана не с внешним контролем, а с внутренней честностью и какие нужны качества человеку, который может всерьёз говорить об эффективности социальной деятельности.

Оценка в Распоряжении Правительства РФ про благотворительность

На конференции газеты "Ведомости" "«Благотворительность в России: 2025», которая прошла в Москве 2 марта, меня попросили сделать небольшое сообщение на секции об оценке. По замыслу организаторов, работа этой секции должна была строиться вокруг Распоряжения Правительства РФ от 15 ноября 2019 г. № 2705-р «О Концепции содействия развитию благотворительной деятельности в РФ на период до 2025 г.»
Оценка в этом постановлении упоминается 5 раз. Ниже приведу цитаты из Распоряжения (они обозначены как РП 2705-р и выделены курсивом), а следом - основные тезисы моего сообщения.

• РП 2705-р : «содействие повышению эффективности деятельности благотворительных организаций, включая развитие … практики оценки результативности»

Согласно недавнему исследованию, проведенному Центром развития филантропии Фонда Владимира Потанина, развитие доказательной филантропии является одним из мировых трендов. Тому есть целый ряд причин: от развития информационных технологий до смены поколений. То есть, оценка – в тренде! И очень хорошо, что ей уделено место в правительственном документе.

• РП 2705-р: «включение оценки социального эффекта как необходимого этапа реализации благотворительных программ и проектов»

Еще раз об оценке эффективности судов

На сайте "Ракурс" опубликована статья о критериях оценки эффективности судов в США. Этой темы я уже касался дважды в связи с публикациями по поводу казахстанского опыта. Статья, о которой идет речь сегодня, написана в связи с судебной реформой на Украине.

Вот какие критерии оценки эффективности судов в США приводятся в данной публикации: 

1. доступность и объективность
2. процент рассмотренных дел от общего количества дел, поступивших в суд
3. соблюдение процессуальных сроков, то есть процент дел, рассмотренных или завершенных другим способом в течение отведенного на них процессуального срока
4. продолжительность нахождения дел на рассмотрении (количество дней от подачи дела в суд до даты проведения оценки) 
5. надежность даты слушания дела, то есть количество назначений дат слушания дела при рассмотрении
6. надежность и целостность материалов дел
7. процент взысканных и переданных по назначению штрафов от общей суммы назначенных в конкретных делах денежных наказаний
8. результативность процесса отбора присяжных, достаточно квалифицированных и готовых войти в состав суда, выраженная как процент от общего количества потенциальных присяжных
9. удовлетворенность работников судебного аппарата
10. средняя стоимость рассмотрения одного дела, отдельно по типам дел

Председатель Верховного суда Казахстана - за использование эмпирической оценки

В январе этого года я уже писал о казахстанской инициативе по оценке деятельности судов. Сегодня появилась интересная статья, в которой Председатель Верховного суда Республики Казахстан Кайрат Мами рассказывает о "внедрении социологических замеров как инструмента оценки эффективности деятельности судов и мониторинге работы судов в целом".

«Хочу отметить, что с 16 февраля в судах, при участии Программы развития ООН в Казахстане, будет начат очередной исследовательский проект, который продлится три месяца. Планируется изучить мнение более десяти тысяч граждан по всей республике. Результаты будут рассмотрены по завершении первого полугодия», - сказал Кайрат Мами.

А я хотел бы отметить, что в данном случае одно из высших должностных лиц соседней страны де-факто говорит о том, как важно использование эмпирической оценки ("социологические замеры" есть не что иное как сбор и анализ эмпирических данных) в деятельности государственных органов и какие результаты оно дает. 

Интересный семинар в Казахстане

По информации, размещенной на сайте "NOMAD Кочевник", сегодня в Верховном Суде Республики Казахстан состоялся международный семинар-тренинг "Мониторинг и оценка эффективности деятельности судов". Мероприятие организовано совместно с ПРООН (Программа развития ООН) в Казахстане. Участники семинара – председатели и судьи коллегий Верховного Суда, представители Генеральной прокуратуры, Министерства юстиции и Союза Судей, председатели областных и приравненных к ним судов, руководство Департамента по обеспечению деятельности судов. 

На данном семинаре в числе прочего были "озвучены итоги проведения внешней оценки качества работы специализированных экономических судов. Для проведения данного исследования были разработаны анкеты, содержащие вопросы из вопросника Всемирного экономического форума о степени удовлетворенности субъектов бизнес-структур-участников судебных процессов качеством предоставляемых экономическими судами судебных услуг".

Тенденция

Сегодня никто не станет отрицать, что оценка эффективности деятельности и оценка программ активно внедряются в практику российских органов государственного управления и государственных учреждений. Есть, однако, четкая тенденция: как только речь заходит об оценке, все, как правило сводится к формированию очередного механизма контроля (часто - общественного). Понятно, что осуществлять контроль без каких-либо полномочий сложно. Как говаривал Владимир Семенович Высоцкий: "Что за свадьба без цветов? Пьянка, да и все!". Потому все подобные инициативы предполагают наделение тех или иных структур формальными полномочиями осуществлять контроль, а также создание механизма введения санкций по результатам контроля.  Достаточно обратиться к практике независимой оценки услуг социальных учреждений, о которой я писал ранее. А вот и совсем свежий пример: предложение депутата ГД РФ Дмитрия Носова, опубликованное в Парламентской газете на прошлой неделе. Далее - цитата из газеты:

"Мы должны разработать общественную систему оценки (курсив мой - АК) работы каждого чиновника от исполнительной власти», — считает депутат. Оценка будет складываться исходя из определённых критериев, к примеру, в части возвращения бюджетных средств. Таким образом, каждый чиновник мог бы получать балл, согласно которому он либо продвигается по службе, либо остаётся на месте, либо вовсе его покидает".

Мне кажется, что в этой тенденции есть два негативных момента:

1. Модные нынче т.н. общественные системы оценки формируются зачастую несистемно и не имеют достаточных профессиональных и финансовых ресурсов.  
2. Оценка становится синонимом контроля, и уходит на второй план ее важнейшая развивающая функция - функция получения информации для принятия решений. 

Целеполагание и оценка эффективности социальных программ

В прошлую пятницу принимал участие в видеоконференции, организованной Институтом экономических исследований (Астана). Видеозапись заседания секции «Современные подходы к оценке социально-экономической эффективности». Мое выступление - в начале. Тема - "Целеполагание и оценка эффективности социальных программ". В рамках этого выступления я попытался объяснить, с чем связан слишком глобальный или чересчур конкретный характер целей социальных программ, и как это мешает проведению оценки эффективности. Там несколько скомкана вторая часть выступления: неожиданно оказалось, что у меня меньше времени, чем планировалось. 

Бывают ли простые ответы на сложные вопросы?

В последнее время был принят целый ряд решений на самом высоком уровне, в результате чего оценка стала внедряться в различных сферах государственного управления в России. Оценивается регулирующее воздействие вновь принимаемых законодательных и нормативных актов на бизнес (ОРВ); оценивается эффективность научных и образовательных учреждений; Счетная Палата приступила к оценке эффективности госпрограмм; начато внедрение т.н. независимой оценки качества социальных услуг. Список можно было бы продолжить.
Я бы хотел порассуждать об оценке государственных программ, поскольку оценка программ - наша основная специализация. Не требует обоснования тезис о том, что любая государственная программа представляет собой весьма сложную деятельность. Возьмем, к примеру, программу, направленную на сокращение ущерба для жизни и здоровья людей от дорожно-транспортных происшествий. В течение нескольких лет в масштабах огромной страны будет проводиться целый комплекс мероприятий, ориентированных на пешеходов, на водителей транспортных средств, на организацию дорожного движения и т.д., в результате чего ожидается снижение числа ДТП с серьезными последствиями.
Вполне закономерен вопрос: в какой мере деятельность в рамках программы позволяет добиваться поставленных целей? 

Новая методика оценки эффективности ВУЗов

Вчера в электронных "Известиях" была опубликована информация о том, что министерство образования РФ в в ближайшие дни "утвердит методику расчета показателей трудоустройства выпускников вузов. Эти критерии являются основными при оценке эффективности вузов. Согласно проекту данного решения Министерства образования, ведомство Ливанова будет рассчитывать эффективность вузов на основании данных службы занятости". То есть, при определении количества трудоустроившихся в расчет будут брать только тех выпускников, кто обратился за помощью в службу занятости.

Если эта информация  верна, то для получения высоких оценок ВУЗам будет необходимо сделать так, чтобы (в идеале) все обратившиеся в службу занятости выпускники были трудоустроены. Остальные выпускники в данном случае нас не интересуют. Неважно, судя по публикации, и то, по какой специальности они трудоустраиваются. В этой ситуации маленьким ВУЗам, у которых выпускников меньше, будет легче контролировать их трудоустройство, а, значит, легче будет получить высокую оценку.

Соответственно, ВУЗам можно предпринять следующие шаги:

1) Принимать в ВУЗ только тех, кто уже имеет гарантии трудоустройства. Нет гарантий - свободен!
2) В принудительном порядке направлять в службу занятости лучших выпускников, которые с высокой вероятностью устроятся на работу. Запретить им искать работу самостоятельно. Также в обязательном порядке требовать трудоустройство через службу занятости для тех, у кого при поступлении были гарантии (т.е. кто уже знал, где будет работать).
3) Создать систему гарантированного временного трудоустройства для выпускников. Например, учредить при ВУЗе несколько компаний и временно принимать туда всех, кто не успевает устроиться в оговоренный методикой оценки срок. Можно также обеспечивать рабочей силой дружественные компании. Только обязательно через службу занятости, с которой можно заключить соответствующий контракт. Пусть выпускники ищут работу по специальности, а пока можно будет их использовать для нужд "альма матер" и дружественных компаний на любой работе. И показатель будет высоким. Оформить, кстати, можно и по специальности. Потом, если что, - уволить по окончании испытательного срока (это после замера эффективности ВУЗа надо делать, естественно).
4) Внимательно изучить, как будут регистрировать факт трудоустройства в службе занятости и посмотреть, что еще можно сделать, чтобы трудоустройство гарантировать.

В целом, мне кажется, что использование числа трудоустроившихся через службу занятости выпускников - не очень удачный индикатор эффективности ВУЗа, если он действительно будет основным или единственным. Если же он будет использоваться наряду с другими показателями, то почему бы и нет? Только надо все-таки обязательно смотреть на трудоустройство всех выпускников, а не только тех, кто в службу занятости пошел. А то выборка явно не репрезентативная получается.