Евгений Ясин о недостатках оценки, основанной на индикаторах

Собеседник.ru сообщает, что Минэкономразвития подготовило проект постановления правительства, который заставит всех чиновников проводить оценку регулирующего воздействия (ОРВ) на бизнес не только всех приказов, распоряжений, инструкций, но даже указов президента. Если проект будет утвержден, оценки чиновники начнут себе выставлять с 1 марта будущего года.
Президент фонда "Либеральная миссия" известный экономист Евгений Ясин, комментируя это постановление, отметил: "... Показателем успешности процесса будут цифры – сколько документов отправлено на переделку. А я еще с советских времен хорошо усвоил: если какой-то показатель назначается отчетным, его нарушать не будут. А как приспособиться – найдут.
Правильней было бы проанализировать наносимый некачественными приказами вред. Но если власти в России не хотят, чтобы была общественная дискуссия, тогда в дело вступает бюрократическая система. И мы получим постоянное извращение реальности". (цитирую по публикации в Собеседник.ru)
Очень правильные слова сказал уважаемый ученый. У нас в стране показатели пока являются синонимом оценки. То есть, если ставится задача что-то оценить, то, значит, будут разрабатывать показатели. Другие виды оценки пока не слишком популярны (известны?) в органах государственного управления. И это действительно приводит вместо желаемого результата к уходу от реальности, о чем и я неоднократно писал (см., например, "А вокруг иллюзия из папье-маше") и говорил.

Экономический совет при президенте РФ будет оценивать программы

Вчера Президент РФ Владимир Путин создал экономический совет при президенте РФ и стал его председателем. К компетенции совета отнесены в числе прочих функций подготовка и оценка реализации "дорожных карт" по совершенствованию делового климата, а также экспертная оценка планов и программ, направленных на обеспечение реформирования экономической и социальной сфер.

Судя по составу членов Совета, оценку они будут поручать кому-то. Например, возглавляемым ими учреждениям (в частности ВШЭ и РАНХ). Несколько смущает сужение оценки программ до "экспертной". Хотя неизвестно, что конкретно здесь имелось в виду. Поживем - увидим.

Статистика посещений блога: трудности интерпретации

Некоторые статистические показатели, сязанные с посещаемостью блога интерпретировать несложно. К примеру, есть явная связь между частотой публикаций в блоге и числом посещений. Тут все понятно: чем чаще пишешь, тем чаще к тебе заходят почитать.
Или, скажем, легко обнаружить связь между размещением ссылок на блог на Facebook и числом посетителей, которые зашли в блог именно оттуда.
Статистика просмотров отдельных сообщений представляет собой более сложную картину. Например, есть записи, которые (согласно моим ожиданиям) должны были привлечь внимание посетителей блога, но этого не случилось. Пример: текст про разработку индикаторов. С другой стороны, есть записи, которые мне не казались такими уж интересными, однако в рейтинге посещений они оказались в числе 5-ти наиболее популярных. Пример: информация о вакансии в Казахстане.
Популярность записей, вероятнее всего, все же зависит от того, в какой мере они содержат новую информацию и ориентированы на практику. Самая популярная запись в моем блоге вот эта: цепочка результатов.

Оценка государственных программ в бюджетном послании президента

Сегодня президент РФ выступил с посланием "О бюджетной политике в 2013 - 2015 годах". Процитирую два положения из этого послания, которые представляют интерес для всех, кто интересуется оценкой программ (в послании эти две цитаты идут в обратном порядке):

1. "Для  достижения  целей  социально-экономической политики и обеспечения общественного контроля  за  их  достижением формирование и исполнение  бюджета  должно  осуществляться  на  базе  государственных программ".
2. "Пора уходить от ставшего уже привычным измерения исполнения бюджета лишь фиксацией расходования средств на те или иные цели. Критерием должно стать достижение целей социально-экономической политики,  на  финансовое обеспечение которых направляются бюджетные средства".

Другими словами, теперь государственные планы будут состоять из программ. А оценка исполнения государственных планов будет производиться в зависимости от того, в какой мере достигнуты цели программ.

Полагаю, что данная инициатива в ближайшее время столкнется со следующими существенными трудностями:

Выступление в Астане

Через два дня завершается прием заявок на выступления на конференции IPEN в Астане в сентябре. Мы с коллегами стараемся каждый раз рассказать о том, что нового появилось за прошедший с предыдущей конференции год. Поскольку я вынужден был пропустить конференцию в Тбилиси, то "отчетный период" у меня в этот раз - два года. Тема конференции в Астане - использование результатов оценки при принятии управленческих решений. Решил порассуждать о том, как дизайн программ влияет на оценку их результатов и последующее использование результатов этой оценки. Тема из серии "Боль моя, ты покинь меня" (помните эту песню из к/ф про Штирлица?). Постоянно сталкиваемся с одной и той же проблемой: из-за некачественного дизайна программ (в частности, из-за некорректной постановки целей и изъянов в логике) оценивается то, на что программа повлиять попросту не могла. А то, на что она могла повлиять и повлияла, не оценивается вовсе. Соответственно, результаты оценки не говорят ни о чем применительно к программе, и их использование при принятии управленческих решений попросту противопоказано. Если мое выступление будет включено в программу, заходите - поговорим. Программа конференции будет опубликована до конца июля.

В какой момент можно делиться с клиентом предварительными результатами

Проведение оценки программы предполагает выполнение определенных действий в определенной последовательности. В частности, нужно вначале собрать даные, потом проанализировать их, а затем вынести суждения (ответить на вопросы задания). Вынесение суждений на основе неполных данных чревато ошибками. Вынесение суждений без должного анализа данных также весьма рискованно, поскольку в этом случае консультант будет руководствоваться интуитивными ощущениями, возникающими в связи с полученной информацией и не только.
Следовательно, делиться результатами оценки программы с клиентом можно только после того, как проведен анализ данных. Это противоречит принятой многими организациями практике заслушивать предварительные результаты сразу по окончании полевого этапа работ. Связано это с несколькими причинами, одна из которых заключается в том, что консультанты приезжают издалека (например, из другой страны), и клиент их уже не увидит после окончания полевого этапа работ (сбора данных): они уедут домой и потом просто пришлют отчет. Поэтому, вроде бы, идея переговорить с консультантами о предварительных результатах перед их отъездом выглядит здраво.
И вот тут мы можем вернуться к началу моего рассуждения. О чем могут рассказать консультанты в этот момент? У них собран огромный массив данных, которые не только не проанализированы, но и не обработаны даже как следует. Естественно, у консультантов появляются некоторые гипотезы к моменту окончания собра данных. Но гипотезы эти надо тщательно проверить и перепроверить; понять, не следует ли получить дополнительные данные для их потверждения либо опровержения. Только после этого гипотезы переходят в разряд основанных на фактах суждений. И только тогда ими можно делиться с клиентом. Собственно, мое предложение ко всем участникам процесса оценки заключается в том, что не надо спешить с представлением предварительных результатов. Клиенту не следует подталкивать консультантов к тому, чтобы делать недостаточно обоснованные выводы. А консультантам не нужно соглашаться на такие предложения.
Существует компромиссный вариант: консультант может устно рассказать клиенту об основных  предварительных результатах по окончании анализа данных, но до того, как приступит к написанию отчета. Такой подход считаю не только допустимым, но очень даже желательным. Он дает возможность получить предварительную "обратную связь" от клиента, которая поможет при написании отчета. И тут нам приходит на помощь скайп - вполне можно обеспечить эффект присутствия даже если нельзя встретиться лицом к лицу.
В заключение хочу рассказать забавную историю. Один из наших контрактов на оценку программы был заключен с зарубежной организацией. Форма контракта клиентом использовалась стандартная, предполагающая, что консультанты приезжают из другой страны, чтобы оценить программу в России. Так вот, нам пришлось убеждать клиента, что формулировка "консультанты знакомят клиента с предварительными результатами оценки программы непосредственно перед тем, как уедут из России" не вполне отражает наши намерения и что уезжать из России мы вовсе не собираемся. Уговорили :)

Губернатор Костромской области против завышения показателей при оценке программ

Я уже несколько раз писал о том, что при проведении оценки, основанной на показателях, возникает проблема контроля значений этих самых показателей. Причина проста, и обнаружена она была с момента изобретения показателей: люди, работу кторых оценивают по показателям, стремятся сделать так, чтобы показатели были такими, как надо. Иногда это происходит путем прямого воздействия на значения показателей (искажения их истинного значения).
Интересный материал опубликован на государственном портале Костромской области. Губернатор области Сергей Ситников высказал требование "не допускать искажения реальных результатов областных целевых программ, так как оно приводит к необъективной оценке эффективности деятельности исполнительных органов власти и ошибкам в планировании".
Губернатор сказал, в частности, следующее: «Сообщалось, что в прошлом году нашу область посетили 1 млн. туристов. При этом никто не ответил, сколько туристов реально посетило музеи Костромской области, сколько из них было костромичей? Сколько людей приезжало по вопросам бизнеса? Никто не разделял и не фиксировал. Думаю, что на сегодняшний день этот показатель составляет порядка 300 тысяч человек». Губернатор поручил  провести служебное расследование для выявления лиц, которые представили завышенные цифры. Скорее всего, выявление этих лиц не составит большой проблемы.
Но тут есть другой интересный вопрос. Если губернатор считает, что туристов было 300 тысяч, значит, кто-то все-таки их сосчитал? Возможно, Департамент экономического развития, промышленности и торговли, который упоминается в публикации. Вопрос: как считали они и как считали те, кто представил в три раза большее число туристов? Почему данные Департамента экономического развития, промышленности и торговли считаются истинными, а отчетность - неправильной? Мне кажется, что помимо выявления лиц, искажающих отчетность, надо бы провести анализ системы мониторинга госпрограмм и понять, как измеряются те или иные показатели.
А контролировать их значения все равно придется как-то. Такой уж недостаток у оценки программ, основанной на показателях.

Вакансия в Казахстане

Фонд Сороса - Казахстан (Алматы) ищет специалиста на позицию "Координатор по мониторингу, оценке и анализу проектов", в обязанности которого будет входить следующее:

• Развивает и реализует концепцию по мониторингу и оценке проектов ФСК;
• Принимает участие в разработке политик и процедур в отношении мониторинга и оценки проектов ФСК;
• Представляет анализ и рекомендации по результатам мониторинга и оценки грантов ФСК; 
• Готовит текущие отчеты по запросу Учредителя, Попечительского совета, Правления, доноров и других заинтересованных сторон;
• Оказывает техническую поддержку сотрудникам программного отдела и партнерам в планировании и управлении системой мониторинга и оценки;
• В целях мониторинга и оценки координирует процесс определения индикаторов для проектов ФСК;
• Готовит отчеты о достижении целей и задач ФСК в соответствии с установленными индикаторами;
• Обобщает накопленный ФСК опыт для целей стратегического планирования;
• Предлагает и готовит аналитические документы, содержащие выводы и рекомендации;
• Принимает участие в работе над годовыми отчетами ФСК;
• Разрабатывает и, в случае необходимости, проводит тренинги по мониторингу и оценке для сотрудников и партнеров ФСК;
• Инициирует и координирует оценку программ и проектов ФСК;
• Осуществляет выездной мониторинг по мере необходимости;
• Взаимодействует с Архивной программой Фондов Открытого общества в области архивации и анализа информации

Полный текст объявления можно посмотреть здесь

Методика оценки эфективности совещаний

Компания "Автоматизация менеджмента" опубликовала статью по оценке эффективности совещаний. Отличительная особенность статьи - ее инструментальность: предлагаются конкретные критерии оценки и даже балльная система оценки по компонентам совещаний.

Клиент, консультант и ... кто-то еще?

Оценка программ - одно из направлений консалтингового бизнеса. В консультировании есть два главных действующих лица - клиент и консультант. У клиента появляются информационные потребности, которые он не может удовлетворить с помощью существующих средств. Поэтому он выбирает и нанимает консультанта, который должен изучить программу или проект клиента и дать ответы на интересующие его вопросы. К слову сказать, в 2003 году я опубликовал небольшую статью о консультировании, в которой есть и определения консультирования, и обсуждение того, что происходит в процессе консультирования. Все это полностью применимо к консультированию по оценке программ и проектов.
Некоторые организации практикуют привлечение к процессу оценки программ третьих лиц, которые выступают как гаранты качества выполняемых работ. Выглядит это чаще всего так: после проведения оценки эти люди получают проект отчета на рецензию. Здесь у меня как у консультанта возникает проблема: я получаю замечания от человека, который (а) не является моим клиентом; (б) не был включен в процесс оценки; (в) не имеет никакого отношения к оцениваемой программе. Вопрос: почему я должен тратить мое время (и деньги моего клиента) на то, чтобы ответить на его комментарии? Тем более, что часть комментариев, как правило, связана с тем, что рецензент не вполне включен в контекст.
Полагаю, что здесь имеет место смешение жанров. Отчет об оценке программы не является рукописью, направленной для публикации в специализированном журнале, где рецензирование является обязательным этапом. Отчет (хороший отчет!) пишется исключительно для клиента с учетом того, что клиент уже знает, и что он хочет узнать. Если у клиента есть вопросы по отчету, то консультант обязан на эти вопросы ответить и доработать отчет при необходимости. Потому что консультант оказывает клиенту услугу, и это - часть услуги. Если же клиент удовлетворен отчетом, то это означает, что консультант хорошо выполнил свою работу.
Клиент, естественно, может привлекать третьих лиц к обсуждению и рецензированию отчета по своему усмотрению, но эти лица не должны включаться во взаимодействие клиента и консультанта. Если клиент нуждается в такой рецензии, он должен ознакомиться с ее результатами и поделиться с консультантом теми вопросами, которые у него есть с учетом мнения рецензента. При этом сохраняется схема взаимодействия клиент-консультант без участия третьих лиц. Считаю это не просто важным - принципиальным моментом для обеспечения качественных консультационных услуг.