Губернатор Костромской области против завышения показателей при оценке программ

Я уже несколько раз писал о том, что при проведении оценки, основанной на показателях, возникает проблема контроля значений этих самых показателей. Причина проста, и обнаружена она была с момента изобретения показателей: люди, работу кторых оценивают по показателям, стремятся сделать так, чтобы показатели были такими, как надо. Иногда это происходит путем прямого воздействия на значения показателей (искажения их истинного значения).
Интересный материал опубликован на государственном портале Костромской области. Губернатор области Сергей Ситников высказал требование "не допускать искажения реальных результатов областных целевых программ, так как оно приводит к необъективной оценке эффективности деятельности исполнительных органов власти и ошибкам в планировании".
Губернатор сказал, в частности, следующее: «Сообщалось, что в прошлом году нашу область посетили 1 млн. туристов. При этом никто не ответил, сколько туристов реально посетило музеи Костромской области, сколько из них было костромичей? Сколько людей приезжало по вопросам бизнеса? Никто не разделял и не фиксировал. Думаю, что на сегодняшний день этот показатель составляет порядка 300 тысяч человек». Губернатор поручил  провести служебное расследование для выявления лиц, которые представили завышенные цифры. Скорее всего, выявление этих лиц не составит большой проблемы.
Но тут есть другой интересный вопрос. Если губернатор считает, что туристов было 300 тысяч, значит, кто-то все-таки их сосчитал? Возможно, Департамент экономического развития, промышленности и торговли, который упоминается в публикации. Вопрос: как считали они и как считали те, кто представил в три раза большее число туристов? Почему данные Департамента экономического развития, промышленности и торговли считаются истинными, а отчетность - неправильной? Мне кажется, что помимо выявления лиц, искажающих отчетность, надо бы провести анализ системы мониторинга госпрограмм и понять, как измеряются те или иные показатели.
А контролировать их значения все равно придется как-то. Такой уж недостаток у оценки программ, основанной на показателях.

Вакансия в Казахстане

Фонд Сороса - Казахстан (Алматы) ищет специалиста на позицию "Координатор по мониторингу, оценке и анализу проектов", в обязанности которого будет входить следующее:

• Развивает и реализует концепцию по мониторингу и оценке проектов ФСК;
• Принимает участие в разработке политик и процедур в отношении мониторинга и оценки проектов ФСК;
• Представляет анализ и рекомендации по результатам мониторинга и оценки грантов ФСК; 
• Готовит текущие отчеты по запросу Учредителя, Попечительского совета, Правления, доноров и других заинтересованных сторон;
• Оказывает техническую поддержку сотрудникам программного отдела и партнерам в планировании и управлении системой мониторинга и оценки;
• В целях мониторинга и оценки координирует процесс определения индикаторов для проектов ФСК;
• Готовит отчеты о достижении целей и задач ФСК в соответствии с установленными индикаторами;
• Обобщает накопленный ФСК опыт для целей стратегического планирования;
• Предлагает и готовит аналитические документы, содержащие выводы и рекомендации;
• Принимает участие в работе над годовыми отчетами ФСК;
• Разрабатывает и, в случае необходимости, проводит тренинги по мониторингу и оценке для сотрудников и партнеров ФСК;
• Инициирует и координирует оценку программ и проектов ФСК;
• Осуществляет выездной мониторинг по мере необходимости;
• Взаимодействует с Архивной программой Фондов Открытого общества в области архивации и анализа информации

Полный текст объявления можно посмотреть здесь

Методика оценки эфективности совещаний

Компания "Автоматизация менеджмента" опубликовала статью по оценке эффективности совещаний. Отличительная особенность статьи - ее инструментальность: предлагаются конкретные критерии оценки и даже балльная система оценки по компонентам совещаний.

Клиент, консультант и ... кто-то еще?

Оценка программ - одно из направлений консалтингового бизнеса. В консультировании есть два главных действующих лица - клиент и консультант. У клиента появляются информационные потребности, которые он не может удовлетворить с помощью существующих средств. Поэтому он выбирает и нанимает консультанта, который должен изучить программу или проект клиента и дать ответы на интересующие его вопросы. К слову сказать, в 2003 году я опубликовал небольшую статью о консультировании, в которой есть и определения консультирования, и обсуждение того, что происходит в процессе консультирования. Все это полностью применимо к консультированию по оценке программ и проектов.
Некоторые организации практикуют привлечение к процессу оценки программ третьих лиц, которые выступают как гаранты качества выполняемых работ. Выглядит это чаще всего так: после проведения оценки эти люди получают проект отчета на рецензию. Здесь у меня как у консультанта возникает проблема: я получаю замечания от человека, который (а) не является моим клиентом; (б) не был включен в процесс оценки; (в) не имеет никакого отношения к оцениваемой программе. Вопрос: почему я должен тратить мое время (и деньги моего клиента) на то, чтобы ответить на его комментарии? Тем более, что часть комментариев, как правило, связана с тем, что рецензент не вполне включен в контекст.
Полагаю, что здесь имеет место смешение жанров. Отчет об оценке программы не является рукописью, направленной для публикации в специализированном журнале, где рецензирование является обязательным этапом. Отчет (хороший отчет!) пишется исключительно для клиента с учетом того, что клиент уже знает, и что он хочет узнать. Если у клиента есть вопросы по отчету, то консультант обязан на эти вопросы ответить и доработать отчет при необходимости. Потому что консультант оказывает клиенту услугу, и это - часть услуги. Если же клиент удовлетворен отчетом, то это означает, что консультант хорошо выполнил свою работу.
Клиент, естественно, может привлекать третьих лиц к обсуждению и рецензированию отчета по своему усмотрению, но эти лица не должны включаться во взаимодействие клиента и консультанта. Если клиент нуждается в такой рецензии, он должен ознакомиться с ее результатами и поделиться с консультантом теми вопросами, которые у него есть с учетом мнения рецензента. При этом сохраняется схема взаимодействия клиент-консультант без участия третьих лиц. Считаю это не просто важным - принципиальным моментом для обеспечения качественных консультационных услуг.

Разработка индикаторов: не останавливаться на полпути

Индикатор – это доступная наблюдению и измерению характеристика интересующего нас объекта (например, социальной программы) или явления, позволяющая судить о других характеристиках этого объекта или явления, недоступных непосредственному наблюдению и измерению.
Хороший пример индикатора  - лакмус. Все наверняка помнят школьные опыты, когда т.н. лакмусовая бумага (бумага, пропитанная специальным веществом – лакмусом) использовалась для определения реакции среды. Еще и стишок был такой:
Индикатор лакмус - красный
Кислоту укажет ясно.
Индикатор лакмус - синий,
Щёлочь здесь - не будь разиней,
Когда ж нейтральная среда,
Он фиолетовый всегда.
Естественно, реакцию среды нельзя наблюдать непосредственно, однако ее легко определить по изменению цвета лакмуса.
С индикаторами, связанными с программами и проектами, принцип остается тот же: найти такие признаки (характеристики), которые можно непосредственно наблюдать и измерять, и по которым можно судить о тех характеристиках проекта или программы, которые нельзя наблюдать и измерять непосредственно.
Например, программа может быть направлена на улучшение здоровья сотрудников предприятия. Это цель.  По каким признакам можно будет судить о ее достижении? Вот несколько вариантов: общее число человеко-дней в год, пропущенных по причине временной нетрудоспособности (по больничным листам); процент сотрудников, которые были на больничном один раз, два раза, три раза за год; доля острых респираторных заболеваний в общем числе причин временной нетрудоспособности сотрудников и т.д. Все эти индикаторы мы можем замерить (посчитать их значения), имея официальную статистику заболеваемости сотрудников.
О чем важно помнить: значение индикатора ВСЕГДА должно быть численным. Если у нас вдруг получился индикатор типа  «подготовлено учебное пособие» или «улучшен доступ к аналитическим данным», то это означает, что мы еще на полпути к успеху. Конечно, можно наблюдать готовность пособия и худо-бедно ощутить, как изменился доступ к данным. Но тут речь идет об измерении. По каким признакам (количественным) мы можем судить о готовности пособия? По каким признакам мы узнаем, что доступ к данным улучшился? Пока не дойдем до чисел, надо продолжать такой вопрос себе задавать.
Самая распространенная ошибка при формировании индикаторов – подмена индикаторов ожидаемыми результатами, которые не поддаются непосредственному наблюдению и для измерения которых нужны индикаторы.

Что же такое эффективность?

Счетная палата провела аудит эффективности использования средств, направляемых на господдержку учреждений общего образования. Результаты оценки вкратце таковы:
- деньги выделены немалые,
- в целом финансирование существенно возросло,
- много что хорошего сделано и закуплено,
- при этом "основная цель государственной политики в сфере общего образования - обеспечение доступности бесплатного качественного образования - до настоящего времени не достигнута".
Я точно не знаю, что такое "основная цель государственной политики". Но если это именно тот результат, для достижения которого финансировались соответствующие мероприятия, то он не достигнут. Это означает, что либо что-то было неправильно с планированием, либо с реализацией, либо с объемом финансирования. Но результат-то не достигнут! Хотя в общем контексте отчета Счетной палаты это утверждение проходит без восклицательного знака в духе того, что наряду с положительными результатами есть кое-какие негативные явления.
Мне думается, что надо к целям и их достижению относиться более серьезно. Вот интересно, что дальше будет с результатами этого аудита? Будет ли, к примеру, проведен "разбор полетов" и определены причины, в силу которых цель не достигнута? Будут ли скорректированы дальнейшие планы работы по результатам анализа?

Путин говорит об оценке в социальной сфере

16 марта сего года Путин выступил на расширенном заседании коллегии Минздравсоцразвития России и сказал следующее:

"Также считаю, что все ключевые решения в социальной сфере должны проходить общественную экспертизу. У нас наработан очень хороший опыт, когда предпринимательские объединения дают оценку регулирующего воздействия правовых актов на деловой климат в экономике. Тем более логично применять подобный общественный аудит и в социальной сфере. Нам необходима процедура оценки социального воздействия правовых актов, регулирующих вопросы развития института семьи, материнства, детства, здравоохранения, экологии, образования и воспитания, защиты нравственности.

И, конечно, общество должно напрямую участвовать в оценке качества работы основных социальных институтов в нашей стране. В связи с этим считаю необходимым определить критерии эффективности работы учреждений социальной сферы и на их основе создать независимую систему оценки качества. В разработке такой системы должны участвовать представители государственной власти, профессиональные ассоциации, общественные структуры и, безусловно, сами граждане России. Для этого нужно использовать социальные сети, механизмы общественных коммуникаций, и я прошу самым активным образом подключиться к этой работе и Агентство стратегических инициатив, там у коллег есть хорошие наработки.
Конечно же, необходимы инструменты профессионального самоконтроля, и прежде всего на основе этических кодексов. Их разработку должны взять на себя профессиональные ассоциации и саморегулируемые организации".
А мы как раз уже здесь и почти готовы :)

Новый электронный журнал

Только что обнаружил, что в прошлом году Высшая Школа Экономики создала новый онлайновый журнал "Организационная психология". Тем, кто занимается оценкой программ, может пригодиться, т.к. это - еще одна смежная область.

О чем надо подумать, создавая свой консалтинговый бизнес

Вчера у меня была очередная встреча со студентами ВШЭ, которые начинают изучение оценки политик и программ. Моя задача - представить оценку как область профессиональной деятельности. В конце лекции студенты задают вопросы. Лучшим вчера, на мой взгляд, был вопрос о том, что нужно принять во внимание, когда собираешься создать свой консалтинговый бизнес.
Думаю, как минимум, три вещи:
- Кто будет вашим клиентом и чем вы можете быть для них полезным. Потенциальные клиенты сегодня очень хорошо образованы и много знают. Кроме того, у них есть много собственных ресурсов. Надо очень хорошо понять, что такого вы можете предложить, чего у них нет.
- Способность жить в условиях высокой степени неопределенности относительно будущей работы. В малом консалтинговом бизнесе, как правило, не бывает гарантированного портфеля заказов на сколько-нибудь длительную перспективу.
- Желание и готовность путешествовать. Во многих случаях успех консалтингового бизнеса зависит от интенсивных поездок.
Эта тема могла бы быть существенно развита, если бы было больше времени :)
PS Для тех, кто был на вчерашней лекции: если захотите связаться со мной, пишите здесь в комментариях или по почте на info@processconsulting.ru

Оценка программ и смежные области

Методы и инструменты оценки программ и проектов могут применяться в различных областях. Чаще обсуждается использование оценки в социальных программах, программах развития. Однако есть много смежных областей, где оценка используется весьма активно. Только вот со специалистами из этих сфер мы пересекаемся не часто: у них - свои профессиональные сообщества. Рекламная кампания, к примеру, вполне может рассматриваться как проект (программа), эффективность которого можно оценивать. ИКЕА, серьезно занимается этим вопросом.