четверг, 19 апреля 2012 г.

Разработка индикаторов: не останавливаться на полпути

Индикатор – это доступная наблюдению и измерению характеристика интересующего нас объекта (например, социальной программы) или явления, позволяющая судить о других характеристиках этого объекта или явления, недоступных непосредственному наблюдению и измерению.
Хороший пример индикатора  - лакмус. Все наверняка помнят школьные опыты, когда т.н. лакмусовая бумага (бумага, пропитанная специальным веществом – лакмусом) использовалась для определения реакции среды. Еще и стишок был такой:
Индикатор лакмус - красный
Кислоту укажет ясно.
Индикатор лакмус - синий,
Щёлочь здесь - не будь разиней,
Когда ж нейтральная среда,
Он фиолетовый всегда.

Естественно, реакцию среды нельзя наблюдать непосредственно, однако ее легко определить по изменению цвета лакмуса.
С индикаторами, связанными с программами и проектами, принцип остается тот же: найти такие признаки (характеристики), которые можно непосредственно наблюдать и измерять, и по которым можно судить о тех характеристиках проекта или программы, которые нельзя наблюдать и измерять непосредственно.
Например, программа может быть направлена на улучшение здоровья сотрудников предприятия. Это цель.  По каким признакам можно будет судить о ее достижении? Вот несколько вариантов: общее число человеко-дней в год, пропущенных по причине временной нетрудоспособности (по больничным листам); процент сотрудников, которые были на больничном один раз, два раза, три раза за год; доля острых респираторных заболеваний в общем числе причин временной нетрудоспособности сотрудников и т.д. Все эти индикаторы мы можем замерить (посчитать их значения), имея официальную статистику заболеваемости сотрудников.
О чем важно помнить: значение индикатора ВСЕГДА должно быть численным. Если у нас вдруг получился индикатор типа  «подготовлено учебное пособие» или «улучшен доступ к аналитическим данным», то это означает, что мы еще на полпути к успеху. Конечно, можно наблюдать готовность пособия и худо-бедно ощутить, как изменился доступ к данным. Но тут речь идет об измерении. По каким признакам (количественным) мы можем судить о готовности пособия? По каким признакам мы узнаем, что доступ к данным улучшился? Пока не дойдем до чисел, надо продолжать такой вопрос себе задавать.
Самая распространенная ошибка при формировании индикаторов – подмена индикаторов ожидаемыми результатами, которые не поддаются непосредственному наблюдению и для измерения которых нужны индикаторы.

четверг, 12 апреля 2012 г.

Что же такое эффективность?

Счетная палата провела аудит эффективности использования средств, направляемых на господдержку учреждений общего образования. Результаты оценки вкратце таковы:
- деньги выделены немалые,
- в целом финансирование существенно возросло,
- много что хорошего сделано и закуплено,
- при этом "основная цель государственной политики в сфере общего образования - обеспечение доступности бесплатного качественного образования - до настоящего времени не достигнута".
Я точно не знаю, что такое "основная цель государственной политики". Но если это именно тот результат, для достижения которого финансировались соответствующие мероприятия, то он не достигнут. Это означает, что либо что-то было неправильно с планированием, либо с реализацией, либо с объемом финансирования. Но результат-то не достигнут! Хотя в общем контексте отчета Счетной палаты это утверждение проходит без восклицательного знака в духе того, что наряду с положительными результатами есть кое-какие негативные явления.
Мне думается, что надо к целям и их достижению относиться более серьезно. Вот интересно, что дальше будет с результатами этого аудита? Будет ли, к примеру, проведен "разбор полетов" и определены причины, в силу которых цель не достигнута? Будут ли скорректированы дальнейшие планы работы по результатам анализа?

вторник, 10 апреля 2012 г.

Путин говорит об оценке в социальной сфере

"Также считаю, что все ключевые решения в социальной сфере должны проходить общественную экспертизу. У нас наработан очень хороший опыт, когда предпринимательские объединения дают оценку регулирующего воздействия правовых актов на деловой климат в экономике. Тем более логично применять подобный общественный аудит и в социальной сфере. Нам необходима процедура оценки социального воздействия правовых актов, регулирующих вопросы развития института семьи, материнства, детства, здравоохранения, экологии, образования и воспитания, защиты нравственности.
И, конечно, общество должно напрямую участвовать в оценке качества работы основных социальных институтов в нашей стране. В связи с этим считаю необходимым определить критерии эффективности работы учреждений социальной сферы и на их основе создать независимую систему оценки качества. В разработке такой системы должны участвовать представители государственной власти, профессиональные ассоциации, общественные структуры и, безусловно, сами граждане России. Для этого нужно использовать социальные сети, механизмы общественных коммуникаций, и я прошу самым активным образом подключиться к этой работе и Агентство стратегических инициатив, там у коллег есть хорошие наработки.
Конечно же, необходимы инструменты профессионального самоконтроля, и прежде всего на основе этических кодексов. Их разработку должны взять на себя профессиональные ассоциации и саморегулируемые организации".
А мы как раз уже здесь и почти готовы :)

понедельник, 9 апреля 2012 г.

Новый электронный журнал

Только что обнаружил, что в прошлом году Высшая Школа Экономики создала новый онлайновый журнал "Организационная психология". Тем, кто занимается оценкой программ, может пригодиться, т.к. это - еще одна смежная область.

вторник, 3 апреля 2012 г.

О чем надо подумать, создавая свой консалтинговый бизнес

Вчера у меня была очередная встреча со студентами ВШЭ, которые начинают изучение оценки политик и программ. Моя задача - представить оценку как область профессиональной деятельности. В конце лекции студенты задают вопросы. Лучшим вчера, на мой взгляд, был вопрос о том, что нужно принять во внимание, когда собираешься создать свой консалтинговый бизнес.
Думаю, как минимум, три вещи:
- Кто будет вашим клиентом и чем вы можете быть для них полезным. Потенциальные клиенты сегодня очень хорошо образованы и много знают. Кроме того, у них есть много собственных ресурсов. Надо очень хорошо понять, что такого вы можете предложить, чего у них нет.
- Способность жить в условиях высокой степени неопределенности относительно будущей работы. В малом консалтинговом бизнесе, как правило, не бывает гарантированного портфеля заказов на сколько-нибудь длительную перспективу.
- Желание и готовность путешествовать. Во многих случаях успех консалтингового бизнеса зависит от интенсивных поездок.
Эта тема могла бы быть существенно развита, если бы было больше времени :)
PS Для тех, кто был на вчерашней лекции: если захотите связаться со мной, пишите здесь в комментариях или по почте на info@processconsulting.ru

понедельник, 2 апреля 2012 г.

Оценка программ и смежные области

Методы и инструменты оценки программ и проектов могут применяться в различных областях. Чаще обсуждается использование оценки в социальных программах, программах развития. Однако есть много смежных областей, где оценка используется весьма активно. Только вот со специалистами из этих сфер мы пересекаемся не часто: у них - свои профессиональные сообщества. Рекламная кампания, к примеру, вполне может рассматриваться как проект (программа), эффективность которого можно оценивать. ИКЕА, серьезно занимается этим вопросом.