Разработка индикаторов: не останавливаться на полпути

Индикатор – это доступная наблюдению и измерению характеристика интересующего нас объекта (например, социальной программы) или явления, позволяющая судить о других характеристиках этого объекта или явления, недоступных непосредственному наблюдению и измерению.
Хороший пример индикатора  - лакмус. Все наверняка помнят школьные опыты, когда т.н. лакмусовая бумага (бумага, пропитанная специальным веществом – лакмусом) использовалась для определения реакции среды. Еще и стишок был такой:
Индикатор лакмус - красный
Кислоту укажет ясно.
Индикатор лакмус - синий,
Щёлочь здесь - не будь разиней,
Когда ж нейтральная среда,
Он фиолетовый всегда.
Естественно, реакцию среды нельзя наблюдать непосредственно, однако ее легко определить по изменению цвета лакмуса.
С индикаторами, связанными с программами и проектами, принцип остается тот же: найти такие признаки (характеристики), которые можно непосредственно наблюдать и измерять, и по которым можно судить о тех характеристиках проекта или программы, которые нельзя наблюдать и измерять непосредственно.
Например, программа может быть направлена на улучшение здоровья сотрудников предприятия. Это цель.  По каким признакам можно будет судить о ее достижении? Вот несколько вариантов: общее число человеко-дней в год, пропущенных по причине временной нетрудоспособности (по больничным листам); процент сотрудников, которые были на больничном один раз, два раза, три раза за год; доля острых респираторных заболеваний в общем числе причин временной нетрудоспособности сотрудников и т.д. Все эти индикаторы мы можем замерить (посчитать их значения), имея официальную статистику заболеваемости сотрудников.
О чем важно помнить: значение индикатора ВСЕГДА должно быть численным. Если у нас вдруг получился индикатор типа  «подготовлено учебное пособие» или «улучшен доступ к аналитическим данным», то это означает, что мы еще на полпути к успеху. Конечно, можно наблюдать готовность пособия и худо-бедно ощутить, как изменился доступ к данным. Но тут речь идет об измерении. По каким признакам (количественным) мы можем судить о готовности пособия? По каким признакам мы узнаем, что доступ к данным улучшился? Пока не дойдем до чисел, надо продолжать такой вопрос себе задавать.
Самая распространенная ошибка при формировании индикаторов – подмена индикаторов ожидаемыми результатами, которые не поддаются непосредственному наблюдению и для измерения которых нужны индикаторы.

Что же такое эффективность?

Счетная палата провела аудит эффективности использования средств, направляемых на господдержку учреждений общего образования. Результаты оценки вкратце таковы:
- деньги выделены немалые,
- в целом финансирование существенно возросло,
- много что хорошего сделано и закуплено,
- при этом "основная цель государственной политики в сфере общего образования - обеспечение доступности бесплатного качественного образования - до настоящего времени не достигнута".
Я точно не знаю, что такое "основная цель государственной политики". Но если это именно тот результат, для достижения которого финансировались соответствующие мероприятия, то он не достигнут. Это означает, что либо что-то было неправильно с планированием, либо с реализацией, либо с объемом финансирования. Но результат-то не достигнут! Хотя в общем контексте отчета Счетной палаты это утверждение проходит без восклицательного знака в духе того, что наряду с положительными результатами есть кое-какие негативные явления.
Мне думается, что надо к целям и их достижению относиться более серьезно. Вот интересно, что дальше будет с результатами этого аудита? Будет ли, к примеру, проведен "разбор полетов" и определены причины, в силу которых цель не достигнута? Будут ли скорректированы дальнейшие планы работы по результатам анализа?

Путин говорит об оценке в социальной сфере

16 марта сего года Путин выступил на расширенном заседании коллегии Минздравсоцразвития России и сказал следующее:

"Также считаю, что все ключевые решения в социальной сфере должны проходить общественную экспертизу. У нас наработан очень хороший опыт, когда предпринимательские объединения дают оценку регулирующего воздействия правовых актов на деловой климат в экономике. Тем более логично применять подобный общественный аудит и в социальной сфере. Нам необходима процедура оценки социального воздействия правовых актов, регулирующих вопросы развития института семьи, материнства, детства, здравоохранения, экологии, образования и воспитания, защиты нравственности.

И, конечно, общество должно напрямую участвовать в оценке качества работы основных социальных институтов в нашей стране. В связи с этим считаю необходимым определить критерии эффективности работы учреждений социальной сферы и на их основе создать независимую систему оценки качества. В разработке такой системы должны участвовать представители государственной власти, профессиональные ассоциации, общественные структуры и, безусловно, сами граждане России. Для этого нужно использовать социальные сети, механизмы общественных коммуникаций, и я прошу самым активным образом подключиться к этой работе и Агентство стратегических инициатив, там у коллег есть хорошие наработки.
Конечно же, необходимы инструменты профессионального самоконтроля, и прежде всего на основе этических кодексов. Их разработку должны взять на себя профессиональные ассоциации и саморегулируемые организации".
А мы как раз уже здесь и почти готовы :)

Новый электронный журнал

Только что обнаружил, что в прошлом году Высшая Школа Экономики создала новый онлайновый журнал "Организационная психология". Тем, кто занимается оценкой программ, может пригодиться, т.к. это - еще одна смежная область.

О чем надо подумать, создавая свой консалтинговый бизнес

Вчера у меня была очередная встреча со студентами ВШЭ, которые начинают изучение оценки политик и программ. Моя задача - представить оценку как область профессиональной деятельности. В конце лекции студенты задают вопросы. Лучшим вчера, на мой взгляд, был вопрос о том, что нужно принять во внимание, когда собираешься создать свой консалтинговый бизнес.
Думаю, как минимум, три вещи:
- Кто будет вашим клиентом и чем вы можете быть для них полезным. Потенциальные клиенты сегодня очень хорошо образованы и много знают. Кроме того, у них есть много собственных ресурсов. Надо очень хорошо понять, что такого вы можете предложить, чего у них нет.
- Способность жить в условиях высокой степени неопределенности относительно будущей работы. В малом консалтинговом бизнесе, как правило, не бывает гарантированного портфеля заказов на сколько-нибудь длительную перспективу.
- Желание и готовность путешествовать. Во многих случаях успех консалтингового бизнеса зависит от интенсивных поездок.
Эта тема могла бы быть существенно развита, если бы было больше времени :)
PS Для тех, кто был на вчерашней лекции: если захотите связаться со мной, пишите здесь в комментариях или по почте на info@processconsulting.ru

Оценка программ и смежные области

Методы и инструменты оценки программ и проектов могут применяться в различных областях. Чаще обсуждается использование оценки в социальных программах, программах развития. Однако есть много смежных областей, где оценка используется весьма активно. Только вот со специалистами из этих сфер мы пересекаемся не часто: у них - свои профессиональные сообщества. Рекламная кампания, к примеру, вполне может рассматриваться как проект (программа), эффективность которого можно оценивать. ИКЕА, серьезно занимается этим вопросом.

Курс по оценке в программе МВА в Барановичах

В Брестской области Республики Беларусь есть районный центр Барановичи - город с населением порядка 170 тыс. человек. В Барановичах есть государственный университет - 10000 студентов. А в университете этом есть весьма редкий для стран нашего региона учебный курс: "Мониторинг и оценка в системе здравоохранения"!  Подозреваю, что курс может быть уникальным для стран СНГ. Читается он как часть программы МВА со специализацией в сфере управления здравоохранением. Было бы очень интересно узнать историю появления этого курса в учебной программе. Чья-то личная инициатива? Международное сотрудничество?

Пока оцениваем вот так как-то...

Очень обрадовался, когда обнаружил, что опубликованы результаты оценки эффективности долгосрочной целевой программы «Развитие образования Брянской области». Не так часто у нас публикуют отчеты об оценке эффективности государственных программ. Поэтому сам факт публикации считаю положительным. К сожалению, это все хорошие новости. Даже беглое ознакомление с документом показывает, что (а) программы, вероятнее всего, нет, а есть некий набор мероприятий, под которые выделены средства; (б) оценка эффективности  в данном случае не предполагает ни анализа того, в какой мере достигнуты запланированные цели (кроме освоения выделенных средств), ни обсуждения того, можно ли было выделенные средства использовать с большим эффектом.

Приведу один пример.

На 2011 год было запланировано "Развитие областной системы оценки качества как элемента общеобразовательной системы оценки качества". Казалось бы, при оценке эффективности этого компонента программы, нужно посмотреть, создана ли такая система и насколько хорошо она работает. В отчете же мы обнаруживаем лишь один (!) показатель, по которому предлагается судить о системе оценки качества: "Увеличение удельного веса выпускников общеобразовательных учреждений, поступивших в учреждения высшего и среднего профессионального образования по результатам ЕГЭ". Планировалось, что этот удельный вес (не очень понятно, кстати, как его считают) будет 73%, а он оказался 74%. Из чего, вероятно, делается вывод, что 2,5 миллиона рублей, выделенных на развитие областной системы оценки качества, потрачены не зря.

Я больше чем уверен, что в Брянской области велась работа по созданию областной системы оценки качества. Однако из отчета об оценке эффективности этой работы нельзя понять ни ее целей, ни фактических результатов. А используемый для оценки единственный показатель вызывает большие сомнения (не его значение, а сам показатель - насколько он связан с системой оценки качества).

Началась работа по созданию российской ассоциации

В инициативную группу по созданию Российской ассоциации по оцениванию вошли Наталья Тюшкевич (Детский фонд "Виктория", Москва), Татьяна Лыскина (Южный региональный ресурсный центр, Краснодар), Марина Михайлова (Центр "Гарант", Архангельск), Елена Малицкая (Сибирский центр поддержки общественных инициатив, Новосибирск), Евгения Верба (Ассоциация "Служение", Нижний Новгород), Владимир Балакирев (Компания "Процесс Консалтинг", Москва), Алексей Кузьмин (Компания "Процесс Консалтинг", Москва), Даниил Цыганков (Высшая школа экономики, Москва).

Предполагается, что ассоциация объединит специалистов по оцениванию программ и политик, оценке воздействия (ОРВ, ОВОС), общественной экспертизе, аудиту эффективности т.д. Предварительно, учредительная конференция Ассоциации пройдет в Москве, в 20-х числах июня 2012 г. Инициативная группа занимается подготовкой учредительной конференции ассоциации и сложит с себя все полномочия после формирования руководящих органов Ассоциации. 

Страница на Facebook 

Страница Вконтакте

Аудит эффективности в медицине

У нас не так уж много примеров методик аудита эффективности, которые апробированы и реально применяются на практике. В связи с этим хотел бы обратить внимание уважаемых читателей данного блога на разработку Института Здровья Семьи (при загрузке там просят пароль, и надо просто пропустить это - Esc, и все откроется).
Речь идет о методике оценки оказания качества медицинской помощи женщинам и детям. Несмотря на специфичность тематики, полагаю, что публикация может быть интересна всем, кто интересуется вопросами оценки эффективности, поскольку авторы (Наталья Вартапетова и Олег Швабский) говорят о принципах аудита эффективности. Например, в предлагаемой методике каждый из показателей оценивается по двухбалльной системе: 1- внедрено полностью, 0 - не внедрено. Казалось бы, система оценки слишком "грубая" и негибкая. Однако, при ближайшем ознакомлении с ней любой пациент наверняка согласится с предлагаемым подходом. Авторы пишут: "Имеет ли значение, прежде всего для пациента, тот факт, что врач овладел навыками сердечно-легочной реанимации на 40% (плохо)  или даже 90% (хорошо)? Больной с большей долей вероятности останется жив если ему будет оказана своевременная, адекватная, правильная (по алгоритму), в полном объеме помощь.  Практически важен ответ на вопрос, сформулированный в категоричной форме: готов или не готов специалист эффективно оказать помощь в 100% случаях?".
В общем, рекомендую прочесть.