EVAL.RU

Это адрес будущего сайта создаваемой в России ассоциации специалистов по оценке программ и политик. Я уже несколько раз писал о том, что такая работа ведется, и что мы с коллегами принимаем в ней активное участие. Мы столкнулись с целым рядом проблем. Поиск решений занял некоторое время. Но все идет к тому, что ассоциация будет! Вот и адрес сайта даже есть. Там пока просто анонс. Но лиха беда начало!  

В Кыргызстане мониторинг и оценка теперь абсолютно легитимные виды деятельности

18 февраля 2014 года Президент Кыргызской Республики Алмазбек Атамбаев подписал Закон «О внесении дополнений в некоторые законодательные акты Кыргызской Республики». Закон принят Жогорку Кенешем Кыргызской Республики 15 января 2014 года.
Закон принят в целях повышения эффективности и результативности действующей нормативной правовой базы Кыргызской Республики путем мониторинга и оценки нормативных правовых актов, (стратегий/программ), принятых государственными органами и органами местного самоуправления.
В частности, дополнения внесены в следующие Законы Кыргызской Республики:  «О нормативных правовых актах Кыргызской Республики», «Об оптимизации нормативной правовой базы регулирования предпринимательской деятельности», «О доступе к информации, находящейся в ведении государственных органов и органов местного самоуправления Кыргызской Республики», «О Регламенте Жогорку Кенеша Кыргызской Республики», «О местном самоуправлении».
Закон вступает в силу со дня официального опубликования, за исключением статьи 4, вступающей в силу по истечении шести месяцев со вступления в силу Закона.
Далее - для интересующихся деталями - привожу полный текст Закона, который я получил через рассылку кыргызстанской сети мониторинга и оценки.

Открыт прием заявок на выступления на конференции в Бишкеке

Открыт прием заявок на конференцию Международной сети "Оценка программ" (IPEN). Конференция пройдет в Бишкеке (Кыргызстан) с 24 по 26 сентября 2014 года. Тема конференции "Оценка для развития: от внедрения к воздействию". Все подробности и форма заявки на выступление на сайте конференции. Заявки на выступления принимаются до 15 мая 2014 года.

Утром - результаты, вечером - индикаторы

Есть такой сайт про ключевые индикаторы эффективности (key performance indicators - KPIs), который называется KPI Library. Там можно найти индикаторы всего и на все случаи жизни. Библиотека постоянно пополняется. Один разделов этого сайта - блог, куда пишут специалисты по оценке эффективности и использованию индикаторов.
В сегодняшней статье некто Стейси Барр (Stacey Barr) пишет о том, почему при оценке услуг следует избегать использования индикаторов удовлетворенности потребителей и индикаторов, связанных с жалобами потребителей. Свою статью она завершает следующими рекомендациями (я их немного отредактировал, потому привожу без кавычек):
1) всегда вначале думайте о деле, о том, чего нужно добиться, что нужно изменить или улучшить, и только потом переходите к тому, как это можно измерить или оценить;
2) никогда не пытайтесь задним числом "подогнать" существующие измерительные инструменты к результатам, иначе вы рискуете измерять неправильные параметры и затем неправильно использовать результаты измерения.
Это напомнило мне мудрую мысль одного из персонажей Ильфа и Петрова:
"Деньги вперёд... утром — деньги, вечером — стулья или вечером — деньги, а на другой день утром — стулья. А может быть, сегодня — стулья, а завтра — деньги? — пытал Остап.

— Я же, дуся, человек измученный. Такие условия душа не принимает" :)

Специальный выпуск Канадского журнала по оценке программ

Те, кто интересуется компетенциями специалистов в области оценки, могут найти полезным специальный выпуск Канадского журнала по оценке программ, целиком посвященный этой теме. Полагаю, это самая свежая и самая полная информация о состоянии дел в этой области. Статьи написаны авторами из разных стран (Канада, Новая Зеландия, Россия, ЮАР, США). Мы с Даниилом Цыганковым про российский опыт написали. Все статьи можно почитать и скачать бесплатно. 

В первом меде будут учить оценке программ

В первом меде пройдет учебный курс по профилактике и борьбе с неинфекционными заболеваниями для политиков здравоохранения стран Центральной Азии и Восточной Европы. Примечательно, что тема оценки вошла.
"Глобальные стратегии и планы действий в области профилактики НИЗ, национальное планирование и контроль, мониторинг и оценка программ, финансовые и экономические аспекты профилактики — вот далеко не полный перечень тем, которые стали предметом изучения политиков и стратегов организации здравоохранения стран Центральной Азии и Восточной Европы в Первом МГМУ им. И.М. Сеченова". 

Подходы к оценке качества услуг

Качество услуги в самом общем виде может быть определено как степень соответствия совокупности присущих услуге характеристик требованиям стандартов и/или требованиям потребителей. Такое определение, в частности, соответствует стандарту ISO 9000-2005 и созданному на его основе ГОСТ Р ИСО 9000–2008 "Системы менеджмента качества. Основные положения и словарь".
Оценивать качество услуги можно, соответственно, двумя способами (см. рисунок):
(а) сравнивая его с требованиями стандартов (или каких-то других нормативных документов, определяющих обязательные к соблюдению требования к услуге) и
(б) опираясь на мнение потребителей.
Эти два подхода не являются взаимоисключающими.

Оценка на основании стандартов качества может производиться в "закрытом" режиме, когда оказывающие услугу не знают о том, что происходит оценка (такой метод называют "тайный покупатель") и в "открытом" режиме, когда сбор данных о характеристиках услуги производится по согласованию с теми, кто оказывает услугу (такой метод можно назвать аудитом качества).

Оценка качества услуги на основании мнения потребителей может производиться на основе впечатления потребителя от уже полученной услуги (примером такого подхода может служить описанная в зарубежной литературе методика SERVPERF - от service performance) либо на основе сравнения ожиданий потребителей с их впечатлением от уже оказанной услуги (пример - широко известная методика SERVQUAL - от service quality).
Учет существующих подходов к оценке качества услуг, а также их сильных и слабых сторон (о которых много написано в специальной литературе) мог бы пригодиться тем, кто сейчас формирует т.н. "систему независимой оценки" качества социальных услуг. 

Риски, связанные с использованием индикаторов

Сегодня просто приведу две цитаты из работ весьма авторитетных людей:

• «Чем больше любой количественный (или даже качественный) индикатор используется в процессе принятия социально-значимых решений, тем в большей степени он становится подвержен коррупционному давлению и тем в большей степени он будет искажать и нарушать социальные процессы, для мониторинга которых он был изначально предназначен» Campbell, Donald T. (1976) Assessing the Impact of Planned Social Change
• «Когда показатель становится целью, он перестает быть хорошим средством измерения». Goodhart, C.A.E. (1975). "Problems of Monetary Management: The U.K. Experience". Papers in Monetary Economics (Reserve Bank of Australia)

Первое утверждение называют еще законом Кэмпбелла, а второе - законом Гудхарта. В интернете есть публикации и на русском, и на английском языках. Я привел ссылки на статьи в англоязычной Википедии. 

К вопросу об оценке качества социальных услуг

Готовлюсь сейчас к семинарам по оценке в социальной сфере, которые пройдут в Новосибирске 20 и 21 февраля. Тема непростая. Есть четкое указание сверху на то, что такую оценку надо внедрять, но нет ясности относительно того, кто, как и для чего будет проводить оценку. Вчера беседовал с коллегой по этому поводу. Его жена, профессионально играющая на пианино, на волонтерских началах ездит каждую пятницу с утра в больницу по соседству и полтора часа там играет в фойе. Людям очень нравится. Такое вот можно учесть при оценке качества работы этой больницы? :)  И нужно ли это учитывать? 

Как описать извлеченные уроки

Все чаще в рекомендациях по проведению оценки программ говорится о необходимости описания извлеченных уроков ("lessons learned"). В некоторых структурах приняты даже внутренние нормативные документы, согласно которым раздел об "уроках" в отчете об оценке программы является обязательным. При этом бывает не совсем понятно, чем "уроки" должны отличаться, скажем, от выводов, сделанных в ходе анализа данных. И вообще как "уроки" вписываются в классическую схему анализа "факты-интерпретации-выводы-рекомендации"?
Я для себя сформулировал ответ таким образом: "уроки программы" - это некоторые из выводов и рекомендаций, сформулированные в обобщенном виде так, чтобы они могли быть использованы за пределами оцениваемой программы в сходных программах или в сходных ситуациях. Другими словами, "уроки" - это те знания, полученные в ходе оценки, которые могут пригодиться не только самой программе.
С учетом приведенных выше определений формулирование "уроков" является продолжением анализа: мы выбираем те выводы и рекомендации, которые могут иметь значение за пределами программы и переформулируем их в обобщенном виде.  В общем случае уроков должно быть меньше, чем выводов и рекомендаций, поскольку не все они могут быть использованы за рамками программы.