Открыт прием заявок на выступления на конференции в Бишкеке

Открыт прием заявок на конференцию Международной сети "Оценка программ" (IPEN). Конференция пройдет в Бишкеке (Кыргызстан) с 24 по 26 сентября 2014 года. Тема конференции "Оценка для развития: от внедрения к воздействию". Все подробности и форма заявки на выступление на сайте конференции. Заявки на выступления принимаются до 15 мая 2014 года.

Утром - результаты, вечером - индикаторы

Есть такой сайт про ключевые индикаторы эффективности (key performance indicators - KPIs), который называется KPI Library. Там можно найти индикаторы всего и на все случаи жизни. Библиотека постоянно пополняется. Один разделов этого сайта - блог, куда пишут специалисты по оценке эффективности и использованию индикаторов.
В сегодняшней статье некто Стейси Барр (Stacey Barr) пишет о том, почему при оценке услуг следует избегать использования индикаторов удовлетворенности потребителей и индикаторов, связанных с жалобами потребителей. Свою статью она завершает следующими рекомендациями (я их немного отредактировал, потому привожу без кавычек):
1) всегда вначале думайте о деле, о том, чего нужно добиться, что нужно изменить или улучшить, и только потом переходите к тому, как это можно измерить или оценить;
2) никогда не пытайтесь задним числом "подогнать" существующие измерительные инструменты к результатам, иначе вы рискуете измерять неправильные параметры и затем неправильно использовать результаты измерения.
Это напомнило мне мудрую мысль одного из персонажей Ильфа и Петрова:
"Деньги вперёд... утром — деньги, вечером — стулья или вечером — деньги, а на другой день утром — стулья. А может быть, сегодня — стулья, а завтра — деньги? — пытал Остап.

— Я же, дуся, человек измученный. Такие условия душа не принимает" :)

Специальный выпуск Канадского журнала по оценке программ

Те, кто интересуется компетенциями специалистов в области оценки, могут найти полезным специальный выпуск Канадского журнала по оценке программ, целиком посвященный этой теме. Полагаю, это самая свежая и самая полная информация о состоянии дел в этой области. Статьи написаны авторами из разных стран (Канада, Новая Зеландия, Россия, ЮАР, США). Мы с Даниилом Цыганковым про российский опыт написали. Все статьи можно почитать и скачать бесплатно. 

В первом меде будут учить оценке программ

В первом меде пройдет учебный курс по профилактике и борьбе с неинфекционными заболеваниями для политиков здравоохранения стран Центральной Азии и Восточной Европы. Примечательно, что тема оценки вошла.
"Глобальные стратегии и планы действий в области профилактики НИЗ, национальное планирование и контроль, мониторинг и оценка программ, финансовые и экономические аспекты профилактики — вот далеко не полный перечень тем, которые стали предметом изучения политиков и стратегов организации здравоохранения стран Центральной Азии и Восточной Европы в Первом МГМУ им. И.М. Сеченова". 

Подходы к оценке качества услуг

Качество услуги в самом общем виде может быть определено как степень соответствия совокупности присущих услуге характеристик требованиям стандартов и/или требованиям потребителей. Такое определение, в частности, соответствует стандарту ISO 9000-2005 и созданному на его основе ГОСТ Р ИСО 9000–2008 "Системы менеджмента качества. Основные положения и словарь".
Оценивать качество услуги можно, соответственно, двумя способами (см. рисунок):
(а) сравнивая его с требованиями стандартов (или каких-то других нормативных документов, определяющих обязательные к соблюдению требования к услуге) и
(б) опираясь на мнение потребителей.
Эти два подхода не являются взаимоисключающими.

Оценка на основании стандартов качества может производиться в "закрытом" режиме, когда оказывающие услугу не знают о том, что происходит оценка (такой метод называют "тайный покупатель") и в "открытом" режиме, когда сбор данных о характеристиках услуги производится по согласованию с теми, кто оказывает услугу (такой метод можно назвать аудитом качества).

Оценка качества услуги на основании мнения потребителей может производиться на основе впечатления потребителя от уже полученной услуги (примером такого подхода может служить описанная в зарубежной литературе методика SERVPERF - от service performance) либо на основе сравнения ожиданий потребителей с их впечатлением от уже оказанной услуги (пример - широко известная методика SERVQUAL - от service quality).
Учет существующих подходов к оценке качества услуг, а также их сильных и слабых сторон (о которых много написано в специальной литературе) мог бы пригодиться тем, кто сейчас формирует т.н. "систему независимой оценки" качества социальных услуг. 

Риски, связанные с использованием индикаторов

Сегодня просто приведу две цитаты из работ весьма авторитетных людей:

• «Чем больше любой количественный (или даже качественный) индикатор используется в процессе принятия социально-значимых решений, тем в большей степени он становится подвержен коррупционному давлению и тем в большей степени он будет искажать и нарушать социальные процессы, для мониторинга которых он был изначально предназначен» Campbell, Donald T. (1976) Assessing the Impact of Planned Social Change
• «Когда показатель становится целью, он перестает быть хорошим средством измерения». Goodhart, C.A.E. (1975). "Problems of Monetary Management: The U.K. Experience". Papers in Monetary Economics (Reserve Bank of Australia)

Первое утверждение называют еще законом Кэмпбелла, а второе - законом Гудхарта. В интернете есть публикации и на русском, и на английском языках. Я привел ссылки на статьи в англоязычной Википедии. 

К вопросу об оценке качества социальных услуг

Готовлюсь сейчас к семинарам по оценке в социальной сфере, которые пройдут в Новосибирске 20 и 21 февраля. Тема непростая. Есть четкое указание сверху на то, что такую оценку надо внедрять, но нет ясности относительно того, кто, как и для чего будет проводить оценку. Вчера беседовал с коллегой по этому поводу. Его жена, профессионально играющая на пианино, на волонтерских началах ездит каждую пятницу с утра в больницу по соседству и полтора часа там играет в фойе. Людям очень нравится. Такое вот можно учесть при оценке качества работы этой больницы? :)  И нужно ли это учитывать? 

Как описать извлеченные уроки

Все чаще в рекомендациях по проведению оценки программ говорится о необходимости описания извлеченных уроков ("lessons learned"). В некоторых структурах приняты даже внутренние нормативные документы, согласно которым раздел об "уроках" в отчете об оценке программы является обязательным. При этом бывает не совсем понятно, чем "уроки" должны отличаться, скажем, от выводов, сделанных в ходе анализа данных. И вообще как "уроки" вписываются в классическую схему анализа "факты-интерпретации-выводы-рекомендации"?
Я для себя сформулировал ответ таким образом: "уроки программы" - это некоторые из выводов и рекомендаций, сформулированные в обобщенном виде так, чтобы они могли быть использованы за пределами оцениваемой программы в сходных программах или в сходных ситуациях. Другими словами, "уроки" - это те знания, полученные в ходе оценки, которые могут пригодиться не только самой программе.
С учетом приведенных выше определений формулирование "уроков" является продолжением анализа: мы выбираем те выводы и рекомендации, которые могут иметь значение за пределами программы и переформулируем их в обобщенном виде.  В общем случае уроков должно быть меньше, чем выводов и рекомендаций, поскольку не все они могут быть использованы за рамками программы. 

Провожая 2013 и встречая 2014...

С профессиональной точки зрения завершающийся год был для меня и для моих коллег очень насыщенным. В качестве общей тенденции можно, пожалуй, выделить рост спроса на индикаторную оценку и, в частности, на выстраивание и внедрение систем  мониторинга проектов и программ.
В 2013 году нам пришлось поработать в Азербайджане, Армении, Грузии, Казахстане, Кыргызстане, России и Таджикистане. Страны расположил по алфавиту, но больше всего работы было в России, конечно.
Как значимые события отмечу конференцию Международной сети "Оценка программ" в Кишиневе (Молдова) и конференцию Американской ассоциации оценки в Вашингтоне.
Утверждение 2015 года в качестве Международного года оценки ООН считаю одним из важнейших глобальных событий уходящего года и большим достижением международного профессионального сообщества. Очень приятно, что к этому приложила руку и моя коллега Наталья Кошелева - в качестве президента Международной организации сотрудничества в сфере оценки и со-председателя проекта EvalPartners.
В 2013 году, к сожалению, не удалось создать российскую ассоциацию оценки программ и политик, а также возобновить выпуск журнала "Проектирование, мониторинг и оценка". Оба этих дела переходят в повестку 2014 года. Работа продолжается в обоих направлениях, и я очень надеюсь на успех.
В начале следующего года ожидаем публикацию пособия по "теории изменений", в подготовке которого мы приняли активное участие. Весной вместе с Натальей Кошелевой и Владимиром Балакиревым планируем поучаствовать в проведении учебных курсов по оценке программ для студентов Высшей школы экономики и Московской высшей школы социальных и экономических наук. В сентябре должна пройти интересная конференция Международной сети "Оценка программ" в Бишкеке (Кыргызстан). Есть все основания предполагать, что в нашем регионе в наступающем году продолжится развитие национальных объединений в сфере оценки программ и активизируется сотрудничество между ними.
Хотел бы поздравить всех гостей моего блога с наступающим Новым годом!
Пусть этот год будет удачным для вас во всех отношениях!
До встречи!

Почему не достигнуты запланированные показатели?

"Провальной с точки зрения повышения доверия граждан к правосудию признала Счетная палата РФ реализацию федеральной целевой программы "Развитие судебной системы России на 2007–2012 годы".

Как сообщает пресс-служба СП, ни один из плановых целевых индикаторов, позволяющих оценить отношение общества к судебной системе и правосудию в целом, по итогам выполнения ФЦП не достигнут" (с портала PRAVO.RU)

Счетная Палаты выявила две основные причины срыва программы в этой части: 

1) недофинансирование мероприятий по информатизации судов общей юрисдикции по сравнению с системой арбитражных судов, 

2) суды недостаточно активно сотрудничают с общественными организациями и СМИ.

Теперь посмотрим на показатели:

То есть, если бы дали денег на информатизацию судов столько, сколько обещали, и больше бы суды работали со СМИ и НКО, то граждане бы стали больше доверять органам правосудия и не жаловались бы на грубость и невнимательность персонала судов. И уж наверняка процессуальные сроки стали бы соблюдаться и судебные акты лучше бы исполнялись! 

Надеюсь, что это просто автор статьи что-то напутал. В противном случае появляются очевидные вопросы к тем, кто проводил оценку данной программы. 

Благодарю Даниила Цыганкова, который поделился ссылкой на данную статью.