четверг, 27 февраля 2014 г.

Открыт прием заявок на выступления на конференции в Бишкеке

Открыт прием заявок на конференцию Международной сети "Оценка программ" (IPEN). Конференция пройдет в Бишкеке (Кыргызстан) с 24 по 26 сентября 2014 года. Тема конференции "Оценка для развития: от внедрения к воздействию". Все подробности и форма заявки на выступление на сайте конференции. Заявки на выступления принимаются до 15 мая 2014 года.

среда, 26 февраля 2014 г.

Утром - результаты, вечером - индикаторы

Есть такой сайт про ключевые индикаторы эффективности (key performance indicators - KPIs), который называется KPI Library. Там можно найти индикаторы всего и на все случаи жизни. Библиотека постоянно пополняется. Один разделов этого сайта - блог, куда пишут специалисты по оценке эффективности и использованию индикаторов.
В сегодняшней статье некто Стейси Барр (Stacey Barr) пишет о том, почему при оценке услуг следует избегать использования индикаторов удовлетворенности потребителей и индикаторов, связанных с жалобами потребителей. Свою статью она завершает следующими рекомендациями (я их немного отредактировал, потому привожу без кавычек):
1) всегда вначале думайте о деле, о том, чего нужно добиться, что нужно изменить или улучшить, и только потом переходите к тому, как это можно измерить или оценить;
2) никогда не пытайтесь задним числом "подогнать" существующие измерительные инструменты к результатам, иначе вы рискуете измерять неправильные параметры и затем неправильно использовать результаты измерения.
Это напомнило мне мудрую мысль одного из персонажей Ильфа и Петрова:
"Деньги вперёд... утром — деньги, вечером — стулья или вечером — деньги, а на другой день утром — стулья. А может быть, сегодня — стулья, а завтра — деньги? — пытал Остап.
— Я же, дуся, человек измученный. Такие условия душа не принимает" :)

Специальный выпуск Канадского журнала по оценке программ

Те, кто интересуется компетенциями специалистов в области оценки, могут найти полезным специальный выпуск Канадского журнала по оценке программ, целиком посвященный этой теме. Полагаю, это самая свежая и самая полная информация о состоянии дел в этой области. Статьи написаны авторами из разных стран (Канада, Новая Зеландия, Россия, ЮАР, США). Мы с Даниилом Цыганковым про российский опыт написали. Все статьи можно почитать и скачать бесплатно. 

В первом меде будут учить оценке программ

В первом меде пройдет учебный курс по профилактике и борьбе с неинфекционными заболеваниями для политиков здравоохранения стран Центральной Азии и Восточной Европы. Примечательно, что тема оценки вошла.
"Глобальные стратегии и планы действий в области профилактики НИЗ, национальное планирование и контроль, мониторинг и оценка программ, финансовые и экономические аспекты профилактики — вот далеко не полный перечень тем, которые стали предметом изучения политиков и стратегов организации здравоохранения стран Центральной Азии и Восточной Европы в Первом МГМУ им. И.М. Сеченова". 

воскресенье, 23 февраля 2014 г.

Подходы к оценке качества услуг

Качество услуги в самом общем виде может быть определено как степень соответствия совокупности присущих услуге характеристик требованиям стандартов и/или требованиям потребителей. Такое определение, в частности, соответствует стандарту ISO 9000-2005 и созданному на его основе ГОСТ Р ИСО 9000–2008 "Системы менеджмента качества. Основные положения и словарь".
Оценивать качество услуги можно, соответственно, двумя способами (см. рисунок):
(а) сравнивая его с требованиями стандартов (или каких-то других нормативных документов, определяющих обязательные к соблюдению требования к услуге) и
(б) опираясь на мнение потребителей.
Эти два подхода не являются взаимоисключающими.
Оценка на основании стандартов качества может производиться в "закрытом" режиме, когда оказывающие услугу не знают о том, что происходит оценка (такой метод называют "тайный покупатель") и в "открытом" режиме, когда сбор данных о характеристиках услуги производится по согласованию с теми, кто оказывает услугу (такой метод можно назвать аудитом качества).
Оценка качества услуги на основании мнения потребителей может производиться на основе впечатления потребителя от уже полученной услуги (примером такого подхода может служить описанная в зарубежной литературе методика SERVPERF - от service performance) либо на основе сравнения ожиданий потребителей с их впечатлением от уже оказанной услуги (пример - широко известная методика SERVQUAL - от service quality).
Учет существующих подходов к оценке качества услуг, а также их сильных и слабых сторон (о которых много написано в специальной литературе) мог бы пригодиться тем, кто сейчас формирует т.н. "систему независимой оценки" качества социальных услуг. 

среда, 12 февраля 2014 г.

Риски, связанные с использованием индикаторов

Сегодня просто приведу две цитаты из работ весьма авторитетных людей:
  • «Чем больше любой количественный (или даже качественный) индикатор используется в процессе принятия социально-значимых решений, тем в большей степени он становится подвержен коррупционному давлению и тем в большей степени он будет искажать и нарушать социальные процессы, для мониторинга которых он был изначально предназначен» Campbell, Donald T. (1976) Assessing the Impact of Planned Social Change
  • «Когда показатель становится целью, он перестает быть хорошим средством измерения». Goodhart, C.A.E. (1975). "Problems of Monetary Management: The U.K. Experience". Papers in Monetary Economics (Reserve Bank of Australia)

Первое утверждение называют еще законом Кэмпбелла, а второе - законом Гудхарта. В интернете есть публикации и на русском, и на английском языках. Я привел ссылки на статьи в англоязычной Википедии. 

среда, 5 февраля 2014 г.

К вопросу об оценке качества социальных услуг

Готовлюсь сейчас к семинарам по оценке в социальной сфере, которые пройдут в Новосибирске 20 и 21 февраля. Тема непростая. Есть четкое указание сверху на то, что такую оценку надо внедрять, но нет ясности относительно того, кто, как и для чего будет проводить оценку. Вчера беседовал с коллегой по этому поводу. Его жена, профессионально играющая на пианино, на волонтерских началах ездит каждую пятницу с утра в больницу по соседству и полтора часа там играет в фойе. Людям очень нравится. Такое вот можно учесть при оценке качества работы этой больницы? :)  И нужно ли это учитывать?