19 декабря Генеральная Ассамблея ООН приняла резолюцию 69/237 "Укрепление потенциала оценки программ развития (деятельности в целях развития) на страновом уровне". Это первая в истории резолюция ООН, посвященная оценке. Резолюция говорит о важности развития национального потенциала оценки, и предписывает структурам ООН помогать странам в развитии своего потенциала оценки. Резолюция также официально признает 2015 год международным годом оценки.
понедельник, 22 декабря 2014 г.
суббота, 29 ноября 2014 г.
Особенная работа
Опубликованы результаты исследования, которое мы провели для фонда "Детский паллиатив". Тема - пребывание родителей совместно с детьми в отделениях реанимации и интенсивной терапии (ОРИТ). 24 ноября прошел "круглый стол", где выступал Владимир Балакирев, руководивший данным проектом. Известно, что в России пока, по большей части, пребывание родителей в ОРИТ вместе с детьми невозможно. Нашей задачей было разобраться в ситуации, учесть мнения различных сторон, принять во внимание международный опыт и предложить стратегии дальнейших действий. Можно сказать, что это была своего рода оценка ситуации, которая должна была помочь в разработке программ, ориентированных на совместное пребывание. Очень надеюсь, что результаты исследования пригодятся тем, кто занимается этим вопросом. Жалею, что не смог присутствовать на "круглом столе". Для нас это была особенная работа.
четверг, 16 октября 2014 г.
Оценка устойчивости бизнеса: глобальная перспектива
Большое сообщение на пленарной сессии. Комплексный подход к
оценке рыночной стоимости и устойчивости бизнес-компаний. Из сообщения следовало,
что значительная часть показателей устойчивости относится к социальному
капиталу и экологии. То есть надо «оценивать неоцениваемое». При этом он
справедливо заметил, что сообщество специалистов по оценке абсолютно никак не
связано с бизнесом. Можно заглянуть на этот сайт
Докладчик считает, что специалисты по оценке социальных
программ могут здесь сделать существенный вклад в эту работу.
В обсуждении этого сообщения участвовал Майкл Пэттон. Он
сказал, что видит ytcrjkmrj сфер, где специалисты по оценке социлаьных
программ могли бы сделать вклад в разработку систем оценки устойчивости
бизнеса: индикаторы (с оговоркой касательно закона Кембела)? шкалы (здесь у
оценщиков большой опыт), теория изменений.
USAID разрабатывает новый подход к мониторингу программ с учетом сложности мира, в котором мы живем
Очень интересное сообщение. Оказывается, в USAID есть лаборатория, которая
занимается внедрением системного подхода к мониторингу программ. Он призван
дополнить традиционный мониторинг. На индикаторы пока никто не посягает. Но
предлагается применять другие подходы для того, чтобы отследить непредвиденные
результаты, внешние воздействия, сложные процессы. Цель – сделать программу
более адаптивной. Здесь есть публикации по темеhttp://www.usaidlearninglab.org/
Оценка оцениваемости
Один из семинаров, которые мне удалось посетить перед конференцией, был посвящен оценке оцениваемости (Evaluability Assessment). Суть этого вида оценки заключается в том, чтобы проанализировать программу на предмет возможности ее оценки. С одной стороны, мне кажется, такой вид оценки очень важен. С другой стороны, меня всегда смущало, можно ли рассматривать оценку оцениваемости как отдельную услугу. Другими словами, мне пока не встречались организации, которые готовы были бы заплатить исключительно за то, что им посоветуют несколько доработать дизайн программы. Когда дело доходит до оценки программы, это может быть лишь один из вопросов, на мой взгляд, но никак не единственный вопрос.
Семинар проводили два профессора, которые занимаются оценкой на практике и недавно написали книгу про оценку оцениваемости. В рамках семинара рассматривались четыре практических примера из их опыта.
Итог для меня такой:
1) Оценивать программу на предмет возможности ее оценки надо стадии дизайна программы.
2) Вопрос о том, насколько дизайн оценки позволяет оценивать программу и надо ли замысел программы как-то по-другому описать, вполне может быть включен в задание на проведение промежуточной или финальной оценки программы.
3) Оценку оцениваемости заказывают нечасто даже в США, где индустрия оценки очень развита. Этот вид оценки используется в больших программах. Часто – для того, чтобы подготовить программу к настоящей оценке.
4) У нас этот вид оценки можно рассматривать лишь как часть нормальной оценки программы.
5) Оценка оцениваемости может быть проведена с использованием методов, которые используются в других видах оценки программ.
6) На семинары по оценке оцениваемости я пока больше не пойду
Семинар проводили два профессора, которые занимаются оценкой на практике и недавно написали книгу про оценку оцениваемости. В рамках семинара рассматривались четыре практических примера из их опыта.
Итог для меня такой:
1) Оценивать программу на предмет возможности ее оценки надо стадии дизайна программы.
2) Вопрос о том, насколько дизайн оценки позволяет оценивать программу и надо ли замысел программы как-то по-другому описать, вполне может быть включен в задание на проведение промежуточной или финальной оценки программы.
3) Оценку оцениваемости заказывают нечасто даже в США, где индустрия оценки очень развита. Этот вид оценки используется в больших программах. Часто – для того, чтобы подготовить программу к настоящей оценке.
4) У нас этот вид оценки можно рассматривать лишь как часть нормальной оценки программы.
5) Оценка оцениваемости может быть проведена с использованием методов, которые используются в других видах оценки программ.
6) На семинары по оценке оцениваемости я пока больше не пойду
Конференция в Денвере началась
В Денвере (шт.Колорадо) открылась конференция Американской ассоциации оценки. Тут примерно 3000 участников. Порядка 800 выступлений запланировано. Одного здания не хватило чтобы вместить все это. Конференция проходит в двух зданиях, расположенных по соседству. Тут есть некоторые проблемы с интернетом. Но я постараюсь самыми яркими впечатлениями поделиться в блоге.
вторник, 7 октября 2014 г.
Мониторинг и оценка госпрограмм с поддержкой мультиплатформенности, многопроцессорности и кластеризации
В Воронежской области завершается внедрение модернизированной информационно-аналитической системы «Мониторинг и оценка эффективности реализации государственных программ» для областного Департамента экономического развития. По сообщению сайта CNews, "система позволит проводить оценку эффективности реализации госпрограмм области и осуществлять контроль освоения бюджетных средств. С целью решения этих задач на региональном уровне создаётся облачное информационное пространство с единой базой данных, в котором будут выполняться все профильные операции. База данных будет функционировать под управлением сервера промышленного масштаба (с поддержкой мультиплатформенности, многопроцессорности и кластеризации), что обеспечит повышенный уровень сохранности информации".
Интересный опыт и приятно, что в этом направлении происходит движение.
Интересный опыт и приятно, что в этом направлении происходит движение.
понедельник, 29 сентября 2014 г.
Конференция в Бишкеке
В прошлую пятницу завершилась очередная (14 по счету) ежегодная конференция Международной сети "Оценка программ". В этом году конференцию принимал Кыргызстан, и проходила она в городе Бишкек.
В день перед конференцией прошли 4 семинара. В ходе конференции было сделано 50 докладов. Общее число зарегистрированных участников конференции составило, по словам организаторов, 140 человек. Среди них было ожидаемо много специалистов из Кыргызстана и соседнего Казахстана, но были также коллеги и из очень дальних стран - ЮАР, Великобритании, Израиля.
Из России, по моим подсчетам, было 10 человек. Однако эта небольшая группа сделала серьезный содержательный вклад: 2 семинара перед конференцией и 10 выступлений в ходе конференции.
Особенностью конференции был беспрецедентно высокий уровень участия представителей государственных структур: конференцию открыла вице-спикер парламента страны, в конференции принимали участие депутаты парламента, представители многочисленных министерств и ведомств, а также аппарата правительства и администрации президента Кыргызстана. Подчеркну: они не просто присутствовали, но выступали с интересными докладами и активно участвовали в дискуссиях. Отдельно хотел бы отметить выступление на первой пленарной сессии Заведующего отделом государственного управления и кадровой работы Аппарата Правительства Кыргызской Республики г-на Шадыбекова. Куванычбек Баймуратович принимает участие уже в третьей или даже четвертой конференции IPEN и является одним из ключевых участников процесса формирования национальной системы мониторинга и оценки в Кыргызстане.
Представители российской Ассоциации специалистов по оценке программ и политик приняли участие в форуме национальных объединений (фото от Марины Михайловой), который прошел в рамках конференции.
Считаю, что в целом уровень докладов на конференции был очень высоким.
Организация конференции также была на высоте. Все проходило в Парк-отеле, который оказался просто идеален для мероприятий подобного масштаба.
Хотел бы поздравить коллег из Кыргызстана с замечательно проведенным мероприятием и успехами в развитии национальной системы мониторинга и оценки в стране! Отдельное спасибо - Национальной сети мониторинга и оценки Кыргызстана и ее лидеру Татьяне Третьяковой, которая в 2013-14 гг. возглавляла попечительский совет IPEN.
В день перед конференцией прошли 4 семинара. В ходе конференции было сделано 50 докладов. Общее число зарегистрированных участников конференции составило, по словам организаторов, 140 человек. Среди них было ожидаемо много специалистов из Кыргызстана и соседнего Казахстана, но были также коллеги и из очень дальних стран - ЮАР, Великобритании, Израиля.
Из России, по моим подсчетам, было 10 человек. Однако эта небольшая группа сделала серьезный содержательный вклад: 2 семинара перед конференцией и 10 выступлений в ходе конференции.
Особенностью конференции был беспрецедентно высокий уровень участия представителей государственных структур: конференцию открыла вице-спикер парламента страны, в конференции принимали участие депутаты парламента, представители многочисленных министерств и ведомств, а также аппарата правительства и администрации президента Кыргызстана. Подчеркну: они не просто присутствовали, но выступали с интересными докладами и активно участвовали в дискуссиях. Отдельно хотел бы отметить выступление на первой пленарной сессии Заведующего отделом государственного управления и кадровой работы Аппарата Правительства Кыргызской Республики г-на Шадыбекова. Куванычбек Баймуратович принимает участие уже в третьей или даже четвертой конференции IPEN и является одним из ключевых участников процесса формирования национальной системы мониторинга и оценки в Кыргызстане.
Представители российской Ассоциации специалистов по оценке программ и политик приняли участие в форуме национальных объединений (фото от Марины Михайловой), который прошел в рамках конференции.
Считаю, что в целом уровень докладов на конференции был очень высоким.
Организация конференции также была на высоте. Все проходило в Парк-отеле, который оказался просто идеален для мероприятий подобного масштаба.
Хотел бы поздравить коллег из Кыргызстана с замечательно проведенным мероприятием и успехами в развитии национальной системы мониторинга и оценки в стране! Отдельное спасибо - Национальной сети мониторинга и оценки Кыргызстана и ее лидеру Татьяне Третьяковой, которая в 2013-14 гг. возглавляла попечительский совет IPEN.
понедельник, 25 августа 2014 г.
Наше облако из слов
В связи с выполнением одного из текущих заказов мне пришлось воспользоваться программами, которые создают "облака" из слов, причем размер шрифта зависит от частоты, с которой данное слово встречается в тексте.
Наша компания уже много лет профессионально занимается оценкой программ, и я решил посмотреть, что получится, если загрузить описание наших услуг в программу Wordle. Получилось очень даже симпатично и содержательно верно. Можно даже, не увеличивая, ключевые слова прочесть.
Наша компания уже много лет профессионально занимается оценкой программ, и я решил посмотреть, что получится, если загрузить описание наших услуг в программу Wordle. Получилось очень даже симпатично и содержательно верно. Можно даже, не увеличивая, ключевые слова прочесть.
понедельник, 4 августа 2014 г.
Интересно будет почитать отчет
На сайте banki.ru появилось сообщение о том, что Европейский союз планирует провести оценку эффективности экономических санкций в отношении РФ, которые накануне были официально закреплены в законодательных актах ЕС. Сообщается, что в течение действия санкций — 12 месяцев — такие оценки будут осуществляться регулярно, чтобы переоценить или дополнить введенные меры в зависимости от развития ситуации на Украине. Экономические санкции вступили в силу в пятницу и ограничивают доступ на рынки капитала для пяти российских государственных банков, запрещают физическим и юридическим лицам ЕС покупать/продавать или осуществлять другие операции с облигациями, акциями и другими инструментами денежного рынка со сроком погашения свыше 90 дней, выпущенными этими банками после 1 августа.
Если я правильно понимаю, при проведении оценки эффективности этих санкций нужно будет установить причинно-следственную связь между введением указанных ограничений и развитием ситуации на Украине. Логика воздействия ЕС в данном случае, вроде бы, была такова (на мой непросвещенный взгляд): вводятся санкции - они наносят ущерб экономике России - Россия изменяет свое поведение по отношению к Украине - ситуация на Украине улучшается.
Мда... Будет очень интересно почитать отчет о результатах оценки. Опубликуют?
Если я правильно понимаю, при проведении оценки эффективности этих санкций нужно будет установить причинно-следственную связь между введением указанных ограничений и развитием ситуации на Украине. Логика воздействия ЕС в данном случае, вроде бы, была такова (на мой непросвещенный взгляд): вводятся санкции - они наносят ущерб экономике России - Россия изменяет свое поведение по отношению к Украине - ситуация на Украине улучшается.
Мда... Будет очень интересно почитать отчет о результатах оценки. Опубликуют?
понедельник, 28 июля 2014 г.
Тенденция
Сегодня никто не станет отрицать, что оценка эффективности деятельности и оценка программ активно внедряются в практику российских органов государственного управления и государственных учреждений. Есть, однако, четкая тенденция: как только речь заходит об оценке, все, как правило сводится к формированию очередного механизма контроля (часто - общественного). Понятно, что осуществлять контроль без каких-либо полномочий сложно. Как говаривал Владимир Семенович Высоцкий: "Что за свадьба без цветов? Пьянка, да и все!". Потому все подобные инициативы предполагают наделение тех или иных структур формальными полномочиями осуществлять контроль, а также создание механизма введения санкций по результатам контроля. Достаточно обратиться к практике независимой оценки услуг социальных учреждений, о которой я писал ранее. А вот и совсем свежий пример: предложение депутата ГД РФ Дмитрия Носова, опубликованное в Парламентской газете на прошлой неделе. Далее - цитата из газеты:
"Мы должны разработать общественную систему оценки (курсив мой - АК) работы каждого чиновника от исполнительной власти», — считает депутат. Оценка будет складываться исходя из определённых критериев, к примеру, в части возвращения бюджетных средств. Таким образом, каждый чиновник мог бы получать балл, согласно которому он либо продвигается по службе, либо остаётся на месте, либо вовсе его покидает".
Мне кажется, что в этой тенденции есть два негативных момента:
- Модные нынче т.н. общественные системы оценки формируются зачастую несистемно и не имеют достаточных профессиональных и финансовых ресурсов.
- Оценка становится синонимом контроля, и уходит на второй план ее важнейшая развивающая функция - функция получения информации для принятия решений.
пятница, 25 июля 2014 г.
Нужно ли для проведения оценки программы быть экспертом в предметной области?
Вчера обсуждали с зарубежным коллегой, можно ли проводить профессиональную оценку программы, не будучи экспертом в той предметной области, где реализуется программа. Наш опыт показывает, что можно, но не без ограничений. Все зависит от характера задания на проведение оценки; точнее, от того, на какие вопросы нужно ответить.
Возьмем для примера программы в сфере здравоохранения. Бывает, что для ответа на вопросы задания достаточно выяснить мнения администраторов лечебных учреждений, врачей, медицинских сестер, пациентов и их родственников, а затем провести анализ высказанных мнений. Для проведения такой работы нужно уметь проводить индивидуальные и групповые интервью, а также анализировать качественные данные. Быть экспертом в сфере здравоохранения не требуется. С другой стороны, вопросы задания могут потребовать, к примеру, выяснения того, в какой мере соблюдаются клинические протоколы. В этом случае для сбора данных нужно быть специалистом: неспециалист попросту не поймет происходящего и не сможет увидеть то, что нужно. За такую работу мы бы не взялись без участия в нашей команде врача.
Оптимальным решением, на мой взгляд, является формирование команды для проведения оценки, в которой экспертиза в сфере оценки сочетается в нужной пропорции с экспертизой в предметной области. Для нашего региона это единственное пока реалистичное решение, т.к. специалистов по оценке немного.
Возьмем для примера программы в сфере здравоохранения. Бывает, что для ответа на вопросы задания достаточно выяснить мнения администраторов лечебных учреждений, врачей, медицинских сестер, пациентов и их родственников, а затем провести анализ высказанных мнений. Для проведения такой работы нужно уметь проводить индивидуальные и групповые интервью, а также анализировать качественные данные. Быть экспертом в сфере здравоохранения не требуется. С другой стороны, вопросы задания могут потребовать, к примеру, выяснения того, в какой мере соблюдаются клинические протоколы. В этом случае для сбора данных нужно быть специалистом: неспециалист попросту не поймет происходящего и не сможет увидеть то, что нужно. За такую работу мы бы не взялись без участия в нашей команде врача.
Оптимальным решением, на мой взгляд, является формирование команды для проведения оценки, в которой экспертиза в сфере оценки сочетается в нужной пропорции с экспертизой в предметной области. Для нашего региона это единственное пока реалистичное решение, т.к. специалистов по оценке немного.
вторник, 17 июня 2014 г.
Декан факультета менеджмента ВШЭ о рейтингах вузов
Декан факультета менеджмента НИУ «Высшая школа экономики» Николай Филинов, рассказывая о новой европейской системе формирования рейтингов вузов (U-Multirank), обратил внимание на то, что "...создание рейтингов учебных заведений — вещь, безусловно, интересная, но не такая безобидная, как это кажется на первый взгляд. Рейтинги сталкивают интересы учебных заведений, принимающих в них участие. Поэтому подавляющее большинство профессиональных ассоциаций в области образования категорически отказываются от создания рейтингов, а занимаются аккредитацией.
В последнее время рейтингам порою придается излишне большое значение, а это приводит к тому, учебное заведение начинает выстраивать свою политику так, чтобы любой ценой добиться более высокого места в рейтинге".
четверг, 5 июня 2014 г.
EVAL.KZ
Сегодня в Алматы был торжественный вечер, посвященный 10-летию наших давних партнеров и друзей - АРГО (Ассоциация развития гражданского общества). Эта организация является одной из самых активных в развитии оценки социальных программ в Казахстане. Учитывая, что коллеги обсуждают создание национальной ассоциации специалистов по оценке программ, мы (Компания "Процесс Консалтинг") решили подарить им красивое и стильное доменное имя для будущего сайта ассоциации. Исходили из общего тренда, заданного много лет назад Американской ассоциацией оценки (www.eval.org). Eval - это первые четыре буквы слова evaluation (оценка). Дальше национальные ассоциации стали, естественно, использовать национальные домены верхнего уровня: во Франции есть www.eval.fr, в Исландии - www.eval.is, в России - www.eval.ru. Мы решили продолжить эту линию и подарили казахстанским коллегам домен eval.kz, который оказался свободен. Таким образом, нашего полку прибыло!
На фото - момент торжественной передачи домена директору АРГО Джамиле Асановой. Справа от нее - Кайша Атаханова, директор программы DRC.
На фото - момент торжественной передачи домена директору АРГО Джамиле Асановой. Справа от нее - Кайша Атаханова, директор программы DRC.
среда, 4 июня 2014 г.
Чем мониторинг отличается от оценки
Сегодня проводил семинары по развитию сетей и по оценке сетей в рамках конференции в Алматы (Казахстан). Считаю, что лучший вопрос был задан про то, чем мониторинг отличается от оценки. Один из участников сказал, что прошел много семинаров, на которых им объясняли, что мониторинг принципиально отличается от оценки. В рамках же классификации, которую я предложил, мониторинг является одним из видов оценки. В чем принципиальная разница и есть ли она? Думаю, что дискуссия об отличиях мониторинга от оценки фактически является дискуссией об отличиях индикаторной оценки от эмпирической оценки. Если перевести разговор в эту плоскость, то все сразу проясняется. Конечно, отличия есть.
четверг, 29 мая 2014 г.
На съезде ССОПиР будут обсуждать оценку качества услуг
Общероссийская общественная организация "Союз социальных педагогов и социальных работников" (ССОПиР) проведет 7-8 октября 2014 года в Москве IV Съезд социальных работников и социальных педагогов России. В проекте программы съезда предполагается обсуждение следующей темы: "Независимая оценка качества работы организаций, оказывающих услуги в сфере социального обслуживания: контроль качества, рейтинги деятельности учреждений, механизм включения некоммерческих и общественных организаций". В явном виде оценка в программе съезда больше нигде не присутствует, хотя, на мой взгляд, не лишне было бы там поговорить и об оценке программ.
Организаторы обещают, что более подробную информацию об организации работы Съезда и условиях участия в нем можно будет получить на сайте ССОПиР. Пока такой информации я на этом сайте не нашел.
Организаторы обещают, что более подробную информацию об организации работы Съезда и условиях участия в нем можно будет получить на сайте ССОПиР. Пока такой информации я на этом сайте не нашел.
среда, 28 мая 2014 г.
Синяя точка на карте мира оценки
Ассоциация специалистов по оценке программ и политик вступила в Международную организацию по сотрудничеству в сфере оценки (IOCE). На сайте IOCE есть впечатляющая интерактивная карта мира, где можно увидеть все существующие на сегодняшний день профессиональные объединения в сфере оценки - региональные и национальные. АСОПП стала 110-й ассоциацией в базе данных IOCE, а Россия - 98-й страной, в которой создано профессиональное объединение. Синяя точка, обозначающая АСОПП, соседствует на карте со звездочкой, обозначающей региональное объединение, действующее в странах СНГ с 2000 года - Международную сеть "Оценка программ".
В планах АСОПП - активное развитие сотрудничества с национальными профессиональными объединениями в нашем регионе. Такие объединения (формальные и неформальные) есть в Азербайджане, Армении, Грузии, Казахстане, Кыргызстане, Таджикистане и Украине.
В планах АСОПП - активное развитие сотрудничества с национальными профессиональными объединениями в нашем регионе. Такие объединения (формальные и неформальные) есть в Азербайджане, Армении, Грузии, Казахстане, Кыргызстане, Таджикистане и Украине.
четверг, 22 мая 2014 г.
Индикаторы науки и технологии...прошлого века?
Вышла в свет новая книга: Осипов Г.В., Климовицкий С.В. Индикаторы науки и технологии: история, методология, стандарты измерения / Научный совет по Программе фундаментальных исследований Президиума Российской Академии наук «Экономика и социология науки и образования» / [Г.В. Осипов, С.В. Климовицкий]. — М.: ЦСП и М, 2014. — 180 с.
В аннотации говорится, что "в данной книге рассматриваются вопросы измерения научной и технологической деятельности на основании опыта международных измерений ОЭСР. В работе содержится исторический обзор развития научной статистики и индикаторов науки и технологии и систематизированы общие стандарты измерения и проведения обследований социологов, обсуждаются основные принципы и модели измерения, обобщены. Для, экономистов, статистиков". Думаю, справедливо будет добавить: "и для специалистов по оценке программ и политик".
Авторы во введении поясняют, что "настоящее издание ... ставит своей задачей обобщение и систематизацию существующей международной практики измерения научно-технологической деятельности, а также ее критический анализ с целью выявления присущих этой практике недостатков".
В связи с таким посылом меня несколько удивил список литературы, которая использовалась при подготовке данной книги. Список солидный, в нем 98 позиций. Все публикации зарубежные, и все датированы прошлым веком - от самого его начала до 90-х годов. Исключение составляют 12 публикаций одного и того же автора - Бенуа Годин (Benoit Godin), которые имеют статус working papers и опубликованы с 2000 по 2006 гг. в рамках Проекта по истории и социологии статистики науки и технологии (Project on the History and Sociology of S&T Statistics). Таким образом, только что вышедшая в свет книга опирается преимущественно на публикации 15-20-летней (и более) давности и представляет собой взгляд на проблему из 20 века. Мне как-то не верится, что Бенуа Годин был единственным исследователем, который занимался индикаторами науки и технологии в 21 веке.
Получается, что систематизация и анализ современной международной практики остались вне поля зрения авторов данной книги? Интересно, почему?
понедельник, 19 мая 2014 г.
Опубликован отчет об исследовании российских фондов местных сообществ
На сайте CAF Россия опубликован отчет об исследовании российских фондов местных сообществ "Местная филантропия национального значения". Отчет основан на материалах двух независимых исследований, проведенных в прошлом (2013) году. Одно из этих исследований провел CAF Россия, а другое - наша компания. Сводный отчет сделали в CAF. Он скоро будет доступен и на английском языке.
Выступление в Киеве по скайпу
16 мая выступал на конференции в Академии государственного управления Киеве - по скайпу. Говорил о том, что для успешного внедрения оценки программ необходимо принимать во внимание три подхода к оценке - экспертный, индикаторный и эмпирический - и соответствующим образом формировать государственную политику в сфере оценки программ. Пока, к сожалению, мы наблюдаем как барьеры между этими подходами мешают прагматично выбирать оптимальный вариант оценки, исходя из задания (вопросов) и ограничений. А барьеры-то существуют, в том числе, как междисцплинарные, например, между экономикой и социологией.
Очень признателен коллегам из киевской Академии госуправления за приглашение принять участие в их конференции в столь непростое время. Особая благодарность - главе Украинской ассоциации оценивания Ирине Кравчук.
Было непривычно выступать перед камерой и видеть только небольшую часть аудитории. Но, наверное, надо привыкать, т.к. 21-й век!
четверг, 15 мая 2014 г.
Ассоциация специалистов по оценке программ и политик начинает работу
Сегодня официально объявлено о начале деятельности Ассоциации специалистов по оценке программ и политик (АСОПП) в России. Открыт прием членов. Подробнее ознакомиться с планами АСОПП и условиями вступления можно на сайте Ассоциации.
вторник, 13 мая 2014 г.
Прощание с легендой
Оценка программ - относительно молодая дисциплина, поэтому мы оказались современниками многих ее основоположников. В этом нам очень повезло: мы можем их слушать, задавать вопросы, следить за ходом их мысли. Но время неумолимо.
9 мая 2014 года в возрасте 90 лет ушел из жизни Дональд Киркпатрик - человек-легенда. В возрасте 35 лет (в 1959 году) он предложил четырехуровневую модель оценки тренинговых (обучающих) программ, которая стала канонической и так с тех пор и называется "моделью Киркпатрика". Это было удивительным озарением. Модель оказалась, с одной стороны, достаточно простой, а с другой - органичной и универсальной. Несмотря на то, что изобретение его жизни было посвящено оценке, Киркпатрик всегда относил себя к профессиональному сообществу людей, занимающихся тренингами и организационным развитием. Он был активным членом и - какое-то время - президентом крупнейшей профессиональной Ассоциации специалистов по тренингу и развитию (ASTD), которая теперь переименована в Ассоциацию развития талантов (ATD). Он создал семейный бизнес Kirkpatrick Parnters, которым теперь занимаются его дети. Он написал десятки статей и провел немыслимое количество тренингов. Все его книги стали бестселлерами.
9 мая 2014 года в возрасте 90 лет ушел из жизни Дональд Киркпатрик - человек-легенда. В возрасте 35 лет (в 1959 году) он предложил четырехуровневую модель оценки тренинговых (обучающих) программ, которая стала канонической и так с тех пор и называется "моделью Киркпатрика". Это было удивительным озарением. Модель оказалась, с одной стороны, достаточно простой, а с другой - органичной и универсальной. Несмотря на то, что изобретение его жизни было посвящено оценке, Киркпатрик всегда относил себя к профессиональному сообществу людей, занимающихся тренингами и организационным развитием. Он был активным членом и - какое-то время - президентом крупнейшей профессиональной Ассоциации специалистов по тренингу и развитию (ASTD), которая теперь переименована в Ассоциацию развития талантов (ATD). Он создал семейный бизнес Kirkpatrick Parnters, которым теперь занимаются его дети. Он написал десятки статей и провел немыслимое количество тренингов. Все его книги стали бестселлерами.
А еще Дон, как его называли коллеги и близкие, любил в свободное от тренингов время участвовать в музыкальных коллективах, руководил церковным хором и писал песни. Вот послушайте здесь.
Фотография скопирована с сайта ASTD.
Фотография скопирована с сайта ASTD.
Глав субъектов РФ перестанут оценивать по результатам ЕГЭ
Газета.ru сообщает, что глав субъектов РФ теперь не будут оценивать по результатам ЕГЭ. Догадались, почему? Правильно, имело место масштабное манипулирование значением этого показателя.
Цитирую: "Из оценки эффективности работы губернаторов убрали результаты ЕГЭ по региону. Соответствующий указ подписал Владимир Путин. По словам экспертов, именно этот критерий повышал коррупционную составляющую ЕГЭ: местным властям было невыгодно, чтобы школьники получали низкие баллы, из-за чего учителя помогали решать школьникам задания, которые зачастую появлялись за несколько дней до экзамена.
... Чтобы повысить результаты ЕГЭ, губернаторы начинали давить на региональные органы управления образованием, а те, в свою очередь, на директоров школ, которые пытались переложить ответственность на учителей.
Происходили различные махинации, чтобы школьники могли лучше сдать ЕГЭ, вплоть до «сливов» заданий предстоящих экзаменов в интернет. Кроме того, учителя могли решать ЕГЭ за школьников или давать им готовые результаты, зачастую закрывали глаза на использование шпаргалок. Благодаря всему этому школьники получали более высокие баллы за экзамен".
Цитирую: "Из оценки эффективности работы губернаторов убрали результаты ЕГЭ по региону. Соответствующий указ подписал Владимир Путин. По словам экспертов, именно этот критерий повышал коррупционную составляющую ЕГЭ: местным властям было невыгодно, чтобы школьники получали низкие баллы, из-за чего учителя помогали решать школьникам задания, которые зачастую появлялись за несколько дней до экзамена.
... Чтобы повысить результаты ЕГЭ, губернаторы начинали давить на региональные органы управления образованием, а те, в свою очередь, на директоров школ, которые пытались переложить ответственность на учителей.
Происходили различные махинации, чтобы школьники могли лучше сдать ЕГЭ, вплоть до «сливов» заданий предстоящих экзаменов в интернет. Кроме того, учителя могли решать ЕГЭ за школьников или давать им готовые результаты, зачастую закрывали глаза на использование шпаргалок. Благодаря всему этому школьники получали более высокие баллы за экзамен".
среда, 7 мая 2014 г.
Основная литература
В российских университетах активно внедряются учебные курсы, связанные с оценкой программ и политик, и это, конечно, очень хорошо. Вот и Казанский федеральный университет опубликовал программу дисциплины "Анализ и оценка государственных программ и отраслевых политик" (спасибо Дмитрию Павлову за ссылку!). Пока таких программ немного, и указанный документ - вне всякого сомнения - представляет ценность для всех, кто думает о разработке подобных курсов.
У меня к создателям казанского курса возникло два вопроса:
1) Не использовались ли при разработке данного курса какие-либо публикации, на которые в Программе нет ссылок? При прочтении программы состояние дежавю несколько раз у меня возникало.
2) По какому принципу выбирались источники в раздел "Основная литература"?
Вот книги, включенные в этот раздел:
- Бильчак В.С., Инновационные подходы устойчивого развития региона в условиях трансграничного сотрудничества.- Калининград; БФУ, 2009.- 172 с.
- Юсупова Г.Ф.Теория отраслевых рынков: практикум.- М.; ВШЭ, 2012.- 281 с.
- Попова О.В., Политический анализ и прогнозирование: Учебное пособие.- М.; Аспект-
Пересс, 2011.- 466 с.
У меня к создателям казанского курса возникло два вопроса:
1) Не использовались ли при разработке данного курса какие-либо публикации, на которые в Программе нет ссылок? При прочтении программы состояние дежавю несколько раз у меня возникало.
2) По какому принципу выбирались источники в раздел "Основная литература"?
Вот книги, включенные в этот раздел:
- Бильчак В.С., Инновационные подходы устойчивого развития региона в условиях трансграничного сотрудничества.- Калининград; БФУ, 2009.- 172 с.
- Юсупова Г.Ф.Теория отраслевых рынков: практикум.- М.; ВШЭ, 2012.- 281 с.
- Попова О.В., Политический анализ и прогнозирование: Учебное пособие.- М.; Аспект-
Пересс, 2011.- 466 с.
Как ни странно, здесь нет ни одной публикации, посвященной именно оценке программ, хотя такие публикации на русском языке существуют. Этих публикаций нет также в дополнительной литературе и в перечне рекомендованных интернет ресурсов. Студентам придется изучать новую дисциплину, пользуясь литературой, имеющей опосредованное отношение к содержанию курса. По крайней мере, к значительной его части. Мне такой подход кажется странным. А вам?
четверг, 1 мая 2014 г.
Про результаты есть, а про систему - нет
На сайте Минтруда размещена информация о «О выполнении Плана мероприятий по формированию независимой системы оценки качества работы организаций, оказывающих социальные услуги, на 2013-2015 годы, утвержденного распоряжением Правительства Российской Федерации от 30 марта 2013 г. № 487-р, и предложениях по улучшению качества предоставляемых услуг, подготовленных совместно с заинтересованными общественными организациями в рамках проведения независимой оценки качества работы организаций социальной сферы». В этом документе есть сведения о том, сколько регионов охвачено системой независимой оценки; какие нормативные документы приняты на уровне регионов; какие есть примеры результатов оценки; какие шаги предприняты для улучшения качества по результатам оценки.
К сожалению, в данном документе нет описания того, как выглядит новая система независимой оценки. Кроме упоминания общественных советов, создаваемых органами исполнительной власти для проведения независимой оценки, про систему оценки нет информации. А ведь именно от того, как выстроена система, зависит качество ее работы. Интересно, можно где-то об этом узнать поподробнее?
вторник, 29 апреля 2014 г.
Само-оценивание предпринимательского потенциала университета в режиме онлайн
Под эгидой Еврокомиссии и ОЭСР (OECD) создан интернет-ресурс, помогающий провести само-оценивание предпринимательского потенциала университета. Оценка производится по 7 критериям:
- Лидерство и управление
- Организационный потенциал, люди и стимулы
- Предпринимательское развитие в сфере преподавания и научения
- Возможности карьеры для предпринимателей
- Обмен знаниями между университетом и бизнесом
- Предпринимательский университет как международный институт
- Измерение влияния предпринимательского университета
суббота, 26 апреля 2014 г.
Методики оценки эффективности госпрограмм в России: проблемы и пути решений
В журнале БЮДЖЕТ.RU вчера была опубликована статья В.В.Климанова и А.А.Михайловой "Методики оценки эффективности госпрограмм в регионах". Полную версию статьи в онлайне можно прочесть, если воспользоваться опцией "Версия для печати". Либо придется купить бумажную версию журнала. Очень рекомендую прочесть эту статью всем, кто так или иначе занимается оценкой программ. Авторы описывают ситуацию в России, отмечают возникающие трудности и предлагают направления действий по внедрению унифицированной методики оценки эффективности госпрограмм.
Приведу несколько цитат.
«Оценка эффективности государственной программы в соответствии с новой типовой методикой проходит на основе:
оценок степени достижения целей и решения задач государственной программы, подпрограмм и федеральных целевых программ, входящих в гос программу;
оценки степени реализации основных мероприятий, ведомственных целевых программ и мероприятий федеральных целевых программ и достижения ожидаемых непосредственных
результатов их реализации;
оценки степени соответствия запланированному уровню затрат;
оценки эффективности использования средств федерального бюджета.
В данной методике у ответственных исполнителей возникают различные возможности для учета особенностей конкретных программ. Например, при оценке степени реализации государственной программы ответственным исполнителем могут определяться коэффициенты значимости отдельных показателей (индикаторов) целей и задач.
В общем виде методика выглядит следующим образом:
ЭРгп = 0,5 х СРгп + 0,5 х ΣЭРп/п * Kj /j,
где:
ЭРгп — эффективность реализации государственной программы;
СРгп — степень реализации государственной программы;
ЭРп/п — эффективность реализации подпрограммы (федеральной целевой программы);
Kj — коэффициент значимости подпрограммы;
j — количество подпрограмм".
четверг, 24 апреля 2014 г.
Книжка по теории изменений
Спешу поделиться хорошей новостью! Благотворительный детский фонд "Виктория" разместил на своем сайте книгу, которая называется «Теория изменений: общие рекомендации к применению (из опыта БДФ «Виктория»)». В книге содержится обзор зарубежных публикаций по теории изменений, подробное описание опыта применения теории изменений Фондом "Виктория" и рекомендации по применению теории изменений при планировании программ. Для специалистов по оценке программ эта книга также может быть полезна. Спасибо БДФ "Виктория" за огромную работу по подготовке этой книги к печати и готовность поделиться собственным опытом, а компании Evolution and Philanthropy - за инициирование, финансовую поддержку и активное участие в этом важном проекте.
Какие риски появляются в связи с унификацией заданий на проведение эмпирической оценки программ
Отправной точкой для определения подхода к оценке программы являются вопросы, на которые надлежит ответить в ходе оценки. Вопросы эти появляются как отражение информационных потребностей будущих пользователей результатов оценки. Следовательно, постановка задачи начинается с выяснения этих потребностей и согласования вопросов, на которые нужно ответить. При этом учитывается, для чего планируется использовать полученную в результате оценки информацию. Тем самым закладывается основа для того, чтобы результаты оценки были использованы.
Практика показывает, что бывает еще один источник вопросов. Во многих крупных структурах существует единая система отчетности и приняты критерии оценки программ, по которым надо отчитываться. Здесь вопросы формируются в соответствии с едиными критериями оценки и не обязательно отражают текущие информационные потребности лиц, принимающих решения.
Наиболее известен перечень критериев Комитета по содействию в развитии (Development Assisatnce Committee / DAC) Организации экономического сотрудничества и развития (Organization for Economic Co-operation and Development / OECD). Ниже приведены критерии оценки DAC, их краткие определения и некоторые из рекомендованных для включения в задание вопросов.
Стремление к унификации в сфере отчетности вполне понятно. Однако здесь заложено противоречие: использование "стандартных" заданий на проведение оценки снижает степень полезности оценки. Фактически для формирования задания в соответствии с критериями DAC совершенно не нужно выяснять, кто будет пользоваться результатами оценки и есть ли у них потребность в какой-либо информации. Все задано "по умолчанию" - и пользователи, и их вопросы. Получается, что OECD, принимая стандартные критерии, нарушает один из собственных принципов проведения оценки - принцип полезности.
Полагаю, противоречие можно разрешить следующим образом: применять критерии DAC для формирования систем показателей в рамках индикаторной оценки (мониторинга) программ. Здесь критерии очень даже пригодятся. При проведении же эмпирической оценки вполне можно идти классическим путем в традициях оценки, ориентированной на практическое использование (Utilization Focuesd Evaluation), отталкиваясь от информационных потребностей будущих пользователей результатов оценки.
Практика показывает, что бывает еще один источник вопросов. Во многих крупных структурах существует единая система отчетности и приняты критерии оценки программ, по которым надо отчитываться. Здесь вопросы формируются в соответствии с едиными критериями оценки и не обязательно отражают текущие информационные потребности лиц, принимающих решения.
Наиболее известен перечень критериев Комитета по содействию в развитии (Development Assisatnce Committee / DAC) Организации экономического сотрудничества и развития (Organization for Economic Co-operation and Development / OECD). Ниже приведены критерии оценки DAC, их краткие определения и некоторые из рекомендованных для включения в задание вопросов.
Стремление к унификации в сфере отчетности вполне понятно. Однако здесь заложено противоречие: использование "стандартных" заданий на проведение оценки снижает степень полезности оценки. Фактически для формирования задания в соответствии с критериями DAC совершенно не нужно выяснять, кто будет пользоваться результатами оценки и есть ли у них потребность в какой-либо информации. Все задано "по умолчанию" - и пользователи, и их вопросы. Получается, что OECD, принимая стандартные критерии, нарушает один из собственных принципов проведения оценки - принцип полезности.
Полагаю, противоречие можно разрешить следующим образом: применять критерии DAC для формирования систем показателей в рамках индикаторной оценки (мониторинга) программ. Здесь критерии очень даже пригодятся. При проведении же эмпирической оценки вполне можно идти классическим путем в традициях оценки, ориентированной на практическое использование (Utilization Focuesd Evaluation), отталкиваясь от информационных потребностей будущих пользователей результатов оценки.
вторник, 22 апреля 2014 г.
Доказательность аргументации
Сегодня в СМИ прошла информация о диалоге, состоявшемся между Советом по правам человека при Президенте РФ и Минкомсвязи. Приведу две цитаты.
понедельник, 21 апреля 2014 г.
Еще один пример манипулирования значениями показателей
Любопытная иллюстрация закона Кемпбэлла в блоге Алексея Крушельницкого. Судя по комментариям к этой записи, достоверность приведенного примера ни у кого не вызывает сомнений.
"Один из главных критериев, по которым оцениваются университеты - это количество научных статей в престижных научных международных журналах. Чтобы их было больше, нужно иметь высококлассные научные кадры, нужно иметь современное научное оборудование, нужно иметь вообще современную научную инфраструктуру. Создавать и растить все это - очень долго, дорого и муторно. А показатели нужны прямо сейчас. Что делаем? Правильно, мухлюем. Мы просто будем покупать у забугорных коллег за 500 евро в месяц статьи (точнее то, чтобы наш университет туда вставили), которыми потом будем отчитываться - вот, мол, смотрите, как на глазах растет российская наука. Хотя российская наука как таковая к этому никакого отношения иметь по сути не будет".
"Один из главных критериев, по которым оцениваются университеты - это количество научных статей в престижных научных международных журналах. Чтобы их было больше, нужно иметь высококлассные научные кадры, нужно иметь современное научное оборудование, нужно иметь вообще современную научную инфраструктуру. Создавать и растить все это - очень долго, дорого и муторно. А показатели нужны прямо сейчас. Что делаем? Правильно, мухлюем. Мы просто будем покупать у забугорных коллег за 500 евро в месяц статьи (точнее то, чтобы наш университет туда вставили), которыми потом будем отчитываться - вот, мол, смотрите, как на глазах растет российская наука. Хотя российская наука как таковая к этому никакого отношения иметь по сути не будет".
Целеполагание и оценка эффективности социальных программ
В прошлую пятницу принимал участие в видеоконференции, организованной Институтом экономических исследований (Астана). Видеозапись заседания секции «Современные подходы к оценке социально-экономической эффективности». Мое выступление - в начале. Тема - "Целеполагание и оценка эффективности социальных программ". В рамках этого выступления я попытался объяснить, с чем связан слишком глобальный или чересчур конкретный характер целей социальных программ, и как это мешает проведению оценки эффективности. Там несколько скомкана вторая часть выступления: неожиданно оказалось, что у меня меньше времени, чем планировалось.
пятница, 18 апреля 2014 г.
Бывают ли простые ответы на сложные вопросы?
В последнее время был принят целый ряд решений на самом высоком уровне, в результате чего оценка стала внедряться в различных сферах государственного управления в России. Оценивается регулирующее воздействие вновь принимаемых законодательных и нормативных актов на бизнес (ОРВ); оценивается эффективность научных и образовательных учреждений; Счетная Палата приступила к оценке эффективности госпрограмм; начато внедрение т.н. независимой оценки качества социальных услуг. Список можно было бы продолжить.
Я бы хотел порассуждать об оценке государственных программ, поскольку оценка программ - наша основная специализация. Не требует обоснования тезис о том, что любая государственная программа представляет собой весьма сложную деятельность. Возьмем, к примеру, программу, направленную на сокращение ущерба для жизни и здоровья людей от дорожно-транспортных происшествий. В течение нескольких лет в масштабах огромной страны будет проводиться целый комплекс мероприятий, ориентированных на пешеходов, на водителей транспортных средств, на организацию дорожного движения и т.д., в результате чего ожидается снижение числа ДТП с серьезными последствиями.
Вполне закономерен вопрос: в какой мере деятельность в рамках программы позволяет добиваться поставленных целей?
Я бы хотел порассуждать об оценке государственных программ, поскольку оценка программ - наша основная специализация. Не требует обоснования тезис о том, что любая государственная программа представляет собой весьма сложную деятельность. Возьмем, к примеру, программу, направленную на сокращение ущерба для жизни и здоровья людей от дорожно-транспортных происшествий. В течение нескольких лет в масштабах огромной страны будет проводиться целый комплекс мероприятий, ориентированных на пешеходов, на водителей транспортных средств, на организацию дорожного движения и т.д., в результате чего ожидается снижение числа ДТП с серьезными последствиями.
Вполне закономерен вопрос: в какой мере деятельность в рамках программы позволяет добиваться поставленных целей?
четверг, 17 апреля 2014 г.
Хороший консультант и плохой консультант
Оценка программ является одним из видов консультирования. Естественно, что навыки консультирования логично считать одной из компетенций специалиста по оценке. Литературы по консультированию - море. Большинство авторов так или иначе стараются объяснить отличия хорошего консультанта от плохого. На картинке приводится версия одного из очень известных экспертов Дэвида Майстера (тут его личный сайт). Цитируется по книге Васильев Г.А., Деева Е.М., Управленческое консультирование: Учебное пособие для студентов вузов, обучающихся по специальности 061100 (Менеджмент организации), М., «ЮНИТИ-ДАНА», 2004 г.
понедельник, 14 апреля 2014 г.
Экспресс-оценка проблем сетей НКО в Центральной Азии
На завершившемся на прошлой неделе семинаре в Алматы мы обсуждали вопросы построения сетей, управления ими и оценки их эффективности. Под "сетью" в данном контексте понимается "совокупность свободных, самодостаточных и независимых участников, объединенных общими ценностями и интересами" (Jessica Lipnack and Jeffrey Stamps, 1982). Участниками сети могут быть и люди, и организации. Антрополог В.Хайн (Virginia Hine, 1970) выделила три сущностных качества сети:
- Сегментация (состоит из автономных сегментов, которые организационно самодостаточны)
- Децентрализация (горизонтальные связи, мобильное лидерство)
- Общие ценности и объединяющие идеи («идеологические узы»)
Сеть - это особый вид организации, отличающийся гибкостью, "легкостью", обилием и значимостью горизонтальных связей.
В ходе семинара мы решили вместе с участниками (около 30 человек из 5 стран Центральной Азии) провести экспресс-оценку проблем, которые являются общими для сетей НКО. Получилось, что ключевые проблемы лежат в 5 областях:
- Управление. В управлении сетью не учитывается специфика сети как организации. Опасение создать бюрократию внутри сети.
- Качество членов. Недостаточная зрелость некоторых членов сети. Приоритет – количество членов сети, а не качество.
- Активность членов. Члены сети вступают без намерения быть активными.
- Финансирование. Доноры предпочитают финансировать проекты, а сетям нужны средства на институциональное развитие. В принципе, источников финансирования для сетей мало.
- Юридический статус. Неопределенность юридического статуса сети.
Мне кажется, интересный получился результат в нашей экспресс-оценке. Можно "примерить" к сети, в которую входите вы или ваша организация. Возможно, что-то общее найдете.
пятница, 4 апреля 2014 г.
Навыки фасилитации как одна из компетенций специалиста по оценке программ
Сегодня в Москве проходит пятая конференция фасилитаторов, а в начале октября (с 1 по 5) в пансионате "Клязьма" под Москвой планируется проведение конференции Международной ассоциации фасилитаторов (IAF). В данном случае под фасилитацией (facilitation) понимается недирективное управление групповыми обсуждениями. Соответственно, фасилитатор - это человек, который владеет техниками организации и проведения групповых обсуждений. При проведении оценки программ такие навыки могут очень даже пригодиться, скажем, при проведении групповых интервью или при проведении групповых обсуждений внутри команды консультантов. Если же вы используете подходы, которые относятся к т.н. "оценке с участием" (participatory evaluation) или "оценке в сотрудничестве" (collaborative evaluation), то навыки фасилитации являются попросту необходимыми. Об этом пишут и канадские коллеги, которые впервые в мире стали проводить сертификацию специалистов по оценке, и Патриция Роджерс из Австралии, и Джин Кинг из США в своей новой книге "Интерактивная практика оценки". Сегодня в интернете можно найти много книг и статей по фасилитации. Вот публикация, которую рекомендует П.Роджерс: Creative Facilitation. (14,5 MB, PDF).
Кстати, при кажущейся простоте инструментов и легкости, с которой работают квалифицированные фасилитаторы, все далеко не так просто...
Кстати, при кажущейся простоте инструментов и легкости, с которой работают квалифицированные фасилитаторы, все далеко не так просто...
пятница, 28 марта 2014 г.
Чтобы оценка работала
В России сейчас происходит внедрение различных видов оценки в самых разных сферах.
Естественно, хотелось бы, чтобы эта работа привела к положительным результатам. В частности, чтобы лица, принимающие решения, на всех уровнях использовали результаты оценки. Улучшение обоснованности решений и повышение их качества можно считать конечным результатом внедрения оценки.
В связи с этим хотел бы обратить внимание на то, что оценка является для нашей страны управленческим нововведением, эффективное внедрение которого предполагает целый ряд шагов. Принятие политического решения на самом высоком уровне - условие для этого необходимое, но не достаточное. Я имею в виду, например, что наличие Указа президента РФ и принятие соответствующего закона лишь открывают возможность для внедрения оценки, создают необходимые для этого условия, но не гарантируют, что внедрение произойдет. Как минимум, нужны еще:
(а) методики и инструменты оценки, адаптированные к нашим условиям и апробированные,
(б) обученные люди (в должном количестве), которые умеют правильно пользоваться этими методиками,
(в) возможность для практиков оперативно получать консультации по вопросам применения методик и инструментов оценки.
Поскольку Указы Президента РФ и законы надо выполнять, а должная методическая работа, обучение специалистов и их консультативная поддержка в нужном объеме не ведутся, на местах оценку будут проводить так, как сумеют. Логично предположить, что постараются обойтись при этом "малой кровью" - не увеличивать нагрузку на и так уже перегруженных специалистов. Вряд ли при этом можно рассчитывать на то, что результаты оценки будут востребованы и полезны.
Считаю, что надо срочно обратить внимание именно на процесс внедрения оценки:
- Разрабатывать методики и инструменты оценки должны профессионалы. Методики и инструменты следует апробировать до начала их массового использования.
- Оценка - это новый вид деятельности, потому людей надо учить. Чтобы произошло внедрение, надо научить много людей.
- Обязательно нужно создавать возможности для получения консультаций и повышения квалификации специалистов, занимающихся оценкой.
- На внедрение оценки нужно выделять и средства, и время. Это - "цена вопроса".
Естественно, хотелось бы, чтобы эта работа привела к положительным результатам. В частности, чтобы лица, принимающие решения, на всех уровнях использовали результаты оценки. Улучшение обоснованности решений и повышение их качества можно считать конечным результатом внедрения оценки.
В связи с этим хотел бы обратить внимание на то, что оценка является для нашей страны управленческим нововведением, эффективное внедрение которого предполагает целый ряд шагов. Принятие политического решения на самом высоком уровне - условие для этого необходимое, но не достаточное. Я имею в виду, например, что наличие Указа президента РФ и принятие соответствующего закона лишь открывают возможность для внедрения оценки, создают необходимые для этого условия, но не гарантируют, что внедрение произойдет. Как минимум, нужны еще:
(а) методики и инструменты оценки, адаптированные к нашим условиям и апробированные,
(б) обученные люди (в должном количестве), которые умеют правильно пользоваться этими методиками,
(в) возможность для практиков оперативно получать консультации по вопросам применения методик и инструментов оценки.
Поскольку Указы Президента РФ и законы надо выполнять, а должная методическая работа, обучение специалистов и их консультативная поддержка в нужном объеме не ведутся, на местах оценку будут проводить так, как сумеют. Логично предположить, что постараются обойтись при этом "малой кровью" - не увеличивать нагрузку на и так уже перегруженных специалистов. Вряд ли при этом можно рассчитывать на то, что результаты оценки будут востребованы и полезны.
Считаю, что надо срочно обратить внимание именно на процесс внедрения оценки:
- Разрабатывать методики и инструменты оценки должны профессионалы. Методики и инструменты следует апробировать до начала их массового использования.
- Оценка - это новый вид деятельности, потому людей надо учить. Чтобы произошло внедрение, надо научить много людей.
- Обязательно нужно создавать возможности для получения консультаций и повышения квалификации специалистов, занимающихся оценкой.
- На внедрение оценки нужно выделять и средства, и время. Это - "цена вопроса".
среда, 26 марта 2014 г.
Признаки тщательного и исчерпывающего анализа информации
В английском языке есть термин rigor, который применительно к науке (scientific rigor), исследованиям (research rigor) или анализу данных (analytical rigor) означает тщательность, обоснованность, полноту. Rigorous analysis можно перевести как тщательный и исчерпывающий анализ.
Мне пришлось сделать это небольшое введение для того, чтобы написать об интересной публикации, которая называется Measuring Attributes of Rigor in Information Analysis.
Перевод заголовка может звучать как "Измерение характеристик rigor в анализе информации". Авторы предлагают 8 шкал, по которым можно судить о том, насколько тщательный и исчерпывающий анализ проведен. К этим шкалам относятся:
Мне пришлось сделать это небольшое введение для того, чтобы написать об интересной публикации, которая называется Measuring Attributes of Rigor in Information Analysis.
Перевод заголовка может звучать как "Измерение характеристик rigor в анализе информации". Авторы предлагают 8 шкал, по которым можно судить о том, насколько тщательный и исчерпывающий анализ проведен. К этим шкалам относятся:
- Изучение гипотез.
- Поиск информации.
- Валидизация информации (критическая оценка информации с точки зрения совпадения данных, полученных из разных источников).
- Анализ источников информации в более широком контексте.
- Анализ чувствительности (оценка аргументации с учетом вариативности источников информации по степени надежности и определенности).
- Синтез информации.
- Сотрудничество между специалистами (с учетом того, что лица, проводящие анализ, в обще случае не могут быть экспертами во всех областях).
- Критика полученных объяснений (авторы считают, что это должно быть неотъемлемой частью тщательного и исчерпывающего анализа).
По каждой шкале может быть три варианта оценки: низкий уровень, средний уровень, высокий уровень. Результаты измерения указанных характеристик применительно к конкретному случаю анализа информации предлагается представлять в виде диаграммы:
Вот полная ссылка на эту публикацию:
Zelik, Daniel J., Emily S. Patterson, and David D. Woods. “Measuring Attributes of Rigor in Information Analysis.” In Emily S. Patterson and Janet E. Miller, and David D. Woods. Macrocognition Metrics and Scenarios: Design and Evaluation for Real World Teams. Aldershot, UK: Ashgate, 2010: 65-83. В формате PDF публикация доступна здесь. вторник, 25 марта 2014 г.
Как избежать конфликта интересов при проведении экспертной оценки
Сегодня Газета.ру опубликовала заявление академика Валерия Рубакова о том, что оценку эффективности научных организаций следует проводить с участием зарубежных экспертов. Обязательным требованием при этом, по мнению Рубакова, является отсутствие у экспертов конфликта интересов. Говорят, что предложения по методике оценки направлены в Федеральное агентство научных организаций.
Наш опыт показывает, что при попытке привлечь лучших специалистов к проведению экспертной оценки очень часто оказывается, что все лучшие имеют потенциальный конфликт интересов. Очевидно, например, что лучшие эксперты по работе научных учреждений находятся именно в научных учреждениях. Поэтому использование внешних (в данном случае - зарубежных) экспертов вполне оправдано, на мой взгляд.
Наш опыт показывает, что при попытке привлечь лучших специалистов к проведению экспертной оценки очень часто оказывается, что все лучшие имеют потенциальный конфликт интересов. Очевидно, например, что лучшие эксперты по работе научных учреждений находятся именно в научных учреждениях. Поэтому использование внешних (в данном случае - зарубежных) экспертов вполне оправдано, на мой взгляд.
АНАЛИТИКА. Необычная книга.
Хотел бы обратить внимание коллег на книгу "Аналитика: методология, технология и организация информационно-аналитической работы" (2004). Один из авторов этой книги - Юрий Васильевич Курносов, доктор философских наук, полковник, профессор кафедры национальной безопасности Российской академии государственной службы при Президенте РФ, член Союза писателей России. Другой автор - Павел Юрьевич Конотопов, эксперт в области методологии, технологических и организационных аспектов информационно-аналитической работы, главный редактор специализированного электронного издания «ТИАРА» (Технологии информационно-аналитической работы). Павел Юрьевич Конотопов также является президентом некоммерческого партнерства "Коллегия аналитиков".
Книга издана при участии Фонда «Антитеррор». Раздел "К читателю" написал заместитель директора ФСБ России генерал-полковник Комогоров В.И.
Книга издана при участии Фонда «Антитеррор». Раздел "К читателю" написал заместитель директора ФСБ России генерал-полковник Комогоров В.И.
пятница, 21 марта 2014 г.
Как оценить социальный эффект социального предпринимательства?
Эта тема обсуждалась сегодня на совместном расширенном заседании Комитета по СП и КСО "ОПОРА РОССИИ" и ЦИСС ГБУ «Малый бизнес Москвы» ДНППиП г. Москвы. Информация о мероприятии здесь. Меня попросили там выступить с 10-минутным докладом на тему "Практические подходы к оценке социальных эффектов социального предпринимательства". Моя презентация здесь. Презентации Сергея Мартыщенко из Evolution & Philanthropy и Анны Тихомировой из Фонда "Культура детства" здесь.
Вот и еще одна сфера, где жизнь просто-таки заставляет людей заниматься оценкой. И, как это чаще всего бывает, оценка ассоциируется с экспертизой и индикаторами. Это всем понятно и откликается. А вот эмпирическая оценка воспринимается, скорее, как некая экзотика. За 10 минут в числе других эту тему подробно развернуть мне не удалось сегодня, если честно :) Ну, лиха беда начало!
Вот и еще одна сфера, где жизнь просто-таки заставляет людей заниматься оценкой. И, как это чаще всего бывает, оценка ассоциируется с экспертизой и индикаторами. Это всем понятно и откликается. А вот эмпирическая оценка воспринимается, скорее, как некая экзотика. За 10 минут в числе других эту тему подробно развернуть мне не удалось сегодня, если честно :) Ну, лиха беда начало!
четверг, 20 марта 2014 г.
Методики и инструменты для оценки сетей
В апреле буду проводить семинар в Казахстане на тему "Построение, развитие и оценка сетей". В последний раз пришлось углубиться в эту тему в 2005. С тех пор много новых интересных публикаций появилось. Читающим по-английски коллегам рекомендую два пособия по оценке сетей. Первое подготовлено компаниями Innovations for Scaling Impact и Keystone в 2010, а второе - канадским Центром социальных инноваций в 2007.
понедельник, 17 марта 2014 г.
Публикация INTRAC по теории изменений
В последнее время все большее число специалистов по проектированию и оценке программ и проектов проявляют интерес к подходу, который принято называть "теории изменений" (theory of change). Насколько мне известно, в ближайшее время Благотворительный детский фонд "Виктория" опубликует пособие по применению "теории изменений", которое включает обзор литературы и опыт применения этого подхода. Пособие было подготовлено при поддержке компании Evolution and Phlilanthropy с нашим активным участием. Я сообщу, когда пособие будет доступно в онлайне. Пока хотел бы поделиться ссылкой на публикацию INTRAC, который представляет свое видение "теории изменений" (на русском языке). Поскольку я знаком с достаточно большим числом публикаций по данной теме, хочу предупредить, что это лишь одна из версий.
воскресенье, 16 марта 2014 г.
Семинар по умному регулированию в ВШЭ
В пятницу в Высшей школе экономики прошел семинар "Развитие механизмов 'умного регулирования': на пути к новой регуляторной политике России". Комментарии, фотографии и материалы семинара можно найти в фейсбуке на странице Даниила Цыганкова, который был одним из главных организаторов этого события. Я имел возможность принять участие в указанном мероприятии и с интересом послушал коллег, работающих в смежной с нами области. Если бы меня попросили назвать три наиболее интересных (лично для меня) момента, я бы отметил (1) разнообразные трактовки того, что у нас называют "умным регулированием"; (2) значительные трудности, связанные с внедрением механизмов ОРВ (оценки регулирующего воздействия) и элементов "умного регулирования"; (3) низкое качество законодательных и нормативных актов, экспертизу которых (ОРВ) теперь проводят в России в обязательном порядке. Последнее очень перекликается с нашими страданиями по поводу низкого качества дизайна программ и проектов, которые нам приходится оценивать (отнюдь не только в России).
Насколько я понял, все материалы семинара доступны на сайте ВШЭ.
Насколько я понял, все материалы семинара доступны на сайте ВШЭ.
понедельник, 10 марта 2014 г.
EVAL.RU
Это адрес будущего сайта создаваемой в России ассоциации специалистов по оценке программ и политик. Я уже несколько раз писал о том, что такая работа ведется, и что мы с коллегами принимаем в ней активное участие. Мы столкнулись с целым рядом проблем. Поиск решений занял некоторое время. Но все идет к тому, что ассоциация будет! Вот и адрес сайта даже есть. Там пока просто анонс. Но лиха беда начало!
четверг, 6 марта 2014 г.
В Кыргызстане мониторинг и оценка теперь абсолютно легитимные виды деятельности
18 февраля 2014 года Президент Кыргызской Республики Алмазбек Атамбаев подписал Закон «О внесении дополнений в некоторые законодательные акты Кыргызской Республики». Закон принят Жогорку Кенешем Кыргызской Республики 15 января 2014 года.
Закон принят в целях повышения эффективности и результативности действующей нормативной правовой базы Кыргызской Республики путем мониторинга и оценки нормативных правовых актов, (стратегий/программ), принятых государственными органами и органами местного самоуправления.
В частности, дополнения внесены в следующие Законы Кыргызской Республики: «О нормативных правовых актах Кыргызской Республики», «Об оптимизации нормативной правовой базы регулирования предпринимательской деятельности», «О доступе к информации, находящейся в ведении государственных органов и органов местного самоуправления Кыргызской Республики», «О Регламенте Жогорку Кенеша Кыргызской Республики», «О местном самоуправлении».
Закон вступает в силу со дня официального опубликования, за исключением статьи 4, вступающей в силу по истечении шести месяцев со вступления в силу Закона.
Далее - для интересующихся деталями - привожу полный текст Закона, который я получил через рассылку кыргызстанской сети мониторинга и оценки.
Закон принят в целях повышения эффективности и результативности действующей нормативной правовой базы Кыргызской Республики путем мониторинга и оценки нормативных правовых актов, (стратегий/программ), принятых государственными органами и органами местного самоуправления.
В частности, дополнения внесены в следующие Законы Кыргызской Республики: «О нормативных правовых актах Кыргызской Республики», «Об оптимизации нормативной правовой базы регулирования предпринимательской деятельности», «О доступе к информации, находящейся в ведении государственных органов и органов местного самоуправления Кыргызской Республики», «О Регламенте Жогорку Кенеша Кыргызской Республики», «О местном самоуправлении».
Закон вступает в силу со дня официального опубликования, за исключением статьи 4, вступающей в силу по истечении шести месяцев со вступления в силу Закона.
Далее - для интересующихся деталями - привожу полный текст Закона, который я получил через рассылку кыргызстанской сети мониторинга и оценки.
четверг, 27 февраля 2014 г.
Открыт прием заявок на выступления на конференции в Бишкеке
Открыт прием заявок на конференцию Международной сети "Оценка программ" (IPEN). Конференция пройдет в Бишкеке (Кыргызстан) с 24 по 26 сентября 2014 года. Тема конференции "Оценка для развития: от внедрения к воздействию". Все подробности и форма заявки на выступление на сайте конференции. Заявки на выступления принимаются до 15 мая 2014 года.
среда, 26 февраля 2014 г.
Утром - результаты, вечером - индикаторы
Есть такой сайт про ключевые индикаторы эффективности (key performance indicators - KPIs), который называется KPI Library. Там можно найти индикаторы всего и на все случаи жизни. Библиотека постоянно пополняется. Один разделов этого сайта - блог, куда пишут специалисты по оценке эффективности и использованию индикаторов.
В сегодняшней статье некто Стейси Барр (Stacey Barr) пишет о том, почему при оценке услуг следует избегать использования индикаторов удовлетворенности потребителей и индикаторов, связанных с жалобами потребителей. Свою статью она завершает следующими рекомендациями (я их немного отредактировал, потому привожу без кавычек):
1) всегда вначале думайте о деле, о том, чего нужно добиться, что нужно изменить или улучшить, и только потом переходите к тому, как это можно измерить или оценить;
2) никогда не пытайтесь задним числом "подогнать" существующие измерительные инструменты к результатам, иначе вы рискуете измерять неправильные параметры и затем неправильно использовать результаты измерения.
Это напомнило мне мудрую мысль одного из персонажей Ильфа и Петрова:
"Деньги вперёд... утром — деньги, вечером — стулья или вечером — деньги, а на другой день утром — стулья. А может быть, сегодня — стулья, а завтра — деньги? — пытал Остап.
В сегодняшней статье некто Стейси Барр (Stacey Barr) пишет о том, почему при оценке услуг следует избегать использования индикаторов удовлетворенности потребителей и индикаторов, связанных с жалобами потребителей. Свою статью она завершает следующими рекомендациями (я их немного отредактировал, потому привожу без кавычек):
1) всегда вначале думайте о деле, о том, чего нужно добиться, что нужно изменить или улучшить, и только потом переходите к тому, как это можно измерить или оценить;
2) никогда не пытайтесь задним числом "подогнать" существующие измерительные инструменты к результатам, иначе вы рискуете измерять неправильные параметры и затем неправильно использовать результаты измерения.
Это напомнило мне мудрую мысль одного из персонажей Ильфа и Петрова:
"Деньги вперёд... утром — деньги, вечером — стулья или вечером — деньги, а на другой день утром — стулья. А может быть, сегодня — стулья, а завтра — деньги? — пытал Остап.
— Я же, дуся, человек измученный. Такие условия душа не принимает" :)
Специальный выпуск Канадского журнала по оценке программ
Те, кто интересуется компетенциями специалистов в области оценки, могут найти полезным специальный выпуск Канадского журнала по оценке программ, целиком посвященный этой теме. Полагаю, это самая свежая и самая полная информация о состоянии дел в этой области. Статьи написаны авторами из разных стран (Канада, Новая Зеландия, Россия, ЮАР, США). Мы с Даниилом Цыганковым про российский опыт написали. Все статьи можно почитать и скачать бесплатно.
В первом меде будут учить оценке программ
В первом меде пройдет учебный курс по профилактике и борьбе с неинфекционными заболеваниями для политиков здравоохранения стран Центральной Азии и Восточной Европы. Примечательно, что тема оценки вошла.
"Глобальные стратегии и планы действий в области профилактики НИЗ, национальное планирование и контроль, мониторинг и оценка программ, финансовые и экономические аспекты профилактики — вот далеко не полный перечень тем, которые стали предметом изучения политиков и стратегов организации здравоохранения стран Центральной Азии и Восточной Европы в Первом МГМУ им. И.М. Сеченова".
"Глобальные стратегии и планы действий в области профилактики НИЗ, национальное планирование и контроль, мониторинг и оценка программ, финансовые и экономические аспекты профилактики — вот далеко не полный перечень тем, которые стали предметом изучения политиков и стратегов организации здравоохранения стран Центральной Азии и Восточной Европы в Первом МГМУ им. И.М. Сеченова".
воскресенье, 23 февраля 2014 г.
Подходы к оценке качества услуг
Качество услуги в самом общем виде может быть определено как степень соответствия совокупности присущих услуге характеристик требованиям стандартов и/или требованиям потребителей. Такое определение, в частности, соответствует стандарту ISO 9000-2005 и созданному на его основе ГОСТ Р ИСО 9000–2008 "Системы менеджмента качества. Основные положения и словарь".
Оценивать качество услуги можно, соответственно, двумя способами (см. рисунок):
(а) сравнивая его с требованиями стандартов (или каких-то других нормативных документов, определяющих обязательные к соблюдению требования к услуге) и
(б) опираясь на мнение потребителей.
Эти два подхода не являются взаимоисключающими.
Оценивать качество услуги можно, соответственно, двумя способами (см. рисунок):
(а) сравнивая его с требованиями стандартов (или каких-то других нормативных документов, определяющих обязательные к соблюдению требования к услуге) и
(б) опираясь на мнение потребителей.
Эти два подхода не являются взаимоисключающими.
Оценка на основании стандартов качества может производиться в "закрытом" режиме, когда оказывающие услугу не знают о том, что происходит оценка (такой метод называют "тайный покупатель") и в "открытом" режиме, когда сбор данных о характеристиках услуги производится по согласованию с теми, кто оказывает услугу (такой метод можно назвать аудитом качества).
Оценка качества услуги на основании мнения потребителей может производиться на основе впечатления потребителя от уже полученной услуги (примером такого подхода может служить описанная в зарубежной литературе методика SERVPERF - от service performance) либо на основе сравнения ожиданий потребителей с их впечатлением от уже оказанной услуги (пример - широко известная методика SERVQUAL - от service quality).
Учет существующих подходов к оценке качества услуг, а также их сильных и слабых сторон (о которых много написано в специальной литературе) мог бы пригодиться тем, кто сейчас формирует т.н. "систему независимой оценки" качества социальных услуг.
Учет существующих подходов к оценке качества услуг, а также их сильных и слабых сторон (о которых много написано в специальной литературе) мог бы пригодиться тем, кто сейчас формирует т.н. "систему независимой оценки" качества социальных услуг.
среда, 12 февраля 2014 г.
Риски, связанные с использованием индикаторов
Сегодня просто приведу две цитаты из работ весьма авторитетных людей:
- «Чем больше любой количественный (или даже качественный) индикатор используется в процессе принятия социально-значимых решений, тем в большей степени он становится подвержен коррупционному давлению и тем в большей степени он будет искажать и нарушать социальные процессы, для мониторинга которых он был изначально предназначен» Campbell, Donald T. (1976) Assessing the Impact of Planned Social Change
- «Когда показатель становится целью, он перестает быть хорошим средством измерения». Goodhart, C.A.E. (1975). "Problems of Monetary Management: The U.K. Experience". Papers in Monetary Economics (Reserve Bank of Australia)
Первое утверждение называют еще законом Кэмпбелла, а второе - законом Гудхарта. В интернете есть публикации и на русском, и на английском языках. Я привел ссылки на статьи в англоязычной Википедии.
среда, 5 февраля 2014 г.
К вопросу об оценке качества социальных услуг
Готовлюсь сейчас к семинарам по оценке в социальной сфере, которые пройдут в Новосибирске 20 и 21 февраля. Тема непростая. Есть четкое указание сверху на то, что такую оценку надо внедрять, но нет ясности относительно того, кто, как и для чего будет проводить оценку. Вчера беседовал с коллегой по этому поводу. Его жена, профессионально играющая на пианино, на волонтерских началах ездит каждую пятницу с утра в больницу по соседству и полтора часа там играет в фойе. Людям очень нравится. Такое вот можно учесть при оценке качества работы этой больницы? :) И нужно ли это учитывать?
вторник, 21 января 2014 г.
Как описать извлеченные уроки
Все чаще в рекомендациях по проведению оценки программ говорится о необходимости описания извлеченных уроков ("lessons learned"). В некоторых структурах приняты даже внутренние нормативные документы, согласно которым раздел об "уроках" в отчете об оценке программы является обязательным. При этом бывает не совсем понятно, чем "уроки" должны отличаться, скажем, от выводов, сделанных в ходе анализа данных. И вообще как "уроки" вписываются в классическую схему анализа "факты-интерпретации-выводы-рекомендации"?
Я для себя сформулировал ответ таким образом: "уроки программы" - это некоторые из выводов и рекомендаций, сформулированные в обобщенном виде так, чтобы они могли быть использованы за пределами оцениваемой программы в сходных программах или в сходных ситуациях. Другими словами, "уроки" - это те знания, полученные в ходе оценки, которые могут пригодиться не только самой программе.
С учетом приведенных выше определений формулирование "уроков" является продолжением анализа: мы выбираем те выводы и рекомендации, которые могут иметь значение за пределами программы и переформулируем их в обобщенном виде. В общем случае уроков должно быть меньше, чем выводов и рекомендаций, поскольку не все они могут быть использованы за рамками программы.
Я для себя сформулировал ответ таким образом: "уроки программы" - это некоторые из выводов и рекомендаций, сформулированные в обобщенном виде так, чтобы они могли быть использованы за пределами оцениваемой программы в сходных программах или в сходных ситуациях. Другими словами, "уроки" - это те знания, полученные в ходе оценки, которые могут пригодиться не только самой программе.
С учетом приведенных выше определений формулирование "уроков" является продолжением анализа: мы выбираем те выводы и рекомендации, которые могут иметь значение за пределами программы и переформулируем их в обобщенном виде. В общем случае уроков должно быть меньше, чем выводов и рекомендаций, поскольку не все они могут быть использованы за рамками программы.
Подписаться на:
Сообщения (Atom)