пятница, 28 марта 2014 г.

Чтобы оценка работала

В России сейчас происходит внедрение различных видов оценки в самых разных сферах.
Естественно, хотелось бы, чтобы эта работа привела к положительным результатам. В частности, чтобы лица, принимающие решения, на всех уровнях использовали результаты оценки. Улучшение обоснованности решений и повышение их качества можно считать конечным результатом внедрения оценки.
В связи с этим хотел бы обратить внимание на то, что оценка является для нашей страны управленческим нововведением, эффективное внедрение которого предполагает целый ряд шагов. Принятие политического решения на самом высоком уровне - условие для этого необходимое, но не достаточное. Я имею в виду, например, что наличие Указа президента РФ и принятие соответствующего закона лишь открывают возможность для внедрения оценки, создают необходимые для этого условия, но не гарантируют, что внедрение произойдет. Как минимум, нужны еще:
(а) методики и инструменты оценки, адаптированные к нашим условиям и апробированные,
(б) обученные люди (в должном количестве), которые умеют правильно пользоваться этими методиками,
(в) возможность для практиков оперативно получать консультации по вопросам применения методик и инструментов оценки.
Поскольку Указы Президента РФ и законы надо выполнять, а должная методическая работа, обучение специалистов и их консультативная поддержка в нужном объеме не ведутся, на местах оценку будут проводить так, как сумеют. Логично предположить, что постараются обойтись при этом "малой кровью" - не увеличивать нагрузку на и так уже перегруженных специалистов. Вряд ли при этом можно рассчитывать на то, что результаты оценки будут востребованы и полезны.
Считаю, что надо срочно обратить внимание именно на процесс внедрения оценки:
-  Разрабатывать методики и инструменты оценки должны профессионалы. Методики и инструменты следует апробировать до начала их массового использования.
-  Оценка - это новый вид деятельности, потому людей надо учить. Чтобы произошло внедрение, надо научить много людей.
-  Обязательно нужно создавать возможности для получения консультаций и повышения квалификации специалистов, занимающихся оценкой.
-  На внедрение оценки нужно выделять и средства, и время. Это - "цена вопроса".

среда, 26 марта 2014 г.

Признаки тщательного и исчерпывающего анализа информации

В английском языке есть термин rigor, который применительно к науке (scientific rigor), исследованиям (research rigor) или анализу данных (analytical rigor) означает тщательность, обоснованность, полноту. Rigorous analysis можно перевести как тщательный и исчерпывающий анализ.
Мне пришлось сделать это небольшое введение для того, чтобы написать об интересной публикации, которая называется Measuring Attributes of Rigor in Information Analysis. 
Перевод заголовка может звучать как "Измерение характеристик rigor в анализе информации". Авторы предлагают 8 шкал, по которым можно судить о том, насколько тщательный и исчерпывающий анализ проведен. К этим шкалам относятся:
  • Изучение гипотез.
  • Поиск информации.
  • Валидизация информации (критическая оценка информации с точки зрения совпадения данных, полученных из разных источников).
  • Анализ источников информации в более широком контексте.
  • Анализ чувствительности (оценка аргументации с учетом вариативности источников информации по степени надежности и определенности).
  • Синтез информации.
  • Сотрудничество между специалистами (с учетом того, что лица, проводящие анализ, в обще случае не могут быть экспертами во всех областях).
  • Критика полученных объяснений (авторы считают, что это должно быть неотъемлемой частью тщательного и исчерпывающего анализа). 
По каждой шкале может быть три варианта оценки: низкий уровень, средний уровень, высокий уровень. Результаты измерения указанных характеристик применительно к конкретному случаю анализа информации предлагается представлять в виде диаграммы:
Вот полная ссылка на эту публикацию:
Zelik, Daniel J., Emily S. Patterson, and David D. Woods. “Measuring Attributes of Rigor in Information Analysis.” In Emily S. Patterson and Janet E. Miller, and David D. Woods. Macrocognition Metrics and Scenarios: Design and Evaluation for Real World Teams. Aldershot, UK: Ashgate, 2010: 65-83. В формате PDF публикация доступна здесь

вторник, 25 марта 2014 г.

Как избежать конфликта интересов при проведении экспертной оценки

Сегодня Газета.ру опубликовала заявление академика Валерия Рубакова о том, что оценку эффективности научных организаций следует проводить с участием зарубежных экспертов. Обязательным требованием при этом, по мнению Рубакова, является отсутствие у экспертов конфликта интересов. Говорят, что предложения по методике оценки направлены в Федеральное агентство научных организаций.
Наш опыт показывает, что при попытке привлечь лучших специалистов к проведению экспертной оценки очень часто оказывается, что все лучшие имеют потенциальный конфликт интересов. Очевидно, например, что лучшие эксперты по работе научных учреждений находятся именно в научных учреждениях. Поэтому использование внешних (в данном случае - зарубежных) экспертов вполне оправдано, на мой взгляд.

АНАЛИТИКА. Необычная книга.

Хотел бы обратить внимание коллег на книгу "Аналитика: методология, технология и организация информационно-аналитической работы" (2004). Один из авторов этой книги - Юрий Васильевич Курносов, доктор философских наук, полковник, профессор кафедры национальной безопасности Российской академии государственной службы при Президенте РФ, член Союза писателей России. Другой автор - Павел Юрьевич Конотопов, эксперт в области методологии, технологических и организационных аспектов информационно-аналитической работы, главный редактор специализированного электронного издания «ТИАРА» (Технологии информационно-аналитической работы). Павел Юрьевич Конотопов также является президентом некоммерческого партнерства "Коллегия аналитиков".
Книга издана при участии Фонда «Антитеррор». Раздел "К читателю" написал заместитель директора ФСБ России генерал-полковник Комогоров В.И.

пятница, 21 марта 2014 г.

Как оценить социальный эффект социального предпринимательства?

Эта тема обсуждалась сегодня на совместном расширенном заседании Комитета по СП и КСО "ОПОРА РОССИИ" и ЦИСС ГБУ «Малый бизнес Москвы» ДНППиП г. Москвы. Информация о мероприятии здесь. Меня попросили там выступить с 10-минутным докладом на тему "Практические подходы к оценке социальных эффектов социального предпринимательства". Моя презентация здесь. Презентации Сергея Мартыщенко из Evolution & Philanthropy и Анны Тихомировой из Фонда "Культура детства" здесь.
Вот и еще одна сфера, где жизнь просто-таки заставляет людей заниматься оценкой. И, как это чаще всего бывает, оценка ассоциируется с экспертизой и индикаторами. Это всем понятно и откликается. А вот эмпирическая оценка воспринимается, скорее, как некая экзотика. За 10 минут в числе других эту тему подробно развернуть мне не удалось сегодня, если честно :) Ну, лиха беда начало! 

четверг, 20 марта 2014 г.

Методики и инструменты для оценки сетей

В апреле буду проводить семинар в Казахстане на тему "Построение, развитие и оценка сетей". В последний раз пришлось углубиться в эту тему в 2005. С тех пор много новых интересных публикаций появилось. Читающим по-английски коллегам рекомендую два пособия по оценке сетей. Первое подготовлено компаниями Innovations for Scaling Impact и Keystone в 2010, а второе - канадским Центром социальных инноваций в 2007. 

понедельник, 17 марта 2014 г.

Публикация INTRAC по теории изменений

В последнее время все большее число специалистов по проектированию и оценке программ и проектов проявляют интерес к подходу, который принято называть "теории изменений" (theory of change). Насколько мне известно, в ближайшее время Благотворительный детский фонд "Виктория" опубликует пособие по применению "теории изменений", которое включает обзор литературы и опыт применения этого подхода. Пособие было подготовлено при поддержке компании Evolution and Phlilanthropy с нашим активным участием. Я сообщу, когда пособие будет доступно в онлайне. Пока хотел бы поделиться ссылкой на публикацию INTRAC, который представляет свое видение "теории изменений" (на русском языке). Поскольку я знаком с достаточно большим числом публикаций по данной теме, хочу предупредить, что это лишь одна из версий. 

воскресенье, 16 марта 2014 г.

Семинар по умному регулированию в ВШЭ

В пятницу в Высшей школе экономики прошел семинар "Развитие механизмов 'умного регулирования': на пути к новой регуляторной политике России". Комментарии, фотографии и материалы семинара можно найти в фейсбуке на странице Даниила Цыганкова, который был одним из главных организаторов этого события. Я имел возможность принять участие в указанном мероприятии и с интересом послушал коллег, работающих в смежной с нами области. Если бы меня попросили назвать три наиболее интересных (лично для меня) момента, я бы отметил (1) разнообразные трактовки того, что у нас называют "умным регулированием"; (2) значительные трудности, связанные с внедрением механизмов ОРВ (оценки регулирующего воздействия) и элементов "умного регулирования"; (3) низкое качество законодательных и нормативных актов, экспертизу которых (ОРВ) теперь проводят в России в обязательном порядке. Последнее очень перекликается с нашими страданиями по поводу низкого качества дизайна программ и проектов, которые нам приходится оценивать (отнюдь не только в России).
Насколько я понял, все материалы семинара доступны на сайте ВШЭ. 

понедельник, 10 марта 2014 г.

EVAL.RU

Это адрес будущего сайта создаваемой в России ассоциации специалистов по оценке программ и политик. Я уже несколько раз писал о том, что такая работа ведется, и что мы с коллегами принимаем в ней активное участие. Мы столкнулись с целым рядом проблем. Поиск решений занял некоторое время. Но все идет к тому, что ассоциация будет! Вот и адрес сайта даже есть. Там пока просто анонс. Но лиха беда начало!  

четверг, 6 марта 2014 г.

В Кыргызстане мониторинг и оценка теперь абсолютно легитимные виды деятельности

18 февраля 2014 года Президент Кыргызской Республики Алмазбек Атамбаев подписал Закон «О внесении дополнений в некоторые законодательные акты Кыргызской Республики». Закон принят Жогорку Кенешем Кыргызской Республики 15 января 2014 года.
Закон принят в целях повышения эффективности и результативности действующей нормативной правовой базы Кыргызской Республики путем мониторинга и оценки нормативных правовых актов, (стратегий/программ), принятых государственными органами и органами местного самоуправления.
В частности, дополнения внесены в следующие Законы Кыргызской Республики:  «О нормативных правовых актах Кыргызской Республики», «Об оптимизации нормативной правовой базы регулирования предпринимательской деятельности», «О доступе к информации, находящейся в ведении государственных органов и органов местного самоуправления Кыргызской Республики», «О Регламенте Жогорку Кенеша Кыргызской Республики», «О местном самоуправлении».
Закон вступает в силу со дня официального опубликования, за исключением статьи 4, вступающей в силу по истечении шести месяцев со вступления в силу Закона.
Далее - для интересующихся деталями - привожу полный текст Закона, который я получил через рассылку кыргызстанской сети мониторинга и оценки.