понедельник, 31 декабря 2012 г.

2012

Оглядываясь на завершающийся сегодня год, выделю несколько наиболее значимых для меня (с профессиональной точки зрения) моментов.
  • В партнерстве с Благотворительным детским фондом "Виктория" и компанией Evolution and Philanthropy мы подготовили пособие по использованию т.н. "теории изменений" (theory of change) при разработке социальных программ. О других подобных публикациях на русском языке мне неизвестно. Вероятно, наша будет первой. Пособие включает достаточно подробный обзор литературы, описание опыта применения "теории изменений" в фонде "Виктория", а также пошаговую инструкцию по применению "теории изменений". После официальной публикации в 2013 году книжка появится в открытом доступе. Думаю, она может многим пригодится.
  • Наша команда провела оценку программы "Мать и дитя", которая выполнялась в России при поддержке Агентства США по международному развитию. Программа осуществлялась под эгидой комиссии Медведев-Обама (рабочая группа по здравоохранению). Оценку эту я отмечаю по нескольким причинам: интересная и сложная программа, новая для нас область, весьма непростая работа над отчетом (длительные согласования, масса комментариев, эмоции), высокая оценка качества финального отчета всеми заинтересованными сторонами. Помимо всего прочего, по ходу выполнения этой оценки у нас была возможность  подробнее познакомиться с принципами доказательной медицины (evidence-based medicine). В нашей команде, естественно, был профессионал в сфере здравоохранения - тоже интересный и поучительный для нас опыт совместной работы. 
  • Я провел несколько тренингов по оценке по модифицированной программе для разных целевых групп в России и в Казахстане. По моему, тренинг стал более сбалансированным с точки зрения представленности различных видов оценивания. При этом сохранился творческий характер тренинга - интересно и участникам, и мне самому :) 
  • Нам с коллегами удалось принять участие в двух очень интересных, содержательных и хорошо организованных конференциях - в Астане (Казахстан) и Миннеаполисе (США)
В заключение хотел бы поблагодарить посетителей и - отдельно - постоянных читателей этого блога. С Новым годом! До новых виртуальных и личных встреч! 

среда, 5 декабря 2012 г.

Чиангмайский форум: оценка - это наше все

В эти дни (с 3 по 6 декабря) в городе Чиангмай (Таиланд) происходит событие, которое может стать очень важным для развития оценки в мире. На т.н. "Чиангмайском форуме" собрались лидеры нескольких десятков региональных и национальных объединений специалистов по оценке со всего мира. Такое событие происходит впервые в истории. В форуме принимают участие представитель IPEN (Международная сеть "Оценка программ"), а также лидеры национальных объединений специалистов в области оценки из пяти стран нашего региона: Грузии, Казахстана, Кыргызстана, Таджикистана и Украины. На форуме планируется принятие  декларации, которая, в частности объявляет 2015 год "Международным годом оценки". Мне особенно приятно добавить, что моя коллега Наталья Кошелева, которая является в данный момент председателем Попечительского Совета IPEN, была избрана в Чиангмае президентом Международной организации сотрудничества в области оценки (IOCE).

понедельник, 3 декабря 2012 г.

SMART индикаторы

Именно индикаторы, а не цели! Я как-то не обратил внимания на растущее число публикаций, в которых речь идет о SMART-индикаторах (Specific/конкретный, Measurable/измеримый, Attainable/достижимый, Relevant/значимый, Time-bound/достигается в определенный заранее срок). Google уже дает 25 тыс. ссылок на "SMART indicators". Критерии SMART  чаще применяются к описанию того, как правильно формулировать цели (Google дает более 800 тыс. ссылок на "SMART goals"). С применением этого подхода возникает проблема, о которой я писал недавно: цели подменяются показателями их достижения. Если же SMART критерии применять к индикаторам, то все вопросы снимаются. Хорошая идея. 

воскресенье, 18 ноября 2012 г.

О новизне

Как-то один из ветеранов Американской ассоциации оценки в беседе со мной посетовал на то, что на протяжении двух десятилетий он посещает конференции, на которых одни и те же люди говорят примерно об одном и том же. Полагаю, коллега, в тот момент просто сильно устал, потому что уже на следующей конференции он был полон энтузиазма.
Тема, однако, актуальна. Речь идет о готовности и способности людей воспринимать новое.
Несколько лет тому назад мне пришлось выступать перед весьма авторитетной аудиторией, состоявшей, в основном, из вузовских преподавателей социологии, сплошь кандидатов и докторов наук. В оценке программ активно используются методы социологического исследования, поэтому меня и пригласили выступить на той встрече. В краткой дискуссии, последовавшей за моим выступлением, коллеги дали понять, что не услышали от меня совершенно ничего нового и что они не просто давно знают об оценке программ, но и занимаются ей сами,  а также преподают ее своим студентам. Это, естественно, не соответствовало действительности: коллеги распознали в моем выступлении знакомые сюжеты, но не увидели за ними новизны.
Подобных примеров восприятия нового можно было бы привести достаточно много. Люди склонны к критическому мышлению и достаточно консервативны, что, само по себе, хорошо. Проблема заключается в том, чтобы существовал здоровый баланс между консерватизмом и готовностью увидеть новое, которое, как правило, проявляется не в виде революционных фундаментальных теорий, а в виде идей, дополняющих уже существующее знание, расширяющих его понемножку, шаг за шагом. «Прорывы», конечно, бывают, но редко. Поэтому и развитие дисциплины, и профессиональный рост специалистов существенно зависят от восприимчивости профессионального сообщества и его членов к относительно небольшим инновациям.
Замечу, что чем опытнее становится человек и чем больше он/а знает, тем больше риск потери чувствительности к новому.

вторник, 13 ноября 2012 г.

Свежая публикация по созданию национальных систем оценки

Группа оценки ООН (United Nations Evaluation Group - UNEG) сегодня объявила о размещении на своем сайте новой книжки, название которой можно перевести с английского как "Развитие национального потенциала в сфере оценки: практические советы по формированию национальных систем оценки". Насколько мне известно, подобных публикаций по данной теме раньше не было. Сборники выступлений на конференциях - не в счет, т.к. информация в них не систематизирована. В данном же случае мы получили настоящую книгу, представляющую собой отчет рабочей группы, изучавшей проблему формирования национальных систем оценки по заданию UNEG. Отличительными особенностями книжки являются подробные списки литературы по каждому разделу, а также многочисленные полезные приложения, в которых имеются ссылки на открытые интернет-ресурсы.

понедельник, 12 ноября 2012 г.

Кого приглашать для проведения оценки: эксперта в предметной области или специалиста по оценке?

Время идет, а тема остается актуальной. По-прежнему крайне сложно найти для оценки программы консультанта, который бы являлся экспертом в соответствующей предметной области и владел методологией оценки. В результате многие организации нанимают экспертов, не очень хорошо знакомых с методологией проведения оценки программ. Потом они жалуются на низкое качество оценки. Я к этой теме уже обращался ранее, потому повторяться не буду, а добавлю аргументацию.
Полагаю, тут многое зависит от вида оценки:
- если нужно провести экспертизу, то главное - выбрать правильных экспертов в соответствующей предметной области,
- если же нужно провести оценку, основанную на эмпирическом исследовании, то главное - выбрать людей, которые владеют методологией проведения такого исследования (умеют собирать и анализировать эмпирические данные), то есть в этом случае важнее знания в области оценки программ. Это, естественно, не исключает привлечения экспертов (см. предыдущий пост на эту тему).

пятница, 9 ноября 2012 г.

Оценка проектов, направленных на защиту прав и интересов ("эдвокаси")

В конце 90-х  годов мы пытались найти методики оценки программ, направленных на отстаивание прав и интересов (advocacy). Практически ничего не нашли. Сейчас снова возник такой же вопрос, и я обнаружил, что тема стала весьма популярной, и что за последнее десятилетие появился целый ряд интересных публикаций и даже руководств по оценке именно таких программ и проектов (пока все на английском). Приведу четыре ссылочки для интересующихся данной проблемой:
  1. A Practical Guide to Advocacy Evaluation. Innovation Network, Inc. Не очень объемный хорошо структурированный документ.
  2. A User’s Guide to Advocacy Evaluation Planning. Harvard Family Research Project. Если читаете по-английски, сайт этого проекта - отличный ресурс по оценке программ.
  3. A Guide to Measuring Advocacy and Policy. Руководство опубликовано Annie E. Casey Foundation, который вообще много интересных публикаций подготовил по оценке и управлению программами.
  4. Advocacy Impact Evaluation. Статья Майкла Пэттона. Надо читать, потому что автор - гуру.
Удивительно, как быстро заполнился некоторый пробел в знании об оценке! По всей вероятности, это связано еще и с тем, что доноры стали активнее поддерживать "эдвокаси"-программы, и, естественно, появился запрос на их оценку.

среда, 31 октября 2012 г.

Встреча с Сэнди

Получилось так, что мы с коллегой прилетели в Вашингтон в воскресенье вечером, когда уже стало ясно, что ураган 1 категории по имени Сэнди придет туда в понедельник вечером.
По телевизору постоянно шли передачи о том, что ураган очень опасен и что надо серьезно отнестись к предупреждениям.
Потом пошли сообщения об эвакуации людей, в частности, в Нью Йорке. Там эвакуировали около 400 тысяч человек - нечто беспрецедентное.
Чуть позже пошли сообщения из тех районов, куда стали долетать предвестники Сэнди - сильный порывистый ветер с дождем. В Нью Йорке с набережной корреспондент рассказал, что на том месте, где он стоит, будет два метра воды... Я понял так, что в прибрежных районах главная угроза - не столько ветер, сколько вода, которую ураган выдавливает из океана. Она заставляет реки выходить из берегов, что также приводит к серьезным последствиям. В Атлантик-Сити, куда потом пришелся центр урагана, корреспондент говорил, пытаясь устоять на ногах с переменным успехом. Временами его попросту сдувало. В другом репортаже рассказали, что скорость ветра будет сильно меняться с высотой и что на уровне верхушек небоскребов она будет достигать 130-140 миль в час. Все это делалось для того, чтобы показать, что надвигается нечто очень серьезное и опасное.
Мы пошли в продовольственный магазин неподалеку и купили некоторое количество продуктов (на сутки примерно), а также последнюю (!) бутылку воды с витрины. Это нас сильно выручило, потому что потом выходить из гостиницы как-то не хотелось. Да и магазины не работали.
Потом сказали, чтобы все сидели по домам и что все учреждения, а также общественный транспорт в Вашингтоне работать не будут.
К вечеру понедельника стал усиливаться ветер. Моросил дождь. Часов в 7 я вышел на улицу и понял, что дождь уже идет горизонтально. Ветер был такой сильный, что струи дождя летели параллельно земле.
Потом порывы ветра стали такие, что становилось немного не по себе. Несмотря на то, что мы находились внутри весьма надежного помещения. Стали качаться столбы, поддерживающие линии электропередач. В восьмом часу вечера после очередного порыва ветра что-то сильно хлопнуло на улице, посыпался фонтан искр и погас свет в гостинице: наш квартал погрузился в темноту. Перестала работать мобильная связь. Вероятно, повреждена была сота.
На стойке регистрации в гостинице нам сообщили, что находящийся неподалеку китайский ресторан продолжает доставлять горячую еду по заказам... Не знаю, как они там уж прорывались. Машину могло запросто опрокинуть таким ветром.
Наутро за окном просто моросил дождь. На улице валялись сломанные ветки деревьев (меньше, чем можно было ожидать). В одном месте видел упавшее на жилой дом довольно большое дерево. Без особого узерба, вроде, для дома. Урны, которые не успели убрать заранее, валялись  в неожиданных местах. В нашем районе не работали светофоры. Замечу: ни гудков, ни аварий. Все друг другу немного помогали, и получалось нормально на перекрестках.
В 14.00 открыли метро.
В 21.00 восстановили электроснабжение в нашем квартале.
Скорее всего, завтра в полном объеме восстановит свою работу аэропорт.
Сэнди ушел.

суббота, 27 октября 2012 г.

Конференция. День третий.

Еще один очень насыщенный день. Отмечу три момента:
1) Марко Сегоне, которого у нас в регионе многие знают, получил премию Американской ассоциации за вклад в развитие оценки. Очень рад за него! Премия престижная и - вне всяких сомнений - заслуженная.
2) На утренней сессии коллега из Новой Зеландии представил весьма нетрадиционный взгляд на индикаторы результатов. У него каждый индикатор - это небольшая история. И никаких цифр. Хм...
3) Оказывается, из Американской ассоциации за последние годы по собственной инициативе вышли несколько ведущих специалистов в сфере количественных методов, поскольку они сочли невозможным оставаться в ассоциации, которая сильно развернулась в сторону качественных методов. Не думал, что все настолько драматично может быть здесь.

пятница, 26 октября 2012 г.

День второй

Самое яркое впечатление дня - сессия, суть которой можно описать примерно так: "Пять выдающихся специалистов рассказывают о своей жизни". Организовал эту сессию профессор психологии Дэвид Вильямс из Юты. Он решил изучить, как складывалась жизнь людей, посвятивших себя оценке программ и достигших многого в этой сфере. Он проводит глубинные интервью с самыми известными в мире оценки специалистами. Пятерых из них он пригласил кратко рассказать о своей жизни сегодня на утренней сессии. Начинали рассказ с детства, которое у всех выступавших было непростым... Выступали Скривен (Scriven), Стейк (Stake), Хаус (House), Швандт (Schwandt) и Кушнер (Kushner). Первые четверо живут в США, последний - в Новой Зеландии.
Пересказывать услышанное смысла нет. Отмечу, что выступления и реакция аудитории были достаточно эмоциональными.
Я их спросил в конце, почему они согласились участвовать в этом исследовании. Ответ был примерно таким: "Чтобы лучше осознать себя в профессии, нужно осознать себя как личность... И вообще интересно". Такие дела.

четверг, 25 октября 2012 г.

Конференция началась

Сегодня после обеда (в 15.00) состоялось открытие конференции Американской ассоциации оценки (АОО). До этого были семинары, а после завершения сессий были стендовые доклады. Продолжительность первого рабочего дня составила 12 часов.
Сегодня мне удалось принять участие в двух коротких семинарах (3 часа каждый).
Семинар по кросс-культурной компетентности специалистов по оценке очень понравился. Оказывается, АОО шесть лет назад сформировала рабочую группу, которая в прошлом году опубликовала официальную позицию ассоциации по поводу кросс-культурной компетентности. Шесть лет люди работали над документом в несколько страниц! Теперь они активно продвигают его. Например, отправили Хиллари Клинтон (пока не ответила). Сам документ можно прочесть здесь.
Семинар по оценке деятельности (performance evaluation) мне понравился меньше. Вероятно, отчасти это было связано с тем, что он был рассчитан на начинающих, а я к ним не отношусь. Да и по ведению семинара у меня были вопросы. В сущности, нам за три часа в очень быстром темпе рассказали основы формирования целей и индикаторов к ним.
После открытия я был на интересной сессии, посвященной будущему оценки. Выступали несколько известных экспертов. Оказывается, у них есть уже сайт, где обсуждаются прогнозы развития оценки.

среда, 24 октября 2012 г.

Семинар по использованию историй в оценке программ

В Миннеаполисе начались семинары, предшествуюшие ежегодной конференции Американской ассоциации оценки. В этом году на конференции, по меньшей мере, пять человек из нашего региона: Татьяна Третьякова из Кыргызстана, Анна Марцинкив и Екатерина Столяренко из Украины, Наталья Кошелева и я из России.
Сегодня я был у Ричарда Крюгера на семинаре, посвященном использованию историй в оценке. Под историями в данном случае понимаются данные, полученные в ходе проведения оценки у респондентов и представляющие собой короткий рассказ (от абзаца до страницы) о чем-то значимом. Ричард Крюгер - человек весьма известный в профессиональных кругах. Он был президентом Американской ассоциации, написал очень хорошую книжку о проведении фокус-групп (переведена на русский язык).
Семинар был построен так: вначале истории рассматривались с точки зрения исследователя, применяющего качественные методы (определение понятия, выборка, преимущества и ограничения, этические аспекты использования и пр.), а затем - с позиции рассказчика (что делает историю значимой и интересной для слушателя/читателя; какие приемы можно использовать для того, чтобы история была максимально эффективной в контексте оценки).
Ричард несколько раз упоминал книжку Бринкерхоффа "Метод успешного случая", переведенную на русский язык. Хорошая книжка. Если кто-то хочет почитать про использование историй в исследованиях - рекомендую. Надеюсь, скоро и Крюгер что-то напишет по этому поводу. Материал у него очень хороший.

четверг, 18 октября 2012 г.

Как сформировать свою программу на большой конференции

Конференция Американской ассоциации оценки - большая. Число участников в последние годы превышает 2500, а число выступлений приближается к 1000. Это, в частности, означает, что каждые полтора часа во время конференции нужно будет выбирать одну из 20-25 сессий. Перерыв между сессиями - 10 минут: только-только, чтобы добежать до следующей аудитории. Программа конференции выдается при регистрации и выглядит как телефонная книга для города средних размеров. Таким образом, выбор сессий становится серьезной задачей. Есть риск пропустить что-то действительно интересное для вас или попасть туда, где вам не очень интересно.
Решение этой задачи, доступное в последние годы для членов ассоциации, заключается в том, что (а) программа конференции с удобными поисковыми сервисами (по ключевым словам, по имени выступающего, по типу сессии и т.д.) доступна в онлайне за несколько месяцев до начала конференции,
(б) пользователь (являющийся членом ассоциации и прошедший авторизацию на сайте) может заранее выбрать интересующие его сессии (отметить флажками) и сформировать из них свою программу конференции (нажать кнопку "Добавить в мою программу").
Индивидуальная программа хранится на сайте в "Личном кабинете" пользователя и может редактироваться по мере необходимости. Ее также можно (и нужно!) распечатать перед конференцией в удобном формате. Распечатка умещается на двух (!) листах формата А4.
Полагаю, что при таком подходе да еще с учетом наличия у большинства участников мобильного интернета можно будет в какой-то момент вовсе отказаться от публикации программ на бумаге. 

пятница, 12 октября 2012 г.

Особенности законодательства

В связи с регистрацией ассоциации оценивания в России мне впервые пришлось ближе познакомиться с законодательством об НКО. При ближайшем рассмотрении оказалось, что законодательство наше содержит массу ограничений для функционирования профессиональной ассоциации. Уже три месяца консультируемся с юристами, чтобы найти компромиссные решения. Особенно меня удивляет то, что в наш век интернета и телекоммникационных технологий законодательство запрещает ониайновое волеизъявление членов ассоциации. Можно только очно голосовать. Тем самым создаются преграды для эффективного вовлечения всех членов ассоциации в процесс принятия важнейших решений, например, в выборы руководящих органов ассоциации. Получается, что в выборах могут участвовать только те, кто будет присутствовать на конференции. А как же электронная демократия?

среда, 3 октября 2012 г.

Вакансия в Азербайджане

Минздрав Азербайджана объявил о вакантной должности специалиста по мониторингу и оценке. Пишу об этом, поскольку в нашем регионе не так часто подобные вакансии открываются в министерствах национального уровня. И тут, правда, не обошлось без Глобального Фонда, но все равно должность входит в штат Министерства здравоохранения страны.

воскресенье, 30 сентября 2012 г.

На пересечении

Одним из самых ярких для меня впечатлений от конференции IPEN в Астане стало выступление коллег из Москвы, представляющих Фонд "Культура детства". Они рассказали об опыте разработки принципов оценки программ, ориетированных на подростков. Хотел бы отметить две особенности их выступления.
Во-первых, оно знаменует новый этап в развитии оценки программ в нашей стране, поскольку в рамках этой инициативы разрабатываются особые подходы к оценке в определенной предметной области. Коллеги работают "на пересечении" своей сферы профессиональной деятельности и оценки программ, которая не является их специальностью. Это признак процесса специализации внутри сферы оценки. Процесс этот продолжится: в ближайшее время мы будем наблюдать развитие специфической методологии и особого инструментария оценки и в других предметных областях. За этим последует и соответствующая специализация консультантов по оценке в сферах зравоохранения. образования, экологии и т.д.
Во-вторых, коллеги представили продукт совместной деятельности специалистов в предметной области и специалистов по оценке. Причем разработка этого продукта проводится по инициативе специалистов в предметной области. Такое сотрудничество, на мой взгляд, очень перспективно и также является определенным этапом развития оценки программ.
В каком-то смысле вся конференция в Астане проходила "на пересечении": организаторами конференции были сеть специалистов по оценке, некоммерческая организация, частный фонд и академия государственного управления. Тема конференции была связана с использованием результатов оценки в принятии управленческих решений (еще одно "пересечение").
На мой взгляд, качество докладов и уровень обсуждения были весьма высокими. При этом сохранилась позитивная и совершенно не "пафосная" атмосфера, характерная для всех конференций Международной сети "Оценка программ". Огромная благодарность организаторам конференции и поздравления всем нам - с очередным важным шагом в развитии и продвижении оценки программ в регионе!

четверг, 20 сентября 2012 г.

Чего не следует делать профессиональным объединениям

Очень отрадно наблюдать, что в нашем регионе появляется все больше профессиональных объединений в области оценки программ. Полагаю, что процесс этот продолжится. В связи с этим хотел бы обратить внимание коллег на то, чего не следует делать профессиональным объединениям.
Профессиональным объединениям не следует оказывать платные услуги по профилю деятельности членов этих объединений.
Поясню, что конкретно я имею в виду.
Объединение специалистов по оценке программ НЕ ДОЛЖНО оказывать платные услуги по оценке, а именно: проводить оценку программ, разрабатывать и внедрять системы оценки для клиентов, проводить тренинги по оценке (здесь есть исключения, на которых я остановлюсь ниже).
Главная причина такого утверждения очень проста: оказывая платные услуги по профилю деятельности своих членов, профессиональное объединение вступает с ними в конкурентные отношения. Это плохо, потому что:
а) неизбежно ведет к конфликтам и, очень вероятно, к распаду объединения,
б) отталкивает от объединения новых потенциальных членов, которым нет никакого резона вступать в конкурирующую организацию.
Есть вторая причина. Тоже важная. Особенность профессионального объединения заключается в том, чтобы обслуживать интересы его членов. Это организация, "ориентированная внутрь". Зрелые профессиональные объединения отличаются именно этим. Ориентация на оказание платных услуг может сместить "фокус" в деятельности объединения с главного (интересы его членов) на второстепенное (зарабатывание денег).
Теперь про исключения. Обслуживая интересы своих членов, профессиональное объединение может организовывать для них платные тренинги по оценке, приглашая, к примеру, ведущих специалистов из других стран. Здесь все правильно, конкуренции нет, речь идет о реализации основной миссии - развитии профессии. Многие ассоциации организуют тренинги перед конференциями. Эти тренинги платные, но ... (а) они проводятся для участников конференций, большинство из которых является членами ассоциаций; (б) они всегда проводятся по льготной цене; (в) они проводятся раз в год.
Приведу пример.  Регистрационный взнос за тренинги перед конференциями IPEN покрывает лишь стоимость аренды помещения, раздаточных материалов и кофе-пауз; тренеры работают бесплатно.
Вполне нормально для профессиональных объединений проводить бесплатное обучение в любых формах для любых аудиторий. Тут тоже нет никакой конкуренции.
Стремление оказывать платные услуги по профилю деятельности своих членов характерно для слабых организаций, члены которых не имеют устойчивого дохода, а главной мотивацией их создателей является поиск новых путей зарабатывания денег. Само по себе это вовсе не предосудительно. Однако такая мотивация - неправильная основа для создания профессионального объединения (ассоциации).

пятница, 14 сентября 2012 г.

20 лет Компании "Процесс Консалтинг"

Сегодня (14 сентября) исполняется 20 лет с момента официальной регистрации ООО "Компания "Процесс Консалтинг". Когда мы создавали наш бизнес в далеком уже 1992 году, на 20 лет вперед, конечно, не задумывались. Многие тогда скептически относились даже к нашим пятилетним стратегическим планам... Сейчас очень любопытно читать документы тех лет: протоколы совещаний, планы, отчеты. В них - живая история. Наш первый контракт был заключен с администрацией одного из сибирских городов, где мы помогали развивать социально-психологическую службу. Самый "свежий" контракт заключен в Казахстане с организацией, которая активно развивает собственную систему мониторинга и оценки и рассчитывает на нашу помощь.
Многое поменялось с 1992 года и в мире, и в стране, и в бизнесе. Одна вещь осталась для нас неизменной: мы всегда очень хорошо понимали, что что существуем как бизнес потому, что у нас есть клиенты - люди и организации, которые пользуются нашими услугами. Поэтому сегодня я хотел бы выразить особую благодарность именно нашим клиентам - за доверие и за науку (мы очень многому научились у них, благодаря им и вместе с ними).

понедельник, 27 августа 2012 г.

Виды оценки

Существует много подходов к классификации видов оценки программ. Широко известно предложенное Майклом Скривеном разделение оценок на формирующие (formative) и суммирующие (summative). Весьма популярен список видов оценки, предложенный Американской ассоциацией оценки более 20 лет тому назад: предпроектная оценка, оценка оцениваемости (evaluability assessment), формирующая оценка, суммирующая оценка, мониторинг и мета-оценка (оценка оценки).
В прошлом году в рамках одного из проектов нам понадобилось сделать классификацию видов оценки по признаку применяемой методологии. Получилось, что с этой точки зрения можно разделить все виды оценки на
- оценку, основанную на знаниях экспертов (экспертиза),
- оценку, основанную на показателях (сюда относится, в частности, мониторинг), и
- оценку, основанную на эмпирическом исследовании.
Эта классификация оказалась очень полезной. Пользуюсь ей постоянно, в том числе, на семинарах. Слушатели хорошо принимают эту классификацию как нечто естественное. Для меня это очень важный признак.

пятница, 20 июля 2012 г.

Евгений Ясин о недостатках оценки, основанной на индикаторах

Собеседник.ru сообщает, что Минэкономразвития подготовило проект постановления правительства, который заставит всех чиновников проводить оценку регулирующего воздействия (ОРВ) на бизнес не только всех приказов, распоряжений, инструкций, но даже указов президента. Если проект будет утвержден, оценки чиновники начнут себе выставлять с 1 марта будущего года.
Президент фонда "Либеральная миссия" известный экономист Евгений Ясин, комментируя это постановление, отметил: "... Показателем успешности процесса будут цифры – сколько документов отправлено на переделку. А я еще с советских времен хорошо усвоил: если какой-то показатель назначается отчетным, его нарушать не будут. А как приспособиться – найдут.
Правильней было бы проанализировать наносимый некачественными приказами вред. Но если власти в России не хотят, чтобы была общественная дискуссия, тогда в дело вступает бюрократическая система. И мы получим постоянное извращение реальности". (цитирую по публикации в Собеседник.ru)
Очень правильные слова сказал уважаемый ученый. У нас в стране показатели пока являются синонимом оценки. То есть, если ставится задача что-то оценить, то, значит, будут разрабатывать показатели. Другие виды оценки пока не слишком популярны (известны?) в органах государственного управления. И это действительно приводит вместо желаемого результата к уходу от реальности, о чем и я неоднократно писал (см., например, "А вокруг иллюзия из папье-маше") и говорил.

вторник, 17 июля 2012 г.

Экономический совет при президенте РФ будет оценивать программы

Вчера Президент РФ Владимир Путин создал экономический совет при президенте РФ и стал его председателем. К компетенции совета отнесены в числе прочих функций подготовка и оценка реализации "дорожных карт" по совершенствованию делового климата, а также экспертная оценка планов и программ, направленных на обеспечение реформирования экономической и социальной сфер.

Судя по составу членов Совета, оценку они будут поручать кому-то. Например, возглавляемым ими учреждениям (в частности ВШЭ и РАНХ). Несколько смущает сужение оценки программ до "экспертной". Хотя неизвестно, что конкретно здесь имелось в виду. Поживем - увидим.

воскресенье, 8 июля 2012 г.

Статистика посещений блога: трудности интерпретации

Некоторые статистические показатели, сязанные с посещаемостью блога интерпретировать несложно. К примеру, есть явная связь между частотой публикаций в блоге и числом посещений. Тут все понятно: чем чаще пишешь, тем чаще к тебе заходят почитать.
Или, скажем, легко обнаружить связь между размещением ссылок на блог на Facebook и числом посетителей, которые зашли в блог именно оттуда.
Статистика просмотров отдельных сообщений представляет собой более сложную картину. Например, есть записи, которые (согласно моим ожиданиям) должны были привлечь внимание посетителей блога, но этого не случилось. Пример: текст про разработку индикаторов. С другой стороны, есть записи, которые мне не казались такими уж интересными, однако в рейтинге посещений они оказались в числе 5-ти наиболее популярных. Пример: информация о вакансии в Казахстане.
Популярность записей, вероятнее всего, все же зависит от того, в какой мере они содержат новую информацию и ориентированы на практику. Самая популярная запись в моем блоге вот эта: цепочка результатов.

четверг, 28 июня 2012 г.

Оценка государственных программ в бюджетном послании президента

Сегодня президент РФ выступил с посланием "О бюджетной политике в 2013 - 2015 годах". Процитирую два положения из этого послания, которые представляют интерес для всех, кто интересуется оценкой программ (в послании эти две цитаты идут в обратном порядке):
  1. "Для  достижения  целей  социально-экономической политики и обеспечения общественного контроля  за  их  достижением формирование и исполнение  бюджета  должно  осуществляться  на  базе  государственных программ".
  2. "Пора уходить от ставшего уже привычным измерения исполнения бюджета лишь фиксацией расходования средств на те или иные цели. Критерием должно стать достижение целей социально-экономической политики,  на  финансовое обеспечение которых направляются бюджетные средства".
Другими словами, теперь государственные планы будут состоять из программ. А оценка исполнения государственных планов будет производиться в зависимости от того, в какой мере достигнуты цели программ.

Полагаю, что данная инициатива в ближайшее время столкнется со следующими существенными трудностями:

Выступление в Астане

Через два дня завершается прием заявок на выступления на конференции IPEN в Астане в сентябре. Мы с коллегами стараемся каждый раз рассказать о том, что нового появилось за прошедший с предыдущей конференции год. Поскольку я вынужден был пропустить конференцию в Тбилиси, то "отчетный период" у меня в этот раз - два года. Тема конференции в Астане - использование результатов оценки при принятии управленческих решений. Решил порассуждать о том, как дизайн программ влияет на оценку их результатов и последующее использование результатов этой оценки. Тема из серии "Боль моя, ты покинь меня" (помните эту песню из к/ф про Штирлица?). Постоянно сталкиваемся с одной и той же проблемой: из-за некачественного дизайна программ (в частности, из-за некорректной постановки целей и изъянов в логике) оценивается то, на что программа повлиять попросту не могла. А то, на что она могла повлиять и повлияла, не оценивается вовсе. Соответственно, результаты оценки не говорят ни о чем применительно к программе, и их использование при принятии управленческих решений попросту противопоказано. Если мое выступление будет включено в программу, заходите - поговорим. Программа конференции будет опубликована до конца июля.

воскресенье, 10 июня 2012 г.

В какой момент можно делиться с клиентом предварительными результатами

Проведение оценки программы предполагает выполнение определенных действий в определенной последовательности. В частности, нужно вначале собрать даные, потом проанализировать их, а затем вынести суждения (ответить на вопросы задания). Вынесение суждений на основе неполных данных чревато ошибками. Вынесение суждений без должного анализа данных также весьма рискованно, поскольку в этом случае консультант будет руководствоваться интуитивными ощущениями, возникающими в связи с полученной информацией и не только.
Следовательно, делиться результатами оценки программы с клиентом можно только после того, как проведен анализ данных. Это противоречит принятой многими организациями практике заслушивать предварительные результаты сразу по окончании полевого этапа работ. Связано это с несколькими причинами, одна из которых заключается в том, что консультанты приезжают издалека (например, из другой страны), и клиент их уже не увидит после окончания полевого этапа работ (сбора данных): они уедут домой и потом просто пришлют отчет. Поэтому, вроде бы, идея переговорить с консультантами о предварительных результатах перед их отъездом выглядит здраво.
И вот тут мы можем вернуться к началу моего рассуждения. О чем могут рассказать консультанты в этот момент? У них собран огромный массив данных, которые не только не проанализированы, но и не обработаны даже как следует. Естественно, у консультантов появляются некоторые гипотезы к моменту окончания собра данных. Но гипотезы эти надо тщательно проверить и перепроверить; понять, не следует ли получить дополнительные данные для их потверждения либо опровержения. Только после этого гипотезы переходят в разряд основанных на фактах суждений. И только тогда ими можно делиться с клиентом. Собственно, мое предложение ко всем участникам процесса оценки заключается в том, что не надо спешить с представлением предварительных результатов. Клиенту не следует подталкивать консультантов к тому, чтобы делать недостаточно обоснованные выводы. А консультантам не нужно соглашаться на такие предложения.
Существует компромиссный вариант: консультант может устно рассказать клиенту об основных  предварительных результатах по окончании анализа данных, но до того, как приступит к написанию отчета. Такой подход считаю не только допустимым, но очень даже желательным. Он дает возможность получить предварительную "обратную связь" от клиента, которая поможет при написании отчета. И тут нам приходит на помощь скайп - вполне можно обеспечить эффект присутствия даже если нельзя встретиться лицом к лицу.
В заключение хочу рассказать забавную историю. Один из наших контрактов на оценку программы был заключен с зарубежной организацией. Форма контракта клиентом использовалась стандартная, предполагающая, что консультанты приезжают из другой страны, чтобы оценить программу в России. Так вот, нам пришлось убеждать клиента, что формулировка "консультанты знакомят клиента с предварительными результатами оценки программы непосредственно перед тем, как уедут из России" не вполне отражает наши намерения и что уезжать из России мы вовсе не собираемся. Уговорили :)

четверг, 31 мая 2012 г.

Губернатор Костромской области против завышения показателей при оценке программ

Я уже несколько раз писал о том, что при проведении оценки, основанной на показателях, возникает проблема контроля значений этих самых показателей. Причина проста, и обнаружена она была с момента изобретения показателей: люди, работу кторых оценивают по показателям, стремятся сделать так, чтобы показатели были такими, как надо. Иногда это происходит путем прямого воздействия на значения показателей (искажения их истинного значения).
Интересный материал опубликован на государственном портале Костромской области. Губернатор области Сергей Ситников высказал требование "не допускать искажения реальных результатов областных целевых программ, так как оно приводит к необъективной оценке эффективности деятельности исполнительных органов власти и ошибкам в планировании".
Губернатор сказал, в частности, следующее: «Сообщалось, что в прошлом году нашу область посетили 1 млн. туристов. При этом никто не ответил, сколько туристов реально посетило музеи Костромской области, сколько из них было костромичей? Сколько людей приезжало по вопросам бизнеса? Никто не разделял и не фиксировал. Думаю, что на сегодняшний день этот показатель составляет порядка 300 тысяч человек». Губернатор поручил  провести служебное расследование для выявления лиц, которые представили завышенные цифры. Скорее всего, выявление этих лиц не составит большой проблемы.
Но тут есть другой интересный вопрос. Если губернатор считает, что туристов было 300 тысяч, значит, кто-то все-таки их сосчитал? Возможно, Департамент экономического развития, промышленности и торговли, который упоминается в публикации. Вопрос: как считали они и как считали те, кто представил в три раза большее число туристов? Почему данные Департамента экономического развития, промышленности и торговли считаются истинными, а отчетность - неправильной? Мне кажется, что помимо выявления лиц, искажающих отчетность, надо бы провести анализ системы мониторинга госпрограмм и понять, как измеряются те или иные показатели.
А контролировать их значения все равно придется как-то. Такой уж недостаток у оценки программ, основанной на показателях.

пятница, 18 мая 2012 г.

Вакансия в Казахстане

Фонд Сороса - Казахстан (Алматы) ищет специалиста на позицию "Координатор по мониторингу, оценке и анализу проектов", в обязанности которого будет входить следующее:
  • Развивает и реализует концепцию по мониторингу и оценке проектов ФСК;
  • Принимает участие в разработке политик и процедур в отношении мониторинга и оценки проектов ФСК;
  • Представляет анализ и рекомендации по результатам мониторинга и оценки грантов ФСК; 
  • Готовит текущие отчеты по запросу Учредителя, Попечительского совета, Правления, доноров и других заинтересованных сторон;
  • Оказывает техническую поддержку сотрудникам программного отдела и партнерам в планировании и управлении системой мониторинга и оценки;
  • В целях мониторинга и оценки координирует процесс определения индикаторов для проектов ФСК;
  • Готовит отчеты о достижении целей и задач ФСК в соответствии с установленными индикаторами;
  • Обобщает накопленный ФСК опыт для целей стратегического планирования;
  • Предлагает и готовит аналитические документы, содержащие выводы и рекомендации;
  • Принимает участие в работе над годовыми отчетами ФСК;
  • Разрабатывает и, в случае необходимости, проводит тренинги по мониторингу и оценке для сотрудников и партнеров ФСК;
  • Инициирует и координирует оценку программ и проектов ФСК;
  • Осуществляет выездной мониторинг по мере необходимости;
  • Взаимодействует с Архивной программой Фондов Открытого общества в области архивации и анализа информации
Полный текст объявления можно посмотреть здесь

вторник, 15 мая 2012 г.

Методика оценки эфективности совещаний

Компания "Автоматизация менеджмента" опубликовала статью по оценке эффективности совещаний. Отличительная особенность статьи - ее инструментальность: предлагаются конкретные критерии оценки и даже балльная система оценки по компонентам совещаний.

пятница, 11 мая 2012 г.

Клиент, консультант и ... кто-то еще?

Оценка программ - одно из направлений консалтингового бизнеса. В консультировании есть два главных действующих лица - клиент и консультант. У клиента появляются информационные потребности, которые он не может удовлетворить с помощью существующих средств. Поэтому он выбирает и нанимает консультанта, который должен изучить программу или проект клиента и дать ответы на интересующие его вопросы. К слову сказать, в 2003 году я опубликовал небольшую статью о консультировании, в которой есть и определения консультирования, и обсуждение того, что происходит в процессе консультирования. Все это полностью применимо к консультированию по оценке программ и проектов.
Некоторые организации практикуют привлечение к процессу оценки программ третьих лиц, которые выступают как гаранты качества выполняемых работ. Выглядит это чаще всего так: после проведения оценки эти люди получают проект отчета на рецензию. Здесь у меня как у консультанта возникает проблема: я получаю замечания от человека, который (а) не является моим клиентом; (б) не был включен в процесс оценки; (в) не имеет никакого отношения к оцениваемой программе. Вопрос: почему я должен тратить мое время (и деньги моего клиента) на то, чтобы ответить на его комментарии? Тем более, что часть комментариев, как правило, связана с тем, что рецензент не вполне включен в контекст.
Полагаю, что здесь имеет место смешение жанров. Отчет об оценке программы не является рукописью, направленной для публикации в специализированном журнале, где рецензирование является обязательным этапом. Отчет (хороший отчет!) пишется исключительно для клиента с учетом того, что клиент уже знает и что он хочет узнать. Если у клиента есть вопросы по отчету, то консультант обязан на эти вопросы ответить и доработать отчет при необходимости. Потому что консультант оказывает клиенту услугу, и это - часть услуги. Если же клиент удовлетворен отчетом, то это означает, что консультант хорошо выполнил свою работу.
Клиент, естественно, может привлекать третьих лиц к обсуждению и рецензированию отчета по своему усмотрению, но эти лица не должны включаться во взаимодействие клиента и консультанта. Если клиент нуждается в такой рецензии, он должен ознакомиться с ее результатами и поделиться с консультантом теми вопросами, которые у него есть с учетом мнения рецензента. При этом сохраняется схема взаимодействия клиент-консультант без участия третьих лиц. Считаю это не просто важным - принципиальным моментом для обеспечения качественных консультационных услуг.

четверг, 19 апреля 2012 г.

Разработка индикаторов: не останавливаться на полпути

Индикатор – это доступная наблюдению и измерению характеристика интересующего нас объекта (например, социальной программы) или явления, позволяющая судить о других характеристиках этого объекта или явления, недоступных непосредственному наблюдению и измерению.
Хороший пример индикатора  - лакмус. Все наверняка помнят школьные опыты, когда т.н. лакмусовая бумага (бумага, пропитанная специальным веществом – лакмусом) использовалась для определения реакции среды. Еще и стишок был такой:
Индикатор лакмус - красный
Кислоту укажет ясно.
Индикатор лакмус - синий,
Щёлочь здесь - не будь разиней,
Когда ж нейтральная среда,
Он фиолетовый всегда.

Естественно, реакцию среды нельзя наблюдать непосредственно, однако ее легко определить по изменению цвета лакмуса.
С индикаторами, связанными с программами и проектами, принцип остается тот же: найти такие признаки (характеристики), которые можно непосредственно наблюдать и измерять, и по которым можно судить о тех характеристиках проекта или программы, которые нельзя наблюдать и измерять непосредственно.
Например, программа может быть направлена на улучшение здоровья сотрудников предприятия. Это цель.  По каким признакам можно будет судить о ее достижении? Вот несколько вариантов: общее число человеко-дней в год, пропущенных по причине временной нетрудоспособности (по больничным листам); процент сотрудников, которые были на больничном один раз, два раза, три раза за год; доля острых респираторных заболеваний в общем числе причин временной нетрудоспособности сотрудников и т.д. Все эти индикаторы мы можем замерить (посчитать их значения), имея официальную статистику заболеваемости сотрудников.
О чем важно помнить: значение индикатора ВСЕГДА должно быть численным. Если у нас вдруг получился индикатор типа  «подготовлено учебное пособие» или «улучшен доступ к аналитическим данным», то это означает, что мы еще на полпути к успеху. Конечно, можно наблюдать готовность пособия и худо-бедно ощутить, как изменился доступ к данным. Но тут речь идет об измерении. По каким признакам (количественным) мы можем судить о готовности пособия? По каким признакам мы узнаем, что доступ к данным улучшился? Пока не дойдем до чисел, надо продолжать такой вопрос себе задавать.
Самая распространенная ошибка при формировании индикаторов – подмена индикаторов ожидаемыми результатами, которые не поддаются непосредственному наблюдению и для измерения которых нужны индикаторы.

четверг, 12 апреля 2012 г.

Что же такое эффективность?

Счетная палата провела аудит эффективности использования средств, направляемых на господдержку учреждений общего образования. Результаты оценки вкратце таковы:
- деньги выделены немалые,
- в целом финансирование существенно возросло,
- много что хорошего сделано и закуплено,
- при этом "основная цель государственной политики в сфере общего образования - обеспечение доступности бесплатного качественного образования - до настоящего времени не достигнута".
Я точно не знаю, что такое "основная цель государственной политики". Но если это именно тот результат, для достижения которого финансировались соответствующие мероприятия, то он не достигнут. Это означает, что либо что-то было неправильно с планированием, либо с реализацией, либо с объемом финансирования. Но результат-то не достигнут! Хотя в общем контексте отчета Счетной палаты это утверждение проходит без восклицательного знака в духе того, что наряду с положительными результатами есть кое-какие негативные явления.
Мне думается, что надо к целям и их достижению относиться более серьезно. Вот интересно, что дальше будет с результатами этого аудита? Будет ли, к примеру, проведен "разбор полетов" и определены причины, в силу которых цель не достигнута? Будут ли скорректированы дальнейшие планы работы по результатам анализа?

вторник, 10 апреля 2012 г.

Путин говорит об оценке в социальной сфере

"Также считаю, что все ключевые решения в социальной сфере должны проходить общественную экспертизу. У нас наработан очень хороший опыт, когда предпринимательские объединения дают оценку регулирующего воздействия правовых актов на деловой климат в экономике. Тем более логично применять подобный общественный аудит и в социальной сфере. Нам необходима процедура оценки социального воздействия правовых актов, регулирующих вопросы развития института семьи, материнства, детства, здравоохранения, экологии, образования и воспитания, защиты нравственности.
И, конечно, общество должно напрямую участвовать в оценке качества работы основных социальных институтов в нашей стране. В связи с этим считаю необходимым определить критерии эффективности работы учреждений социальной сферы и на их основе создать независимую систему оценки качества. В разработке такой системы должны участвовать представители государственной власти, профессиональные ассоциации, общественные структуры и, безусловно, сами граждане России. Для этого нужно использовать социальные сети, механизмы общественных коммуникаций, и я прошу самым активным образом подключиться к этой работе и Агентство стратегических инициатив, там у коллег есть хорошие наработки.
Конечно же, необходимы инструменты профессионального самоконтроля, и прежде всего на основе этических кодексов. Их разработку должны взять на себя профессиональные ассоциации и саморегулируемые организации".
А мы как раз уже здесь и почти готовы :)

понедельник, 9 апреля 2012 г.

Новый электронный журнал

Только что обнаружил, что в прошлом году Высшая Школа Экономики создала новый онлайновый журнал "Организационная психология". Тем, кто занимается оценкой программ, может пригодиться, т.к. это - еще одна смежная область.

вторник, 3 апреля 2012 г.

О чем надо подумать, создавая свой консалтинговый бизнес

Вчера у меня была очередная встреча со студентами ВШЭ, которые начинают изучение оценки политик и программ. Моя задача - представить оценку как область профессиональной деятельности. В конце лекции студенты задают вопросы. Лучшим вчера, на мой взгляд, был вопрос о том, что нужно принять во внимание, когда собираешься создать свой консалтинговый бизнес.
Думаю, как минимум, три вещи:
- Кто будет вашим клиентом и чем вы можете быть для них полезным. Потенциальные клиенты сегодня очень хорошо образованы и много знают. Кроме того, у них есть много собственных ресурсов. Надо очень хорошо понять, что такого вы можете предложить, чего у них нет.
- Способность жить в условиях высокой степени неопределенности относительно будущей работы. В малом консалтинговом бизнесе, как правило, не бывает гарантированного портфеля заказов на сколько-нибудь длительную перспективу.
- Желание и готовность путешествовать. Во многих случаях успех консалтингового бизнеса зависит от интенсивных поездок.
Эта тема могла бы быть существенно развита, если бы было больше времени :)
PS Для тех, кто был на вчерашней лекции: если захотите связаться со мной, пишите здесь в комментариях или по почте на info@processconsulting.ru

понедельник, 2 апреля 2012 г.

Оценка программ и смежные области

Методы и инструменты оценки программ и проектов могут применяться в различных областях. Чаще обсуждается использование оценки в социальных программах, программах развития. Однако есть много смежных областей, где оценка используется весьма активно. Только вот со специалистами из этих сфер мы пересекаемся не часто: у них - свои профессиональные сообщества. Рекламная кампания, к примеру, вполне может рассматриваться как проект (программа), эффективность которого можно оценивать. ИКЕА, серьезно занимается этим вопросом.

четверг, 29 марта 2012 г.

Курс по оценке в программе МВА в Барановичах

В Брестской области Республики Беларусь есть районный центр Барановичи - город с населением порядка 170 тыс. человек. В Барановичах есть государственный университет - 10000 студентов. А в университете этом есть весьма редкий для стран нашего региона учебный курс: "Мониторинг и оценка в системе здравоохранения"!  Подозреваю, что курс может быть уникальным для стран СНГ. Читается он как часть программы МВА со специализацией в сфере управления здравоохранением. Было бы очень интересно узнать историю появления этого курса в учебной программе. Чья-то личная инициатива? Международное сотрудничество?

воскресенье, 25 марта 2012 г.

Пока оцениваем вот так как-то...

Очень обрадовался, когда обнаружил, что опубликованы результаты оценки эффективности долгосрочной целевой программы «Развитие образования Брянской области». Не так часто у нас публикуют отчеты об оценке эффективности государственных программ. Поэтому сам факт публикации считаю положительным. К сожалению, это все хорошие новости. Даже беглое ознакомление с документом показывает, что (а) программы, вероятнее всего, нет, а есть некий набор мероприятий, под которые выделены средства; (б) оценка эффективности  в данном случае не предполагает ни анализа того, в какой мере достигнуты запланированные цели (кроме освоения выделенных средств), ни обсуждения того, можно ли было выделенные средства использовать с большим эффектом.
Приведу один пример.
На 2011 год было запланировано "Развитие областной системы оценки качества как элемента общеобразовательной системы оценки качества". Казалось бы, при оценке эффективности этого компонента программы, нужно посмотреть, создана ли такая система и насколько хорошо она работает. В отчете же мы обнаруживаем лишь один (!) показатель, по которому предлагается судить о системе оценки качества: "Увеличение удельного веса выпускников общеобразовательных учреждений, поступивших в учреждения высшего и среднего профессионального образования по результатам ЕГЭ". Планировалось, что этот удельный вес (не очень понятно, кстати, как его считают) будет 73%, а он оказался 74%. Из чего, вероятно, делается вывод, что 2,5 миллиона рублей, выделенных на развитие областной системы оценки качества, потрачены не зря.
Я больше чем уверен, что в Брянской области велась работа по созданию областной системы оценки качества. Однако из отчета об оценке эффективности этой работы нельзя понять ни ее целей, ни фактических результатов. А используемый для оценки единственный показатель вызывает большие сомнения (не его значение, а сам показатель - насколько он связан с системой оценки качества).

понедельник, 19 марта 2012 г.

Началась работа по созданию российской ассоциации

В инициативную группу по созданию Российской ассоциации по оцениванию вошли Наталья Тюшкевич (Детский фонд "Виктория", Москва), Татьяна Лыскина (Южный региональный ресурсный центр, Краснодар), Марина Михайлова (Центр "Гарант", Архангельск), Елена Малицкая (Сибирский центр поддержки общественных инициатив, Новосибирск), Евгения Верба (Ассоциация "Служение", Нижний Новгород), Владимир Балакирев (Компания "Процесс Консалтинг", Москва), Алексей Кузьмин (Компания "Процесс Консалтинг", Москва), Даниил Цыганков (Высшая школа экономики, Москва).
Предполагается, что ассоциация объединит специалистов по оцениванию программ и политик, оценке воздействия (ОРВ, ОВОС), общественной экспертизе, аудиту эффективности т.д. Предварительно, учредительная конференция Ассоциации пройдет в Москве, в 20-х числах июня 2012 г. Инициативная группа занимается подготовкой учредительной конференции ассоциации и сложит с себя все полномочия после формирования руководящих органов Ассоциации. 

четверг, 15 марта 2012 г.

Аудит эффективности в медицине

У нас не так уж много примеров методик аудита эффективности, которые апробированы и реально применяются на практике. В связи с этим хотел бы обратить внимание уважаемых читателей данного блога на разработку Института Здровья Семьи (при загрузке там просят пароль, и надо просто пропустить это - Esc, и все откроется).
Речь идет о методике оценки оказания качества медицинской помощи женщинам и детям. Несмотря на специфичность тематики, полагаю, что публикация может быть интересна всем, кто интересуется вопросами оценки эффективности, поскольку авторы (Наталья Вартапетова и Олег Швабский) говорят о принципах аудита эффективности. Например, в предлагаемой методике каждый из показателей оценивается по двухбалльной системе: 1- внедрено полностью, 0 - не внедрено. Казалось бы, система оценки слишком "грубая" и негибкая. Однако, при ближайшем ознакомлении с ней любой пациент наверняка согласится с предлагаемым подходом. Авторы пишут: "Имеет ли значение, прежде всего для пациента, тот факт, что врач овладел навыками сердечно-легочной реанимации на 40% (плохо)  или даже 90% (хорошо)? Больной с большей долей вероятности останется жив если ему будет оказана своевременная, адекватная, правильная (по алгоритму), в полном объеме помощь.  Практически важен ответ на вопрос, сформулированный в категоричной форме: готов или не готов специалист эффективно оказать помощь в 100% случаях?".
В общем, рекомендую прочесть.

воскресенье, 4 марта 2012 г.

Процесс идет

Иногда бывает полезно сравнить какие-то характеристики текущей ситуации с тем, что было лет 10-15 назад. Тогда изменения становятся заметнее. На мой взгляд, следующее объявление свидетельствует о том, что мониторинг и оценка развиваются в нашем регионе, в частности, в Казахстане: Гражданский Альянс набирает сотрудников в проект "Общественный мониторинг". Можно ли было такое представить в конце 90-х?

воскресенье, 26 февраля 2012 г.

Умный подход к "умным" критериям

Всем известны критерии SMART, котрыми следует руководствоваться при формулировании целей. Слово smart переводится с английского как умный. Одноврменно в данном случае это слово является аббревиатурой (характеристики хорошо сформулированной цели: Specific/конкретная, Measurable/измеримая, Attainable/достижимая, Relevant/значимая, Time-bound/достигается в определенный заранее срок).
Мы все чаще сталкиваемся с ситуациями, когда, критерии SMART трактуются слишком буквально, что приводит к подмене целей показателями их достижения. Это, в свою очередь, приводит к весьма нежелательным последствиям. В частности, создает проблемы с описанием логики программ (порой даже делает ее абсурдной) и смещает фокус с достижения социально значимых результатов на обеспечение заданных значений показателей.
Цель - это образ желаемого результата, видение того, как должна быть решена та или иная социальная проблема. Обратимся к примеру. "Увеличение числа женщин, получащих услуги, в полтора раза" само по себе не является улучшением ситуации, оно может быть лишь признаком того, что иы приближаемся к ситуации, когда "женщины и мужчины имеют равные возможности по получению услуг". Данный проект не про числа, а про равенство, поэтому целью является вторая формулировка. А число женщин, получающих услуги - один из возможных признаков достижения этой цели. Индикаторы были придуманы для того, чтобы измерять то, что непосредственно измерить сложно или невозможно (например, равенство мужчин и женщин). Цели становятся измеряемыми (SMART), когда для каждой их них есть индикаторы (показатели), по которым можно судить о том, что они (цели) достигнуты. Но это отнюдь не означает, что надо использовать индикаторы (показатели) вместо целей.

понедельник, 20 февраля 2012 г.

Что такое impact evaluation?

Термин impact может использоваться по-разному при описании замысла программы и вида оценки. Существует (в английском языке) некоторая путаница.
При описании замысла программы impact относится к цели высокого уровня, и impact всегда выше outcome, если используется именно термин impact, а не какой-то другой. Тут имеется консенсус, хотя, повторюсь, при описании замысла программы понятие impact используется не всегда.
При описании вида оценки понятие impact evaluation может трактоваться (а) как оценка воздействия, т.е. оценка того, в какой мере достигнут ожидаемый impact (см., например, здесь) и (б) как оценка причинно-следственных связей между деятельностью и ее результатами (см., например, здесь). Во втором случае возникает странная ситуация: при проведении impact evaluation чаще может идти речь об уровне outcomes, чем об уровне impact. Занятно, что в первом примере, на который я здесь ссылаюсь, есть ссылка на критерии оценки OECD. OECD, в свою очередь, поясняя понятие impact evaluation (второй пример), указывает, что речь идет об оценке того, как деятельность повлияла на outcomes.

среда, 15 февраля 2012 г.

Проблемы журналов

В интервью Первого проректора Высшей Школы Экономики В.В.Радаева есть его размышления о проблемах социологических журналов, к которым, с его точки зрения, относятся:
- Дефицит портфеля (главная проблема): время идет, социология крепнет, а притока качественных работ не наблюдается;
- Финансирование журналов: академические журналы являются принципиально неокупаемым проектом, исключения здесь очень редки, поэтому журналы нуждаются в финансировании.
- Недостаточная автономия редакций от учредителей.
- Отсутствие необходимых технических возможностей.
- Перед большинством журналов встает вопрос привлечения добровольных рецензентов из числа членов редакционного совета или просто специалистов в данной области, которые готовы потратить свое время и силы на подобную работу. У нас еще не сформировался в полной мере институт научного рецензирования.
- Недостаточный уровень общей методологической культуры авторов и как следствие низкое качество присылаемых статей.
- Проблема с публикациями из регионов: пока основными поставщиками статей сегодня являются Москва и Питер.

Многие из перечисленных выше проблем в полной мере испытывает вновь созданный электронный журнал "Проектирование, мониторинг и оценка", главным редактором которого я являюсь в настоящее время. Ну что же, значит мы в мэйнстриме... :)

среда, 8 февраля 2012 г.

Первый номер журнала "Проектирование, мониторинг и оценка"

Приглашаю гостей моего блога на сайт журнала "Проектирование, мониторинг и оценка", где появились первые четыре статьи первого номера журнала, включая мой текст про логическое согласование компонентов программы.

Facebook как инкубатор профессиональных объединений в области оценки

Все идет к тому, что национальные профессиональные объединения  в области оценки программ в нашем регионе будут все активнее заявлять о себе. Это, в принципе, может привести в перспективе к изменению роли и реструктурированию Международной сети "Оценка программ", о чем я писал некоторое время тому назад.
Любопытно, что в недрах Facebook уже есть два национальных объединения, которые пока не формализованы: Українська асоціація оцінювання/Ukrainian Evaluation Society (Украина, 58 участников) и Azerbaijan Evaluation Network (AEN) (Азербайджанская сеть оценки, 44 участника). Возможно, организационный период формирования национальной ассоциации сегодня должен проходить именно на базе социальных сетей - там можно найти единомышленников и обмениваться информацией. В какой-то момент из такого "инкубатора" могут появиться готовые ассоциации.

понедельник, 6 февраля 2012 г.

Когда блоги недоступны

Давно ничего здесь не писал, поскольку работал две недели в Казахстане, а оттуда блоги оказались недоступны (и Blogspot, и Livejournal). Поэтому не только не писал, но и не читал блоги, которые привык читать регулярно. Не знаю, по каким причинам блоги блокируются, но хочу сказать, что это как-то неправильно: у людей попросту отнимают одну из возможностей общения, перекрывая привычный для многих канал комуникации. К примеру, я часто ссылаюсь на свой блог и предлагаю участникам семинаров туда заходить, чтобы почитать те или иные публикации. К сожалению, коллегам в Казахстане я этого предложить не мог.  

суббота, 21 января 2012 г.

Сотрудничество с участниками оценки программы на стадии планирования

При проведении внешней оценки консультант на этапе планирования мало что знает об оцениваемой программе. Это вполне естественно, поскольку для проведения оценки приглашаются специалисты, не имеющие отношения к оцениваемой программе (во избежание конфликта интересов). Можно, конечно, познакомиться с имеющейся документацией, но, как правило, этого недостаточно, чтобы сориентироваться во всех нюансах оцениваемой программы. Да и времени на это нет на этапе планирования. Изучение документации - трудоемкий процесс, который является частью оценки. В такой ситуации мы с коллегами всегда стараемся посоветоваться с руководителями и специалистами оцениваемой программы, а также с представителями организации-донора (если заказ на проведение оценки исходит от них). Мы обсуждаем и подходы к формированию выборки; и методы, которые лучше всего использовать для сбора данных; и график проведения оценки. Опыт показывает, что (а) знания сотрудников программы оказываются исключительно полезными и очень помогают спланировать оценку наилучшим образом, (б) такое взаимодействие помогает установить доверительные отношения с сотрудниками программы, что очень важно для проведения оценки, (в) повышает доверие сотрудников программы к результатам оценки и, соответственно, повышает вероятность использования этих результатов.
Есть ли риск, что такой подход скомпрометирует независимость оценки? Мое мнение: нет. Независимость оценки заключается не в том, чтобы не спрашивать совета у участников программы, а в том, чтобы выносить независимые суждения на основе полученных данных. Могут ли участники программы умышленно скрыть какие-то источники и направить консультантов "по ложному следу"? Мы с таким не сталкивались ни разу. На мой взгляд, это совершенно не в интересах участников программы или донора. Ну и потом по мере ознакомления с программой мы так или иначе выявим важные источники информации даже если о них не будет идти речи на стадии планирования.

вторник, 17 января 2012 г.

Новая возможность подписки

Google предложил новую опцию, которая кажется мне очень удобной. Теперь можно подписаться на получение новых записей в этом блоге по электронной почте. Для этого Вам нужно просто ввести свой адрес в соответствующее окошко в меню ("Получать новые записи по электронной почте"). Мне кажется такой способ отслеживания интересующих меня блогов самым удобным: вместо того, чтобы регулярно заходить на несколько сайтов (а где-то ведь может и не быть новой записи), я получаю оповещения по электронной почте.
Вообще, надо отметить, что Google постоянно и весьма эффективно работает над расширением спектра дополнительных услуг.