четверг, 29 декабря 2011 г.

Минималистская фокус-группа

В специальной литературе по фокус-группам, как правило, говорят о том, что минимальный размер группы - 4 человека. Доктор Дэвид Морган из Государственного университета шт.Орегон (США) разрабатывает методологию проведения интервью с двумя собеседниками ("two-person interview"). В этом интервью (взято Сюзан Элиот) доктор Морган подробно говорит о достоинствах такого подхода. В частности, о том, что такое интервью намного легче организовать, чем традиционную фокус-группу (вспоминаются поездки по городам и весям, где встреча с двумя людьми - не проблема, а вот нормально побеседовать с группой из 4 и более человек - весьма проблематично). Все тексты на английском языке, но Google-переводчик теперь с нами :)

четверг, 22 декабря 2011 г.

IPEN: время перемен

В 2000 году я был участником инициативной группы, которая обсуждала концепцию и стратегию Международной сети "Оценка программ" (IPEN). Тогда мы приняли решение, что людей, интересующихся оценкой, так мало в нашем регионе, что правильно будет создать международное объединение, которое бы проводило одну конференцию в год в одной из стран региона. Хорошо помню, что мы также говорили о том времени, когда в странах нашего региона существенно увеличится интерес к оценке, появится больше специалистов, и будут созданы национальные ассоциации. В этом случае роль IPEN должна была бы измениться, и Сеть должна была бы трансформироваться в региональную ассоциацию ассоциаций.
Сегодня созданы ассоциация оценки в Грузии и национальная сеть специалистов по оценке в Кыргызстане. Идет подготовка к созданию ассоциации в Украине. Есть хорошие предпосылки для создания ассоциации или неформальной сети в Казазхстане. Число "центров активности" в сфере оценки программ быстро растет. Это означает, что в скором времени для IPEN наступит время перемен, и национальные ассоциации станут играть определяющую роль в работе этой международной сети, что ознаменует качественно новый этап в развитии оценки программ в регионе.   

четверг, 15 декабря 2011 г.

Еще раз об оценке программ обучения

В рунете появился перевод небольшой американской статьи про оценку программ обучения. Статья коротенькая, особых откровений там нет, конечно. Однако в условиях дефицита публикаций про оценку, решил про нее упомянуть. Тем более, что авторы - Kaye Thorne и David Mackey - весьма известны в профессиональных кругах. Они написали книжку, которая издавалась четыре раза (в последний раз в 2007 году). Называется "Все, что вам когда-либо нужно было знать о тренинге..." (полное название в оригинале: Everything you ever needed to know about training : a one-stop shop for everyone interested in training, learning and development). В книжке раздел про оценку тренингов очень неплохой. Через Google можно почитать.

Что касается статьи, то в ней есть важное замечание: тренинги оцениваются, как правило, с помощью анкетирования участников сразу по завершении мероприятия. Такое анкетрирование позволяет, в основном, понять, насколько участники хорошо провели время и как им понравился тренер. То, в какой мере тренинг помог участникам что-либо изменить к лучшему в их работе, остается почти всегда "за кадром". Хотя, вроде бы, компании вкладывают средства в обучение именно для этого. Складывается парадоксальная ситуация: деньги вкладывают в тренинг, чтобы что-то менять в работе компании, а оценивают, как участники время провели...

понедельник, 12 декабря 2011 г.

Доказательный менеджмент и выборы

В 2008 году у нас была опубликована книга профессоров Гарварда Джеффри Пфеффера и Роберта Саттона, название которой на русском языке звучит как "Доказательный менеджмент" - по аналогии с прижившимся уже термином "доказательная медицина". В оригинале название звучит примерно так: "Менеджмент с опорой на факты" (Evidence-based management). Суть подхода состоит в том, чтобы при принятии важнейших решений опираться на надежную информацию, которую надо уметь находить и интерпретировать. А для этого нужны соответствующие управленческие системы и процедуры.
В Газете.ру опубликована интересная статья, в которой приводятся аргументы в пользу того, что результаты Единой России на прошедших выборах были искуственно завышены. Статья мне понравилась именно характером аргументов. Автор использует официальные статистические данные (как наши, так и зарубежные). Думаю, что дискуссию по такому важному вопросу следует вести именно на таком уровне, а не обсуждать качество нескольких снятых на мобильник видео-сюжетов. Интересно было бы увидеть развернутый ответ на упомянутую статью - в лучших традициях доказательного менеджмента.

воскресенье, 11 декабря 2011 г.

Пример отчета об оценке программы

Я не сторонник публикации отчетов о результатах оценки программ. Много раз писал об этом (в т.ч., в блоге) и выступал на разных форумах по этому поводу (например, в Риге в этом году).
Между тем, бывают ситуации, когда клиент просит показать пример отчета об оценке. Вполне законная просьба - особенно для людей, которые раньше оценку своих программ не проводили. По понятным причинам (включая условия контрактов) мы не можем передавать результаты оценки третьим сторонам, т.е. давать новому клиенту почитать отчеты, которые мы делали для других организаций. Значит, надо предоставить свои или чужие отчеты, которые есть в открытом доступе. И что бы мы делали, если бы некоторые организации не публиковали отчетов об оценке? :) Тут, правда, есть риски:
- чужой отчет может клиенту не понравиться или создать у него неверное представление о том, как будет выглядеть наш отчет,
- наш отчет для другой организации может оказаться неудачным аналогом, и клиент может сказать: "Нет, такого нам не надо!". У нас, к примеру, есть два больших отчета на английском языке, которые опубликованы клиентами (UNDP-2010 и ILO-2009), и мы прекрасно понимаем, что эти отчеты далеко не всегда можно предлагать в качестве примера. Хотя бы в силу того, что программы мы оценивали тогда весьма специфические.
Есть еще одно решение: можно взять готовый отчет и убрать из него все детали, которые указывают на конкретную организацию или конкретных людей. Можно даже скомпилировать такой отчет из нескольких документов, чтобы гарантированно не было никаких ассоциаций и можно было продемонстрировать спектр возможных результатов оценки. Но это очень большая работа. Кроме того, тут есть риск, что этот отчет в какой-то момент попадет в интернет, и тогда ваша большая работа станет "народной".

вторник, 6 декабря 2011 г.

Трудно быть экспертом

Сегодня впервые участвовал в качестве эксперта в оценке регулирующего воздействия. Обсуждали в ВШЭ проект федерального закона "О защите здоровья населения от последствий потребления табака". Обнаружил, что основной трудностью было оставаться именно в той роли, которая мне была отведена (эксперт в области оценки программ), а не в роли "некурящего человека" или "человека, который ненавидит, когда рядом курят" или "человека, который не хочет, чтобы дети курили". Как мне показалось, у других участников встречи подобные затруднения тоже имелись. Вроде, справились.

понедельник, 5 декабря 2011 г.

Новая услуга

В связи с ростом спроса на внешнюю оценку у многих организаций появляется необходимость разработать техническое задание и провести конкурс для выбора исполнителя работ. Недавно мы обнаружили, что здесь есть возможность для оказания консультационной услуги. С учетом опыта, знания международных стандартов и практики оценки, а также связей с международным профессиональным сообществом, мы можем быть действительно полезны клиентам, которые хотят провести внешнюю оценку, но не имеют достаточного опыта в качестве заказчика таких услуг. Есть одно ограничение: если мы помогаем клиенту подготовить ТЗ и организовать конкурс, мы сами в этом конкурсе участвовать не можем по вполне понятным причинам.