О новизне

Как-то один из ветеранов Американской ассоциации оценки в беседе со мной посетовал на то, что на протяжении двух десятилетий он посещает конференции, на которых одни и те же люди говорят примерно об одном и том же. Полагаю, коллега, в тот момент просто сильно устал, потому что уже на следующей конференции он был полон энтузиазма.
Тема, однако, актуальна. Речь идет о готовности и способности людей воспринимать новое.
Несколько лет тому назад мне пришлось выступать перед весьма авторитетной аудиторией, состоявшей, в основном, из вузовских преподавателей социологии, сплошь кандидатов и докторов наук. В оценке программ активно используются методы социологического исследования, поэтому меня и пригласили выступить на той встрече. В краткой дискуссии, последовавшей за моим выступлением, коллеги дали понять, что не услышали от меня совершенно ничего нового и что они не просто давно знают об оценке программ, но и занимаются ей сами,  а также преподают ее своим студентам. Это, естественно, не соответствовало действительности: коллеги распознали в моем выступлении знакомые сюжеты, но не увидели за ними новизны.
Подобных примеров восприятия нового можно было бы привести достаточно много. Люди склонны к критическому мышлению и достаточно консервативны, что, само по себе, хорошо. Проблема заключается в том, чтобы существовал здоровый баланс между консерватизмом и готовностью увидеть новое, которое, как правило, проявляется не в виде революционных фундаментальных теорий, а в виде идей, дополняющих уже существующее знание, расширяющих его понемножку, шаг за шагом. «Прорывы», конечно, бывают, но редко. Поэтому и развитие дисциплины, и профессиональный рост специалистов существенно зависят от восприимчивости профессионального сообщества и его членов к относительно небольшим инновациям.
Замечу, что чем опытнее становится человек и чем больше он/а знает, тем больше риск потери чувствительности к новому.

Свежая публикация по созданию национальных систем оценки

Группа оценки ООН (United Nations Evaluation Group - UNEG) сегодня объявила о размещении на своем сайте новой книжки, название которой можно перевести с английского как "Развитие национального потенциала в сфере оценки: практические советы по формированию национальных систем оценки". Насколько мне известно, подобных публикаций по данной теме раньше не было. Сборники выступлений на конференциях - не в счет, т.к. информация в них не систематизирована. В данном же случае мы получили настоящую книгу, представляющую собой отчет рабочей группы, изучавшей проблему формирования национальных систем оценки по заданию UNEG. Отличительными особенностями книжки являются подробные списки литературы по каждому разделу, а также многочисленные полезные приложения, в которых имеются ссылки на открытые интернет-ресурсы.

Кого приглашать для проведения оценки: эксперта в предметной области или специалиста по оценке?

Время идет, а тема остается актуальной. По-прежнему крайне сложно найти для оценки программы консультанта, который бы являлся экспертом в соответствующей предметной области и владел методологией оценки. В результате многие организации нанимают экспертов, не очень хорошо знакомых с методологией проведения оценки программ. Потом они жалуются на низкое качество оценки. Я к этой теме уже обращался ранее, потому повторяться не буду, а добавлю аргументацию.
Полагаю, тут многое зависит от вида оценки:
- если нужно провести экспертизу, то главное - выбрать правильных экспертов в соответствующей предметной области,
- если же нужно провести оценку, основанную на эмпирическом исследовании, то главное - выбрать людей, которые владеют методологией проведения такого исследования (умеют собирать и анализировать эмпирические данные), то есть в этом случае важнее знания в области оценки программ. Это, естественно, не исключает привлечения экспертов (см. предыдущий пост на эту тему).

Оценка проектов, направленных на защиту прав и интересов ("эдвокаси")

В конце 90-х  годов мы пытались найти методики оценки программ, направленных на отстаивание прав и интересов (advocacy). Практически ничего не нашли. Сейчас снова возник такой же вопрос, и я обнаружил, что тема стала весьма популярной, и что за последнее десятилетие появился целый ряд интересных публикаций и даже руководств по оценке именно таких программ и проектов (пока все на английском). Приведу четыре ссылочки для интересующихся данной проблемой:

1. A Practical Guide to Advocacy Evaluation. Innovation Network, Inc. Не очень объемный хорошо структурированный документ.
2. A User’s Guide to Advocacy Evaluation Planning. Harvard Family Research Project. Если читаете по-английски, сайт этого проекта - отличный ресурс по оценке программ.
3. A Guide to Measuring Advocacy and Policy. Руководство опубликовано Annie E. Casey Foundation, который вообще много интересных публикаций подготовил по оценке и управлению программами.
4. Advocacy Impact Evaluation. Статья Майкла Пэттона. Надо читать, потому что автор - гуру.

Удивительно, как быстро заполнился некоторый пробел в знании об оценке! По всей вероятности, это связано еще и с тем, что доноры стали активнее поддерживать "эдвокаси"-программы, и, естественно, появился запрос на их оценку.

Встреча с Сэнди

Получилось так, что мы с коллегой прилетели в Вашингтон в воскресенье вечером, когда уже стало ясно, что ураган 1 категории по имени Сэнди придет туда в понедельник вечером.
По телевизору постоянно шли передачи о том, что ураган очень опасен и что надо серьезно отнестись к предупреждениям.
Потом пошли сообщения об эвакуации людей, в частности, в Нью Йорке. Там эвакуировали около 400 тысяч человек - нечто беспрецедентное.
Чуть позже пошли сообщения из тех районов, куда стали долетать предвестники Сэнди - сильный порывистый ветер с дождем. В Нью Йорке с набережной корреспондент рассказал, что на том месте, где он стоит, будет два метра воды... Я понял так, что в прибрежных районах главная угроза - не столько ветер, сколько вода, которую ураган выдавливает из океана. Она заставляет реки выходить из берегов, что также приводит к серьезным последствиям. В Атлантик-Сити, куда потом пришелся центр урагана, корреспондент говорил, пытаясь устоять на ногах с переменным успехом. Временами его попросту сдувало. В другом репортаже рассказали, что скорость ветра будет сильно меняться с высотой и что на уровне верхушек небоскребов она будет достигать 130-140 миль в час. Все это делалось для того, чтобы показать, что надвигается нечто очень серьезное и опасное.
Мы пошли в продовольственный магазин неподалеку и купили некоторое количество продуктов (на сутки примерно), а также последнюю (!) бутылку воды с витрины. Это нас сильно выручило, потому что потом выходить из гостиницы как-то не хотелось. Да и магазины не работали.
Потом сказали, чтобы все сидели по домам и что все учреждения, а также общественный транспорт в Вашингтоне работать не будут.
К вечеру понедельника стал усиливаться ветер. Моросил дождь. Часов в 7 я вышел на улицу и понял, что дождь уже идет горизонтально. Ветер был такой сильный, что струи дождя летели параллельно земле.
Потом порывы ветра стали такие, что становилось немного не по себе. Несмотря на то, что мы находились внутри весьма надежного помещения. Стали качаться столбы, поддерживающие линии электропередач. В восьмом часу вечера после очередного порыва ветра что-то сильно хлопнуло на улице, посыпался фонтан искр и погас свет в гостинице: наш квартал погрузился в темноту. Перестала работать мобильная связь. Вероятно, повреждена была сота.
На стойке регистрации в гостинице нам сообщили, что находящийся неподалеку китайский ресторан продолжает доставлять горячую еду по заказам... Не знаю, как они там уж прорывались. Машину могло запросто опрокинуть таким ветром.
Наутро за окном просто моросил дождь. На улице валялись сломанные ветки деревьев (меньше, чем можно было ожидать). В одном месте видел упавшее на жилой дом довольно большое дерево. Без особого узерба, вроде, для дома. Урны, которые не успели убрать заранее, валялись  в неожиданных местах. В нашем районе не работали светофоры. Замечу: ни гудков, ни аварий. Все друг другу немного помогали, и получалось нормально на перекрестках.
В 14.00 открыли метро.
В 21.00 восстановили электроснабжение в нашем квартале.
Скорее всего, завтра в полном объеме восстановит свою работу аэропорт.
Сэнди ушел.

Конференция. День третий.

Еще один очень насыщенный день. Отмечу три момента:
1) Марко Сегоне, которого у нас в регионе многие знают, получил премию Американской ассоциации за вклад в развитие оценки. Очень рад за него! Премия престижная и - вне всяких сомнений - заслуженная.
2) На утренней сессии коллега из Новой Зеландии представил весьма нетрадиционный взгляд на индикаторы результатов. У него каждый индикатор - это небольшая история. И никаких цифр. Хм...
3) Оказывается, из Американской ассоциации за последние годы по собственной инициативе вышли несколько ведущих специалистов в сфере количественных методов, поскольку они сочли невозможным оставаться в ассоциации, которая сильно развернулась в сторону качественных методов. Не думал, что все настолько драматично может быть здесь.

День второй

Самое яркое впечатление дня - сессия, суть которой можно описать примерно так: "Пять выдающихся специалистов рассказывают о своей жизни". Организовал эту сессию профессор психологии Дэвид Вильямс из Юты. Он решил изучить, как складывалась жизнь людей, посвятивших себя оценке программ и достигших многого в этой сфере. Он проводит глубинные интервью с самыми известными в мире оценки специалистами. Пятерых из них он пригласил кратко рассказать о своей жизни сегодня на утренней сессии. Начинали рассказ с детства, которое у всех выступавших было непростым... Выступали Скривен (Scriven), Стейк (Stake), Хаус (House), Швандт (Schwandt) и Кушнер (Kushner). Первые четверо живут в США, последний - в Новой Зеландии.
Пересказывать услышанное смысла нет. Отмечу, что выступления и реакция аудитории были достаточно эмоциональными.
Я их спросил в конце, почему они согласились участвовать в этом исследовании. Ответ был примерно таким: "Чтобы лучше осознать себя в профессии, нужно осознать себя как личность... И вообще интересно". Такие дела.

Конференция началась

Сегодня после обеда (в 15.00) состоялось открытие конференции Американской ассоциации оценки (АОО). До этого были семинары, а после завершения сессий были стендовые доклады. Продолжительность первого рабочего дня составила 12 часов.
Сегодня мне удалось принять участие в двух коротких семинарах (3 часа каждый).
Семинар по кросс-культурной компетентности специалистов по оценке очень понравился. Оказывается, АОО шесть лет назад сформировала рабочую группу, которая в прошлом году опубликовала официальную позицию ассоциации по поводу кросс-культурной компетентности. Шесть лет люди работали над документом в несколько страниц! Теперь они активно продвигают его. Например, отправили Хиллари Клинтон (пока не ответила). Сам документ можно прочесть здесь.
Семинар по оценке деятельности (performance evaluation) мне понравился меньше. Вероятно, отчасти это было связано с тем, что он был рассчитан на начинающих, а я к ним не отношусь. Да и по ведению семинара у меня были вопросы. В сущности, нам за три часа в очень быстром темпе рассказали основы формирования целей и индикаторов к ним.
После открытия я был на интересной сессии, посвященной будущему оценки. Выступали несколько известных экспертов. Оказывается, у них есть уже сайт, где обсуждаются прогнозы развития оценки.

Семинар по использованию историй в оценке программ

В Миннеаполисе начались семинары, предшествуюшие ежегодной конференции Американской ассоциации оценки. В этом году на конференции, по меньшей мере, пять человек из нашего региона: Татьяна Третьякова из Кыргызстана, Анна Марцинкив и Екатерина Столяренко из Украины, Наталья Кошелева и я из России.
Сегодня я был у Ричарда Крюгера на семинаре, посвященном использованию историй в оценке. Под историями в данном случае понимаются данные, полученные в ходе проведения оценки у респондентов и представляющие собой короткий рассказ (от абзаца до страницы) о чем-то значимом. Ричард Крюгер - человек весьма известный в профессиональных кругах. Он был президентом Американской ассоциации, написал очень хорошую книжку о проведении фокус-групп (переведена на русский язык).
Семинар был построен так: вначале истории рассматривались с точки зрения исследователя, применяющего качественные методы (определение понятия, выборка, преимущества и ограничения, этические аспекты использования и пр.), а затем - с позиции рассказчика (что делает историю значимой и интересной для слушателя/читателя; какие приемы можно использовать для того, чтобы история была максимально эффективной в контексте оценки).
Ричард несколько раз упоминал книжку Бринкерхоффа "Метод успешного случая", переведенную на русский язык. Хорошая книжка. Если кто-то хочет почитать про использование историй в исследованиях - рекомендую. Надеюсь, скоро и Крюгер что-то напишет по этому поводу. Материал у него очень хороший.

Как сформировать свою программу на большой конференции

Конференция Американской ассоциации оценки - большая. Число участников в последние годы превышает 2500, а число выступлений приближается к 1000. Это, в частности, означает, что каждые полтора часа во время конференции нужно будет выбирать одну из 20-25 сессий. Перерыв между сессиями - 10 минут: только-только, чтобы добежать до следующей аудитории. Программа конференции выдается при регистрации и выглядит как телефонная книга для города средних размеров. Таким образом, выбор сессий становится серьезной задачей. Есть риск пропустить что-то действительно интересное для вас или попасть туда, где вам не очень интересно.
Решение этой задачи, доступное в последние годы для членов ассоциации, заключается в том, что (а) программа конференции с удобными поисковыми сервисами (по ключевым словам, по имени выступающего, по типу сессии и т.д.) доступна в онлайне за несколько месяцев до начала конференции,
(б) пользователь (являющийся членом ассоциации и прошедший авторизацию на сайте) может заранее выбрать интересующие его сессии (отметить флажками) и сформировать из них свою программу конференции (нажать кнопку "Добавить в мою программу").
Индивидуальная программа хранится на сайте в "Личном кабинете" пользователя и может редактироваться по мере необходимости. Ее также можно (и нужно!) распечатать перед конференцией в удобном формате. Распечатка умещается на двух (!) листах формата А4.
Полагаю, что при таком подходе да еще с учетом наличия у большинства участников мобильного интернета можно будет в какой-то момент вовсе отказаться от публикации программ на бумаге.