Консультирование и конфиденциальность

В силу особенности профессии консультанты по организационному развитию и оценке программ (это две области моей специализации) узнают о клиентах много такого, что не может и не должно становиться достоянием гласности. Речь может идти об особенностях отношений между отдельными людьми; о конфликтах; о внутриорганизационных проблемах; о слабых сторонах людей и организаций; о недочетах и ошибках; о намерениях и планах. Этот список легко можно продолжить, поскольку  отношения между клиентом и консультантом всегда носят достаточно доверительный характер, и консультант оказывается глубоко погружен в реальность организации или программы.
Соответственно, на стадии заключения контракта один из главных вопросов, на который должен для себя ответить клиент, заключается в том, вызывает ли консультант доверие. За четверть века работы в качестве консультанта мне приходилось много раз наблюдать, как люди присматриваются ко мне и решают, можно ли  мне доверять. Порой это бывает для них непросто. Я отношусь к этому процессу с пониманием и уважением. Бывало, что процесс "присматривания" занимал достаточно много времени. Бывало, что должного уровня доверия так и не возникало, и продолжения в виде контракта не следовало. Но, если мы преодолевали тот самый первый барьер, то в дальнейшем отношения были весьма доверительные. Важно, что степень доверия в данном случае определяется не положениями формального контракта о конфиденциальности и соответствующими угрозами в виде санкций за разглашение каких-либо данных. Совершенно понятно, что гарантией конфиденциальности, на самом деле, являются принципы, которыми руководствуется консультант, его система ценностей и репутация. Репутацией своей мы с коллегами очень дорожим и хорошо понимаем, что создается она годами и десятилетиями, а разрушена может быть в одночасье. Этого как раз в контракте не запишешь. 

2012

Оглядываясь на завершающийся сегодня год, выделю несколько наиболее значимых для меня (с профессиональной точки зрения) моментов.

• В партнерстве с Благотворительным детским фондом "Виктория" и компанией Evolution and Philanthropy мы подготовили пособие по использованию т.н. "теории изменений" (theory of change) при разработке социальных программ. О других подобных публикациях на русском языке мне неизвестно. Вероятно, наша будет первой. Пособие включает достаточно подробный обзор литературы, описание опыта применения "теории изменений" в фонде "Виктория", а также пошаговую инструкцию по применению "теории изменений". После официальной публикации в 2013 году книжка появится в открытом доступе. Думаю, она может многим пригодится.
• Наша команда провела оценку программы "Мать и дитя", которая выполнялась в России при поддержке Агентства США по международному развитию. Программа осуществлялась под эгидой комиссии Медведев-Обама (рабочая группа по здравоохранению). Оценку эту я отмечаю по нескольким причинам: интересная и сложная программа, новая для нас область, весьма непростая работа над отчетом (длительные согласования, масса комментариев, эмоции), высокая оценка качества финального отчета всеми заинтересованными сторонами. Помимо всего прочего, по ходу выполнения этой оценки у нас была возможность  подробнее познакомиться с принципами доказательной медицины (evidence-based medicine). В нашей команде, естественно, был профессионал в сфере здравоохранения - тоже интересный и поучительный для нас опыт совместной работы. 
• Я провел несколько тренингов по оценке по модифицированной программе для разных целевых групп в России и в Казахстане. По моему, тренинг стал более сбалансированным с точки зрения представленности различных видов оценивания. При этом сохранился творческий характер тренинга - интересно и участникам, и мне самому :) 
• Нам с коллегами удалось принять участие в двух очень интересных, содержательных и хорошо организованных конференциях - в Астане (Казахстан) и Миннеаполисе (США). 

В заключение хотел бы поблагодарить посетителей и - отдельно - постоянных читателей этого блога. С Новым годом! До новых виртуальных и личных встреч! 

Чиангмайский форум: оценка - это наше все

В эти дни (с 3 по 6 декабря) в городе Чиангмай (Таиланд) происходит событие, которое может стать очень важным для развития оценки в мире. На т.н. "Чиангмайском форуме" собрались лидеры нескольких десятков региональных и национальных объединений специалистов по оценке со всего мира. Такое событие происходит впервые в истории. В форуме принимают участие представитель IPEN (Международная сеть "Оценка программ"), а также лидеры национальных объединений специалистов в области оценки из пяти стран нашего региона: Грузии, Казахстана, Кыргызстана, Таджикистана и Украины. На форуме планируется принятие  декларации, которая, в частности объявляет 2015 год "Международным годом оценки". Мне особенно приятно добавить, что моя коллега Наталья Кошелева, которая является в данный момент председателем Попечительского Совета IPEN, была избрана в Чиангмае президентом Международной организации сотрудничества в области оценки (IOCE).

SMART индикаторы

Именно индикаторы, а не цели! Я как-то не обратил внимания на растущее число публикаций, в которых речь идет о SMART-индикаторах (Specific/конкретный, Measurable/измеримый, Attainable/достижимый, Relevant/значимый, Time-bound/достигается в определенный заранее срок). Google уже дает 25 тыс. ссылок на "SMART indicators". Критерии SMART  чаще применяются к описанию того, как правильно формулировать цели (Google дает более 800 тыс. ссылок на "SMART goals"). С применением этого подхода возникает проблема, о которой я писал недавно: цели подменяются показателями их достижения. Если же SMART критерии применять к индикаторам, то все вопросы снимаются. Хорошая идея. 

О новизне

Как-то один из ветеранов Американской ассоциации оценки в беседе со мной посетовал на то, что на протяжении двух десятилетий он посещает конференции, на которых одни и те же люди говорят примерно об одном и том же. Полагаю, коллега, в тот момент просто сильно устал, потому что уже на следующей конференции он был полон энтузиазма.
Тема, однако, актуальна. Речь идет о готовности и способности людей воспринимать новое.
Несколько лет тому назад мне пришлось выступать перед весьма авторитетной аудиторией, состоявшей, в основном, из вузовских преподавателей социологии, сплошь кандидатов и докторов наук. В оценке программ активно используются методы социологического исследования, поэтому меня и пригласили выступить на той встрече. В краткой дискуссии, последовавшей за моим выступлением, коллеги дали понять, что не услышали от меня совершенно ничего нового и что они не просто давно знают об оценке программ, но и занимаются ей сами,  а также преподают ее своим студентам. Это, естественно, не соответствовало действительности: коллеги распознали в моем выступлении знакомые сюжеты, но не увидели за ними новизны.
Подобных примеров восприятия нового можно было бы привести достаточно много. Люди склонны к критическому мышлению и достаточно консервативны, что, само по себе, хорошо. Проблема заключается в том, чтобы существовал здоровый баланс между консерватизмом и готовностью увидеть новое, которое, как правило, проявляется не в виде революционных фундаментальных теорий, а в виде идей, дополняющих уже существующее знание, расширяющих его понемножку, шаг за шагом. «Прорывы», конечно, бывают, но редко. Поэтому и развитие дисциплины, и профессиональный рост специалистов существенно зависят от восприимчивости профессионального сообщества и его членов к относительно небольшим инновациям.
Замечу, что чем опытнее становится человек и чем больше он/а знает, тем больше риск потери чувствительности к новому.

Свежая публикация по созданию национальных систем оценки

Группа оценки ООН (United Nations Evaluation Group - UNEG) сегодня объявила о размещении на своем сайте новой книжки, название которой можно перевести с английского как "Развитие национального потенциала в сфере оценки: практические советы по формированию национальных систем оценки". Насколько мне известно, подобных публикаций по данной теме раньше не было. Сборники выступлений на конференциях - не в счет, т.к. информация в них не систематизирована. В данном же случае мы получили настоящую книгу, представляющую собой отчет рабочей группы, изучавшей проблему формирования национальных систем оценки по заданию UNEG. Отличительными особенностями книжки являются подробные списки литературы по каждому разделу, а также многочисленные полезные приложения, в которых имеются ссылки на открытые интернет-ресурсы.

Кого приглашать для проведения оценки: эксперта в предметной области или специалиста по оценке?

Время идет, а тема остается актуальной. По-прежнему крайне сложно найти для оценки программы консультанта, который бы являлся экспертом в соответствующей предметной области и владел методологией оценки. В результате многие организации нанимают экспертов, не очень хорошо знакомых с методологией проведения оценки программ. Потом они жалуются на низкое качество оценки. Я к этой теме уже обращался ранее, потому повторяться не буду, а добавлю аргументацию.
Полагаю, тут многое зависит от вида оценки:
- если нужно провести экспертизу, то главное - выбрать правильных экспертов в соответствующей предметной области,
- если же нужно провести оценку, основанную на эмпирическом исследовании, то главное - выбрать людей, которые владеют методологией проведения такого исследования (умеют собирать и анализировать эмпирические данные), то есть в этом случае важнее знания в области оценки программ. Это, естественно, не исключает привлечения экспертов (см. предыдущий пост на эту тему).

Оценка проектов, направленных на защиту прав и интересов ("эдвокаси")

В конце 90-х  годов мы пытались найти методики оценки программ, направленных на отстаивание прав и интересов (advocacy). Практически ничего не нашли. Сейчас снова возник такой же вопрос, и я обнаружил, что тема стала весьма популярной, и что за последнее десятилетие появился целый ряд интересных публикаций и даже руководств по оценке именно таких программ и проектов (пока все на английском). Приведу четыре ссылочки для интересующихся данной проблемой:

1. A Practical Guide to Advocacy Evaluation. Innovation Network, Inc. Не очень объемный хорошо структурированный документ.
2. A User’s Guide to Advocacy Evaluation Planning. Harvard Family Research Project. Если читаете по-английски, сайт этого проекта - отличный ресурс по оценке программ.
3. A Guide to Measuring Advocacy and Policy. Руководство опубликовано Annie E. Casey Foundation, который вообще много интересных публикаций подготовил по оценке и управлению программами.
4. Advocacy Impact Evaluation. Статья Майкла Пэттона. Надо читать, потому что автор - гуру.

Удивительно, как быстро заполнился некоторый пробел в знании об оценке! По всей вероятности, это связано еще и с тем, что доноры стали активнее поддерживать "эдвокаси"-программы, и, естественно, появился запрос на их оценку.

Встреча с Сэнди

Получилось так, что мы с коллегой прилетели в Вашингтон в воскресенье вечером, когда уже стало ясно, что ураган 1 категории по имени Сэнди придет туда в понедельник вечером.
По телевизору постоянно шли передачи о том, что ураган очень опасен и что надо серьезно отнестись к предупреждениям.
Потом пошли сообщения об эвакуации людей, в частности, в Нью Йорке. Там эвакуировали около 400 тысяч человек - нечто беспрецедентное.
Чуть позже пошли сообщения из тех районов, куда стали долетать предвестники Сэнди - сильный порывистый ветер с дождем. В Нью Йорке с набережной корреспондент рассказал, что на том месте, где он стоит, будет два метра воды... Я понял так, что в прибрежных районах главная угроза - не столько ветер, сколько вода, которую ураган выдавливает из океана. Она заставляет реки выходить из берегов, что также приводит к серьезным последствиям. В Атлантик-Сити, куда потом пришелся центр урагана, корреспондент говорил, пытаясь устоять на ногах с переменным успехом. Временами его попросту сдувало. В другом репортаже рассказали, что скорость ветра будет сильно меняться с высотой и что на уровне верхушек небоскребов она будет достигать 130-140 миль в час. Все это делалось для того, чтобы показать, что надвигается нечто очень серьезное и опасное.
Мы пошли в продовольственный магазин неподалеку и купили некоторое количество продуктов (на сутки примерно), а также последнюю (!) бутылку воды с витрины. Это нас сильно выручило, потому что потом выходить из гостиницы как-то не хотелось. Да и магазины не работали.
Потом сказали, чтобы все сидели по домам и что все учреждения, а также общественный транспорт в Вашингтоне работать не будут.
К вечеру понедельника стал усиливаться ветер. Моросил дождь. Часов в 7 я вышел на улицу и понял, что дождь уже идет горизонтально. Ветер был такой сильный, что струи дождя летели параллельно земле.
Потом порывы ветра стали такие, что становилось немного не по себе. Несмотря на то, что мы находились внутри весьма надежного помещения. Стали качаться столбы, поддерживающие линии электропередач. В восьмом часу вечера после очередного порыва ветра что-то сильно хлопнуло на улице, посыпался фонтан искр и погас свет в гостинице: наш квартал погрузился в темноту. Перестала работать мобильная связь. Вероятно, повреждена была сота.
На стойке регистрации в гостинице нам сообщили, что находящийся неподалеку китайский ресторан продолжает доставлять горячую еду по заказам... Не знаю, как они там уж прорывались. Машину могло запросто опрокинуть таким ветром.
Наутро за окном просто моросил дождь. На улице валялись сломанные ветки деревьев (меньше, чем можно было ожидать). В одном месте видел упавшее на жилой дом довольно большое дерево. Без особого узерба, вроде, для дома. Урны, которые не успели убрать заранее, валялись  в неожиданных местах. В нашем районе не работали светофоры. Замечу: ни гудков, ни аварий. Все друг другу немного помогали, и получалось нормально на перекрестках.
В 14.00 открыли метро.
В 21.00 восстановили электроснабжение в нашем квартале.
Скорее всего, завтра в полном объеме восстановит свою работу аэропорт.
Сэнди ушел.

Конференция. День третий.

Еще один очень насыщенный день. Отмечу три момента:
1) Марко Сегоне, которого у нас в регионе многие знают, получил премию Американской ассоциации за вклад в развитие оценки. Очень рад за него! Премия престижная и - вне всяких сомнений - заслуженная.
2) На утренней сессии коллега из Новой Зеландии представил весьма нетрадиционный взгляд на индикаторы результатов. У него каждый индикатор - это небольшая история. И никаких цифр. Хм...
3) Оказывается, из Американской ассоциации за последние годы по собственной инициативе вышли несколько ведущих специалистов в сфере количественных методов, поскольку они сочли невозможным оставаться в ассоциации, которая сильно развернулась в сторону качественных методов. Не думал, что все настолько драматично может быть здесь.