Несколько вопросов об использовании результатов оценки

В октябре 2021 года вышло в свет 5-е издание книги Utilization Focused Evaluation (перевожу это название как «Оценка, ориентированная на практическое использование»). Автором первых 4-х изданий и автором самой концепции Utilization Focused Evaluation (UFE) является Майкл Куинн Пэттон (Michael Quinn Patton). Пятое издание гуру подготовил вместе со своей дочерью Шармейн (Charmagne E. Campbell-Patton).

У меня несколько вопросов:

• Почему использование результатов оценки остается в поле зрения теоретиков и практиков оценки с 70-х годов прошлого века, когда вышло первое издание книги Пэттона? 
• Означает ли это, что проблема использования результатов оценки сохраняется, как минимум, на протяжении последних 50 лет? 
• Не наводит ли это на некоторые мысли относительно самой оценки как функции, дисциплины и профессии?

Думаю, что простого ответа на эти вопросы не существует. И здесь точно есть, о чем подумать и поговорить. В частности, я бы поговорил о том, как обстоят дела с использованием результатов само-оценивания и внутренней оценки. В таких случаях организация точно знает, зачем нужна оценка и использует полученные результаты соответствующим образом. Возможно, если бы оценка развивалась преимущественно «изнутри» организаций как функция управления, проблем с её использованием удалось бы избежать? Как думаете?

На какие вопросы оценка не ответит

Оценка социального проекта проводится, чтобы что-то важное об этом проекте узнать. Вне зависимости от того, проводите ли Вы оценку своего проекта самостоятельно (само-оценивание) или привлекаете внешнего консультанта (внешняя оценка), в задание на проведение оценки всегда включаются вопросы, на которые надлежит ответить по результатам оценки. Ответы на эти вопросы и есть то самое, что нужно узнать о проекте, лицам, принимающим решения (ЛПР): руководителю проекта, руководителю организации, донору. Для чего им нужна эта информация? Чтобы принять важные хорошо обоснованные решения. Например, чтобы определиться, как дальше развивать проект или как сделать проект самоокупаемым. Именно здесь проходит граница между оценкой и принятием решений! 

Для того, чтобы определиться с тем, как дальше развивать проект, ЛПР может быть нужно что-то узнать, например: 

• В какой мере изменились потребности целевой группы за период реализации проекта? Насколько проект смог адаптироваться к этим изменениям?

Это вопросы можно включить в ТЗ на проведение оценки. Ответы на них помогут ЛПР ответить на следующий вопрос:

• Какова должна быть стратегия развития проекта на ближайшие годы? 

Но этот вопрос не может быть включен в задание на проведение оценки, т.к. ответ на него не может быть получен с помощью систематического сбора и анализа данных о ходе и результатах проекта (оценка). Ответ на него дает лицо, принимающее решения, с учетом многих факторов, включая результаты оценки.

Строим или оцениваем?

Те, кто начинает знакомиться с оценкой проектов и программ социальной направленности, часто сталкиваются с проблемой использования оценки при разработке чего-либо. Проблема состоит в следующем. Новые знания хочется применить для решения актуальной задачи. При этом актуальная задача может заключаться в разработке чего-либо, например, нового проекта или новой организационной системы. И здесь оказывается, что инструменты оценки не работают как надо. Скажем, формулирование вопросов задания, сразу ставит в тупик: «Что вы хотели бы узнать о проекте?». А проекта-то пока и нет вовсе. Оценка предполагает наличие объекта, который оценивается. В отличие от разработки, когда результатом является создание объекта. 

Может ли оценка пригодиться при разработке проекта? Конечно! Один из распространенных вариантов – оценка ситуации или оценка потребностей. Объектами оценки в этом случае будут, соответственно, ситуация или потребности целевой группы. Полученная информация поможет в разработке проекта. Ключевые вопросы при использовании оценки для разработки: «Что вам нужно узнать для разработки … (сюда вставляем наименование объекта, который разрабатывается)? Как вы будете использовать эту информацию при разработке?». 

Почему результаты оценки могут оказаться бесполезными

На прошлом заседании клуба PROОЦЕНКУ мы обсуждали эту тему. Хочу поделиться несколькими возможными причинами на основании нашего опыта. Естественно, список не исчерпывающий. 

1. 
   Задачу на проведение оценки ставят одни, а использовать результаты должны другие. Такая ситуация складывается, например, в больших бюрократических структурах, где за организацию проведения оценки может отвечать специальное подразделение, а использование результатов остается за руководителями программ, которые оцениваются.
2. Оценка проводится так, что к ее результатам нет доверия со стороны предполагаемых пользователей. Такая ситуация может сложиться, если, например, методология проведения оценки не согласована с будущими пользователями результатов: используются методы и/или источники информации, которые не вызывают доверия у пользователей. Само собой, такое может случиться и в силу недостаточной компетентности тех, кто проводит оценку.
3. Результаты оценки появляются не ко времени. Если, к примеру, предполагается принятие каких-то решений с использованием результатов оценки, то последние должны быть готовы к моменту принятия решения. Если они появляются позже, то их использование проблематично.
4. Оценка ориентирована на «символическое использование», то есть изначально имеет значение сам факт проведения оценки, но не её результаты. В этом случае имеет место использование процесса оценки. 

Почувствуйте разницу

Международная сеть «Оценка программ» (IPEN) была создана в 2000 году и стала первым профильным объединением в сфере оценки на территории бывшего СССР. В партнёрстве с местными НКО Сеть проводила ежегодные конференции в разных странах региона. Первая конференция прошла в Новосибирске. Хорошо помню, что на одной из сессий в течение 1,5 часов участники обсуждали, что такое оценка и как они это понимают…

Прошло 25 лет.

На 50-м (!) ежемесячном заседании клуба PROОЦЕНКУ на прошлой неделе обсуждали, как на практике работает оценка в НКО. Приведу некоторые результаты онлайн-анкетирования участников заседания (кстати, в 2000 году мы вряд ли могли себе представить онлайн-анкетирование).

85% опрошенных сообщили, что специалисты их организации проходили обучение в области мониторинга и оценки. 45% из числа представленных на заседании НКО используют для проведения мониторинга современные информационные технологии. У 30% НКО есть внутренние документы, регламентирующие проведение мониторинга и оценки. Мониторинг проектов чаще всего входит в зону ответственности менеджеров этих проектов. На диаграмме показано распределение ответов на вопрос о том, какие виды оценки ПРОВОДИЛИСЬ организациями участников заседания клуба. 

Как говорится, почувствуйте разницу!

Трудности интегрирования оценки в деятельность НКО

Анализ опыта участников клуба PROОЦЕНКУ и зарубежных публикаций показал, что трудности, препятствующие полноценному интегрированию оценки в деятельность НКО, можно разделить на четыре категории: 

• Психологические. Сюда относятся разного рода опасения, связанные с проведением оценки, например, возможное негативное влияние оценки на ход программ или отношения с заинтересованными сторонами. Может также иметь место скептическое отношение руководства и сотрудников НКО к оценке.  
• Ресурсные. Нехватка денег, времени, специалистов и т.д.  
• Технические. Это затруднения, связанные с выбором, разработкой и/или применением методов и инструментов оценки в определенном контексте.
• Организационные. Для того, чтобы оценка в НКО работала, нужны внутриорганизационные системы, регламентирующие проведение внешней оценки; внутренней оценки/само-оценивания; хранение информации и доступ к ней; мотивирование персонала.

На ближайшем заседании клуба PROОЦЕНКУ (13 июля с 11.00 до 12.30 мск) обсудим все четыре категории трудностей с учетом приоритетов участников заседания. Регистрация на заседание на сайте клуба (кнопка «Регистрация на ближайшее заседание») будет открыта в ближайшее время. Следите за объявлениями в телеграм-каналах "Проектирование и оценка в социальной сфере" и "5 элемент". 

О пользе процесса

Когда идет речь о полезной оценке проектов и программ, в первую очередь говорят, конечно, об использовании результатов оценки. Между тем, и процесс оценки может быть весьма полезен во многих отношениях. 

На вчерашнем заседании клуба PROОЦЕНКУ в числе прочего обсуждали возможность взаимодействия между экспертами, оценивающими проектную заявку, и заявителями, которые эту заявку составили. Все знают, что возможности такого взаимодействия, как правило, очень ограничены – по вполне понятным причинам. Однако, если бы общение между экспертом и заявителями  было возможно, это могло бы способствовать развитию потенциала заявителей. Скажем, эксперт мог бы пояснить, как он оценивал заявку и почему выставил те или иные оценки. Можно даже представить, что эксперт по ходу оценки мог бы обращаться к заявителям с вопросами. Подобное общение в процессе оценки сделало бы этот процесс более полезным для заявителей. 

При проведении эмпирической оценки возможности получения пользы от процесса (по-английски process use of evaluation) существенно больше. В частности, в ходе оценки могут быть прояснены многие вопросы и достигнуто лучшее взаимопонимание между членами команды проекта. Например, в процессе группового интервью, которое проводится внешним консультантом в рамках сбора информации о проекте, могут уточняться приоритеты проекта и связь проекта со стратегией организации. Таким образом, разговор с командой проекта, с одной стороны, поможет получить нужные сведения, а с другой стороны, поможет самим участникам проекта прояснить важные вещи. 

Если оценка проводится с активным участием команды проекта (participatory evaluation), процесс оценки позволит команде проекта научиться чему-то новому, повысить свой потенциал в сфере оценки. 

В списке контрольных вопросов, относящихся к оценке, ориентированной на практическое использование (Utilization-Focused Evaluation Checklist), Майкл Пэттон предлагает рассмотреть возможности использования процесса оценки уже на стадии планирования и предусмотреть такое использование, если обстоятельства позволят. Отличная идея!