Как должен выглядеть отчет по результатам оценки проекта или программы

Сразу оговорюсь, что речь идет об эмпирической оценке, по результатам которой принято готовить отчет. Классификацию видов оценивания можно найти здесь.

На основе накопленного опыта мы пришли к следующему определению: «Хороший отчет по результатам оценки – это документ, в котором в удобном для читателя виде представлены ответы на вопросы задания, основанные на собранных в процессе оценки эмпирических данных». 

В этом определении важны все составляющие: 

1. Оценка призвана дать ответы на вопросы, включенные в задание. Отчет должен содержать эти ответы. Основная часть отчета должна быть структурирована в соответствии с вопросами. 
2. Эмпирическая оценка предполагает, что ответы на вопросы задания появляются в результате систематического сбора и анализа эмпирических данных. Следовательно, в отчете должны быть приведены собранные данные и показан путь от этих данных к ответам на вопросы. 
3. Оценка проводится для тех, кто ставит задачу и будет пользоваться полученными результатами. Именно эти люди будут читателями отчета. Значит, отчет должен быть максимально «дружелюбным» по отношению к читателю. Там должно быть легко найти и понять всё, что нужно пользователям результатов оценки. 

На последнем пункте хотел бы остановиться чуть подробнее. Первоначально отчеты по результатам оценки принято было оформлять в академической традиции. Подробно с правилами оформления таких отчетов можно ознакомиться в межгосударственном стандарте ГОСТ 7.32-2017. 

Согласно этому стандарту, структурными элементами отчета о НИР являются: 

• титульный лист; 
• список исполнителей; 
• реферат; 
• содержание; 
• термины и определения; 
• перечень сокращений и обозначений; 
• введение; 
• основная часть отчета о НИР; 
• заключение; 
• список использованных источников; 
• приложения.

Соответственно, результатом оценки становился многостраничный текстовый документ с иллюстрациями и приложениями. Ходили устойчивые слухи о том, что главные пользователи таких отчетов - те, кому нужны были ответы на вопросы задания - читали в них только реферат (по-английски – executive summary), где кратко излагалось все содержание отчета. 

Когда появился PowerPoint, в дополнение к письменному отчету стали просить сделать презентацию. Пользователи результатов оценки стали выделять время на то, чтобы выслушать презентацию и… перестали читать даже реферат. При необходимости они обращались к презентации. 

Сегодня все идет к тому, чтобы в качестве отчета оставлять только достаточно подробную презентацию. Это существенно сокращает время подготовки отчета и экономит деньги заказчика оценки (если оценка внешняя). Многостраничные текстовые документы уходят в прошлое.

Активы-Потенциал-Доверие

На сайте КАФ опубликован отчет об оценке роли фондов местных сообществ (ФМС) в развитии местной филантропии. Интерес представляют не только результаты оценки, но и использованная для проведения оценки модель ACT (Assets-Capacity-Trust – «Активы-Потенциал-Доверие»), разработанная Глобальным фондом поддержки ФМС. Авторы публикации - Барри Найт (CENTRIS, Великобритания) и Лариса Аврорина (КАФ, Россия).

Оценка в Распоряжении Правительства РФ про благотворительность

На конференции газеты "Ведомости" "«Благотворительность в России: 2025», которая прошла в Москве 2 марта, меня попросили сделать небольшое сообщение на секции об оценке. По замыслу организаторов, работа этой секции должна была строиться вокруг Распоряжения Правительства РФ от 15 ноября 2019 г. № 2705-р «О Концепции содействия развитию благотворительной деятельности в РФ на период до 2025 г.»
Оценка в этом постановлении упоминается 5 раз. Ниже приведу цитаты из Распоряжения (они обозначены как РП 2705-р и выделены курсивом), а следом - основные тезисы моего сообщения.

• РП 2705-р : «содействие повышению эффективности деятельности благотворительных организаций, включая развитие … практики оценки результативности»

Согласно недавнему исследованию, проведенному Центром развития филантропии Фонда Владимира Потанина, развитие доказательной филантропии является одним из мировых трендов. Тому есть целый ряд причин: от развития информационных технологий до смены поколений. То есть, оценка – в тренде! И очень хорошо, что ей уделено место в правительственном документе.

• РП 2705-р: «включение оценки социального эффекта как необходимого этапа реализации благотворительных программ и проектов»

Влияние ресурсных центров на развитие НКО

Вместе с новосибирскими СЦПОИ и ИнАЦентром мы несколько месяцев проводили оценку влияния ресурсных центров на развитие НКО сектора в России. Предварительные результаты этой оценки дважды обсуждались публично - на встрече представителей ресурсных центров в Новосибирске и на специально организованной встрече в Москве (спасибо "БЛАГОСФЕРЕ" за предоставление площадки!). Только что отчет об оценке был опубликован. Президент СЦПОИ Елена Малицкая поделилась своими мыслями об этой работе. Не стану излагать здесь содержание отчета - лучше прочесть. Отмечу лишь три момента: 

   Не удивило: список наиболее влиятельных НКО.
   Удивило: сколько же всего было сделано ими за 25 лет!
   Стало неожиданным: все бывшие "ресурсные центры" уже давно перестали быть таковыми. Может быть, это - закономерность? Если так, то имеет ли смысл создавать новые ресурсные центры? По крайней мере, надо сразу задумываться о их стратегии развития и дальнейшей судьбе. 

Отчет об оценке программы сертификации специалистов по оценке

Канадцы первыми в мире разработали и внедрили в 2009 году систему сертификации специалистов по оценке. Это довольно трудоемкий процесс, занимающий не один месяц. За сертификацию нужно платить. В общем, все по-взрослому. 6-летний опыт программы сертификации специалистов по оценке в Канаде подробно проанализирован в отчете об оценке этой программы, который теперь доступен в онлайне (английский язык, 56 страниц без учета приложений).

В отчете много интересного.  В частности, оказалось, что далеко не все заказчики услуг по оценке в Канаде указывают сертификацию как обязательное или желательное требование к консультантам, которых они нанимают. Объясняют они это тем, что сертифицированных специалистов мало, и можно вообще не найти подходящего. Это создает своего рода замкнутый круг: сертифицированных специалистов мало, поэтому сертификацию клиенты не требуют, поэтому число сертифицированных специалистов не растет.

Авторы дают три рекомендации по совершенствованию программы:

1. Скорректировать существующее предложение с учетом потребностей заказчиков услуг по оценке.
2. Повысить прозрачность существующего процесса сертификации. 
3. Четко сформулировать, в чем состоит ценность сертификации для специалистов по оценке и потребителей их услуг.  

Как создать облако из слов

Облака из слов бывает удобно использовать в отчетах по результатам оценки и в презентациях этих результатов. Поэтому сегодня я хотел бы поделиться ссылками на бесплатные онлайновые сервисы, позволяющие генерировать облака из слов. Они все точно работают с английскими текстами, но не все работают с русскими. 

1. ABCYa! Word Clouds (только английский, русские буквы не понимает)
2. TagCrowd (только английский, для русского текста делает по умолчанию транслитерацию - заменяет русские буквы английскими)
3. Tagul (требует регистрации, допускает бесплатное использование только в личных некоммерческих целях)
4. Tagxedo (требует установить дополнительную программу Silverlight)
5. Tricklar (сам выбирает медийные источники за заданный период для формирования облаков по ключевому слову, только английский)
6. WordClouds (меню английское, может работать с русскими текстами, не требует регистрации)
7. WordItOut (меню английское, может работать с русскими текстами, не требует регистрации)
8. Wordle (требует установить Java browser plugin, отличная программа, работает и с английскими, и с русскими текстами, очень много опций для получения требуемой формы, пространственной ориентации слов, размера и цвета изображения, но в последнее время не запускается во многих браузерах по соображениям безопасности). 

Ниже для иллюстрации привожу облако, которое сгенерировал Tricklar на слово Russia.

Опубликована презентация результатов оценки в Центральной Азии

В начале июня на конференции в Алматы я рассказывал об оценке программы "Развитие через региональное сотрудничество". При проведении оценки использовался метод Case Study для  изучения того, как развиваются успешные партнерства между НКО и органами государственного управления. Сегодня презентация опубликована. Это довольно редкий случай развернутого представления результатов оценки программы, за что АРГО (Ассоциация развития гражданского общества) большое спасибо!