Принципы само-оценивания программ и проектов в НКО

Само-оценивание программы (проекта) – это систематический сбор информации о деятельности в рамках программы (проекта), ее характеристиках и результатах, который проводится командой программы (проекта) для того, чтобы вынести суждение о программе (проекте), повысить эффективность программы (проекта) и/или разработать планы на будущее.

Идея адаптации принципов проведения оценки программ и проектов к ситуации само-оценивания появилась летом этого года. В июне и в июле этой теме были посвящены заседания клуба PROоценку. По итогам заседаний мы подготовили проект описания принципов, который обсудили с участниками Института оценки в рамках проекта «5 элемент»  

Мы представили промежуточные результаты нашей работы на конференции АСОПП-2022, а теперь публикуем окончательную версию принципов. 

В обсуждениях этого документа приняли участие в общей сложности 43 человека (полный список имеется в публикации), за что им большое спасибо!

Оценка чего?

Во многих странах и регионах существуют профессиональные объединения специалистов по оценке. Например, есть Европейское общество оценивания (European Evaluation Society), Американская ассоциация оценивания (American Evaluation Association), совсем недавно появилась Монгольская ассоциация оценивания (Mongolian Evaluation Association). Когда подобное название звучит в разговоре с человеком, не имеющим отношения к нашей сфере деятельности, как правило, он немедленно задаёт резонный вопрос: «Оценивание чего?». Это происходит в самых разных странах (я проверял!). Приходится добавлять, что речь идет об оценивании программ и проектов социальной направленности. Тогда ситуация более-менее проясняется. Кстати, именно по этой причине российская профессиональная ассоциация называется «Ассоциация специалистов по оценке программ и политик». 

Почему же наши уважаемые зарубежные коллеги в большинстве случаев не включают в названия своих профессиональных объединений упоминание объекта оценивания? 

Обратимся к документу, опубликованному Американской ассоциацией оценивания в 2011 году. Он называется «Что такое «оценивание»?» и начинается с такого определения: «Оценивание – это систематический процесс, позволяющий определить достоинства, ценность, или значимость чего-либо». Далее указывается, что существует несколько видов оценивания: оценка политик, оценка программ, оценка продуктов, оценка персонала. Но этим дело не ограничивается. Оценивание помогает выносить обоснованные суждения и принимать решения. Вынесение суждений и принятие решений присутствуют во всех сферах человеческой деятельности, поэтому оценивание может использоваться в самых разных сферах. 

Вот это и есть ответ на вопрос насчет названий профессиональных объединений. По Скривену, оценивание вообще претендует на статус «альфа-дисциплины», преобладающей над другими дисциплинами (сферами знания).

Другими словами, ответ на вопрос «Оценка чего?» выглядит так: «Оценка чего угодно!». Но это относится, скорее, к теории оценивания, науке оценивания (evaluation science), как стали часто говорить в последние годы. На практике же абсолютное большинство членов профессиональных объединений специалистов по оценке (evaluation) занимается оценкой программ, проектов и – реже – политик. Именно к этим сферам относится и большая часть публикаций. Даже в упомянутом выше документе Американской ассоциации оценивания («Что такое оценка?») все примеры взяты из сферы оценки программ социальной направленности.

Оценка оцениваемости: мысли по поводу

Вчерашнее заседание клуба PROОЦЕНКУ, как водится, навело на размышления. 

1) Конечно же, оценка оцениваемости проекта напрямую связана с планируемой оценкой этого проекта. Если оцениваемость понимать как возможность оценить проект надежным и заслуживающим доверия способом, то многое будет зависеть от того, что именно мы хотим узнать о проекте в рамках планируемой оценки. Ключевое значение здесь будут иметь вопросы, на которые надо ответить в рамках оценки. Оценивать оцениваемость надо с учетом этих вопросов. 

Например, если мы хотим узнать мнение благополучателей о проведенных мероприятиях, то нам нужно будет обратиться к этим людям. В случае, если их контактной информации нет, мы не сможем этого сделать. То есть, с оцениваемостью здесь явно будут проблемы. 

Рассмотрим другой пример. Допустим, вопрос задания на проведение оценки звучит так: «В какой мере достигнута цель проекта?». Мы обращаемся к проектной документации и обнаруживаем, что цель сформулирована расплывчато либо вовсе отсутствует. Ответить на вопрос о её достижении в этом случае весьма проблематично. Следовательно, оцениваемость низкая по данному параметру. Но в этом же проекте может получиться так, что контакты благополучателей имеются, и выяснить их мнение о мероприятиях проекта вполне возможно. Если соответствующий вопрос в задании есть, то оцениваемость по этому параметру – высокая. 

Говорить об оцениваемости можно только в том случае, когда мы понимаем, какие аспекты проекта мы хотим оценивать, на какие вопросы мы собираемся получить ответ в ходе планируемой оценки проекта.

2) Если понимать ОО как возможность оценить проект надежным и заслуживающим доверия способом, то рассмотрение в рамках ОО будущего использования результатов планируемой оценки проекта (один из трех ключевых компонентов ОО) вызывает вопросы. Легко можно представить себе ситуацию, когда дизайн проекта будет хорошо обоснован; вся информация, необходимая для ответов на вопросы задания на проведение оценки проекта, будет доступна; но при этом оценка будет никому не нужна. То есть, возможность оценить проект точно имеется (это как раз и есть оцениваемость!), но вот результаты этой оценки никто использовать не собирается. Конечно, в этом случае проводить оценку нет смысла. Но проект-то вполне себе оцениваемый!

Если оценка оцениваемости проекта обязательно должна включать анализ использования результатов запланированной оценки проекта, то, возможно, «оценка оцениваемости» - не совсем точное название. Либо не нужно этот компонент включать в ОО. 

3) Оценку оцениваемости выделили в качестве отдельного направления специалисты Американского общества оценочных исследований в 70-е годы прошлого века. Это было объединение специалистов академического профиля, ориентированных именно на исследования. Говорят, что в те времена продолжительность ОО могла составлять от двух недель до года! Сегодня максимальная продолжительность ОО сократилась до 4 месяцев, минимальная – до двух дней, а средняя составляет одну неделю. Такое сокращение, на мой взгляд, неслучайно. 

Думаю, дело идет к тому, что ОО будет интегрирована в дизайн проектов и в оценку проектов, «растворится» в них, станет их частью. При этом все методологические наработки в сфере ОО, естественно, пригодятся.