Практикуй то, что проповедуешь

У наших англоязычных коллег есть такая пословица: «Practice what you preach». Её буквальный перевод - в заголовке к этой публикации. О чем речь?

В июне 2025 года клуб PROОЦЕНКУ отмечает свое четырехлетие. Первое заседание клуба состоялось 11 июня 2021 года. Онлайновые заседания проходили ежемесячно с перерывом на каникулы в августе. Таким образом, ближайшее заседание будет 46-м по счету. И, если вы видели объявление о нём, то  могли заметить, что оно будет необычным: мы планируем провести само-оценивание деятельности клуба. Четырехлетие – хороший повод, но причина проведения оценки в другом: хотелось бы развивать деятельность клуба, сделать ее максимально полезной для участников. Для того, чтобы разработать планы на будущее, необходимо ответить на несколько важных вопросов. Проект задания на проведение оценки был сформирован Альянсом PROОЦЕНКУ – инициатором создания клуба. 

На ближайшем заседании мы хотим не только обсудить задание и подход к проведению оценки, но и начать эту работу. Важный момент: в ней смогут принять участие все, кто тем или иным образом связан с клубом (участвовал в заседаниях, проводил заседания и/или выступал на них). Участвовать в проведении оценки можно будет либо в составе команды, которую мы планируем сформировать на ближайшем заседании, либо в качестве респондента/источника информации о клубе. Для включения в команду есть три условия: (1) опыт участия в заседаниях клуба, (2) желание и (3) возможность выделить время для проведения оценки в течение ближайшего месяца. Если же вы предпочтете позицию источника информации, то здесь достаточно одного вашего желания: вы получите анкету и, возможно, с вами проведут интервью.

Оценку планируется завершить к следующему заседанию клуба в июле. У нас будет всего один месяц. Поэтому первая встреча команды, которая будет проводить оценку, состоится уже 20-го июня.

В общем, займемся само-оцениванием, то есть будем следовать той самой пословице, которая была использована в качестве заголовка :) 

Размышления по итогам вчерашнего заседания клуба PROОЦЕНКУ

Вчера на клубе говорили об оценке с участием заинтересованных сторон. Наметилось несколько тем для дальнейшего размышления. 

• В основе оценки с участием лежит признание субъектности представителей заинтересованных сторон, т.е. признание их активности, способности к развитию и интеграции, самоопределению, саморегуляции, самодвижению и самосовершенствованию (по определению С.Л.Рубинштейна). Путь к такому признанию может оказаться непростым, а последствия его – не вполне предсказуемыми.
• Очевидно, что степень участия заинтересованных сторон может быть разной. То есть получается такой континуум: от полной ответственности группы представителей заинтересованных сторон за проведение всех этапов оценки (это 100% оценка с участием) до полной ответственности внешнего консультанта за проведение всех этапов оценки с использованием представителей некоторых заинтересованных сторон лишь в качестве источников информации (это 100% «традиционная» внешняя оценка). В общем случае оценка будет где-то между этими полюсами. 
• Использование внешним консультантом избранных представителей заинтересованных сторон лишь в качестве источников информации не является в данном контексте «участием» заинтересованных сторон в оценке. При этом включение некоторых категорий заинтересованных сторон даже в качестве источников информации может, конечно, оказаться достаточно революционным шагом, если речь, например, идет о детях или людях с ментальными особенностями.
• Судя по всему, участие заинтересованных сторон зачастую происходит на этапе анализа данных. Это помогает, как минимум, найти правильные интерпретации полученных данных. Существует много техник коллективного анализа данных, которые делают это процесс эффективным и увлекательным для всех участников. С примерами таких техник можно познакомиться в этом пособии (англ.). 
• Если внешний консультант предполагает использовать элементы оценки с участием, например, привлечь представителей заинтересованных сторон к анализу данных, то это необходимо прежде согласовать с заказчиком оценки. Такой шаг для некоторых заказчиков может серьезно скомпрометировать результаты оценки.
• Оценка с участием органично переходит в планирование действий. Если люди сами оценивают программу, то они же и решают, что и как делать по результатам оценки. В связи с этим они должны быть наделены соответствующими полномочиями и понимать свою ответственность за принимаемые решения. 

Оценка с участием заинтересованных сторон

Идея этого подхода заключается в том, чтобы в проведение оценки программы или проекта – от начала и до конца – были вовлечены представители всех сторон, заинтересованных в программе или проекте. Под началом понимается постановка задачи на проведение оценки, включающая формулирование вопросов, на которые необходимо ответить. И далее – поэтапно – дизайн оценки, сбор данных, анализ данных, подготовка отчета по результатам. Заинтересованные стороны – это благополучатели, исполнители программы, представители местного сообщества и т.д. Проведение оценки с участием (participatory evaluation) зачастую завершается переходом к практическим действиям – немедленному использованию полученных результатов теми, кто оценку проводил. 

Говорят, что традиции оценки с участием были заложены исследователями еще в 19 веке. Среди исследователей, имевших отношение к формированию философских основ оценки с участием, называют, в частности, К.Маркса и Ф.Энгельса. Активное развитие оценки с участием как инструмента началось во второй половине прошлого века в рамках инициатив по совершенствованию организаций и для налаживания взаимодействия между менеджментом и работниками. Таким образом, к моменту выделения оценки программ как отдельной дисциплины и сферы практической деятельности, оценка с участием уже была известна в сфере организационного развития (Brisolara, S., 1998. The history of participatory evaluation and current debates in the field. New Directions for Evaluation 1998, 25–41.. doi:10.1002/ev.1115). 

К концу прошлого века оценка программ с участием заинтересованных сторон стала широко известным подходом и приобрела много сторонников. Тем не менее, дискуссии вокруг возможностей ее использования, ее преимуществах и ограничениях продолжаются и по сей день. 

Критики, например, говорят о том, что оценка проводится людьми, не имеющими должной подготовки и предвзято относящимися к объекту оценки. Доходит даже до того, что оценку с участием называют «замаскированной под оценку инициативой по развитию местного сообщества», что (по мнению критиков подхода) в корне неприемлемо, т.к. оценка должна быть лишь источником информации, давать объективную картину происходящего – не более. 

Радикально настроенные сторонники подхода продвигают идею вовлечения в оценку любых целевых групп, включая, например, детей или людей с ментальными особенностями. Для того, чтобы процесс оценки с участием проходил организованно, предлагается использовать внешнего консультанта, который является для исполнителей оценки и источником знаний, и фасилитатором.

На следующем заседании клуба PROОЦЕНКУ планируется поговорить об оценке с участием. Заседание пройдет онлайн во вторник 17 мая с 11.00 до 12.30 мск. Объявление о регистрации участников будет размещено в телеграмм-каналах «Проектирование и оценка в социальной сфере» и «5 элемент» в ближайшие дни. 

Степень участия

Речь пойдет об оценке с участием детей. Тема в последнее время много обсуждается на разных уровнях. Я тоже считаю её важной.

Начнем с того, что при оценке инициатив, ориентированных на детей, важно рассматривать детей как источник информации. Как ни парадоксально, это происходит не всегда. Причины - самые разные. Например, с детьми не всегда работают традиционные методики - надо что-то изобретать. В частности, если дети маленькие или особые. Другая причина - уверенность в том, что взрослым виднее, на то они и взрослые. 

Но использование детей лишь в качестве источника информации - это минимальный вариант их включения в оценку. На самом деле, можно организовать процесс оценки таким образом, что дети будут полноценно участвовать в нем (естественно, в меру своих сил) от начала и до конца, т.е. от постановки задачи до представления результатов. В этом случае работа взрослых - обучение, фасилитация, наставничество.  

Таким образом, степень участия детей в процессе оценки можно изобразить в виде шкалы, на левом полюсе которой дети как источник информации, а на правом - дети как полноценные исполнители оценки. При этом роль взрослого меняется от специалиста, ответственного за проведение оценки (левый полюс) до фасилитатора или наставника (правый полюс). И, естественно, появляется бесконечное множество вариантов участия детей, находящееся между этими полюсами. То же самое можно сказать и о роли взрослого.