Мониторинговый визит

Из самого названия визита понятно, что он проводится в рамках мониторинга программы или проекта. Мониторинг предполагает регулярное отслеживание и фиксацию того, что происходит в проекте. Другими словами, это процесс регулярного и систематического сбора информации по всем ключевым аспектам проекта. 

Важная традиционная составляющая мониторинга - это сбор информации о значениях заранее выбранных показателей для обеспечения руководителей программы (проекта) и других заинтересованных сторон сведениями о том, насколько успешно выполняются программа (проект) в целом и ее (его) отдельные компоненты, в какой мере достигаются поставленные цели, и как используются ресурсы. Можно ли считать, что мониторинг - это исключительно про показатели? Если система мониторинга предполагает проведение мониторинговых визитов, то точно нельзя, поскольку мониторинговый визит - это точно не про показатели. Конечно, во время таких визитов происходит сбор информации о ходе и результатах проектов и программ, а также об организациях-исполнителях. Но собираемые данные носят преимущественно описательный характер и никак не сводятся к значениями показателей. Мы проводим мониторинговый визит, чтобы своими глазами увидеть, как идут дела, чтобы поговорить с исполнителями проекта и благополучателями. 

Таким образом, мониторинговый визит является не чем иным как эмпирической оценкой, он дополняет сведения о значениях показателей результатами наблюдения и интервью. Это значит, что планировать и проводить мониторинговый визит следует по правилам эмпирической оценки (не индикаторной!): сформулировать вопросы, на которые необходимо получить ответы; определить источники и методы получения необходимой для этого информации; подготовить соответствующие инструменты; собрать и проанализировать данные; подготовить отчет. Если этим правилам не следовать, то есть риск не узнать то, что нужно, и результаты мониторингового визита окажутся не столь полезными, как могли бы.

Экспертиза заявок и принятие решений о финансировании

Общепринятый подход к экспертизе заявок на получение гранта предполагает, что каждая заявка оценивается специально подобранными экспертами по ряду критериев, предложенных финансирующей организацией. Для оценки заявок эксперты пользуются шкалами, которые позволяют выразить их мнение о степени соответствия заявки тому или иному критерию: по каждому критерию эксперт выставляет определенный балл.  Зачастую по результатам оценки каждой заявки эксперту также предлагается сделать вывод о качестве замысла проекта в целом и целесообразности его финансирования, например, «проект хороший и рекомендуется к поддержке» или «проект неудачный и не рекомендуется к поддержке». Встречается также вариант, в котором эксперт может указать на то, что в замысле проекта есть недочеты, которые не позволяют однозначно рекомендовать поддержать либо отвергнуть его. Значение оценки эксперта по заявке, как правило, рассчитывается автоматически: общая сумма баллов, присвоенных заявке по каждому критерию, умножается на коэффициент значимости этого критерия. После этого вычисляется общая сумма баллов, которую получила заявка.

Предлагаю к обсуждению 2 вопроса: 

• Чем должна заканчиваться работа эксперта: вынесением суждения или выставлением баллов? 
• Что должен содержать вывод эксперта по заявке? 

Вероятно, ни у кого не вызовет возражений утверждение о том, что зона ответственности эксперта грантового конкурса заканчивается вынесением суждения о проекте. Это суждение основывается на знаниях и практическом опыте эксперта и выносится на основании внимательного изучения замысла проекта (заявки). Соответственно, главный вопрос к эксперту состоит не в том, сколько баллов он выставляет, скажем,  по критерию «Актуальность», а в том, насколько актуален проект с его точки зрения. Это означает, что эксперту должна быть предложена шкала, каждое деление которой имеет развернутое описание. Эксперт соотносит свое мнение о проекте с этими описаниями и выбирает то, которое точнее всего соответствует его позиции. Если таких описаний не будет, а эксперту будет просто предложено оценить заявку по 9-балльной шкале, каждый эксперт будет трактовать отличия, скажем, оценки 6 от оценки 7 по своему усмотрению, и результаты экспертизы, проведенной разными людьми, окажутся не вполне совместимыми. Более того, в этом случае мнение эксперта весьма сложно обсудить либо оспорить, т.к. оценка будет основана на его видении шкалы.

Если шкала содержит соответствующие описания, то возникает следующий вопрос: нужны ли эксперту числа? Ведь числа – это формальный шаг, который позволяет автоматически «оцифровать» содержательное суждение. Задача эксперта – вынести такое суждение. Задача финансирующей организации – оцифровать его. Нужно ли эксперту знать, по какой формуле происходит «оцифровка» и сколько баллов в итоге наберет проект, который он оценивает? 

Теперь об общем выводе, который делает эксперт. Он должен касаться качества замысла проекта и вероятности его успешной реализации. Рекомендация о том, следует ли финансирующей организации поддержать проект, лежит за пределами зоны ответственности эксперта. Другими словами, работа эксперта должна завершаться суждением о том, что «проект – хороший» или не вполне. Наделять же эксперта полномочиями, связанными с решением о финансировании, на мой взгляд, не вполне корректно. Представьте себе на секунду, что приглашенный в судебное заседание эксперт-психолог после представления психологического портрета подсудимого, даст рекомендацию присяжным относительно их вердикта.

Независимая оценка

Вчера на вебинаре Майкл Пэттон поделился мыслями о т.н. "независимой оценке". Дело в том, что многие крупные организации создают подразделения с такими названиями (см., например, Группу независимой оценки Всемирного банка). Считается, что придание независимого статуса повышает доверие к результатам проводимой такими подразделениями оценки и достоверность этих результатов. 

Пэттон считает, что все, что даёт независимость - это отсутствие зависимости :), дистанцирование. По его мнению, это никак не повышает ни доверия к результатам, ни их достоверности. Напротив, взаимозависимость (interdependence) может существенно повысить доверие к результатам оценки, которую проводят не те, кто дистанцирован от проекта и никак от него не зависят, а те, кто действительно заботятся о проекте, связаны с проектом и кому проект небезразличен. 

Я к этому хотел бы добавить, что независимой оценки не бывает, в принципе. Люди, проводящие оценку всегда от кого-то и от чего-то зависят. Например, от тех, кто им платит деньги. 

Принципы само-оценивания

Принципы, регламентирующие ту или иную сферу профессиональной деятельности, определяют поведение представителей профессии в значимых повторяющихся ситуациях. Такие принципы формируются на основе живого опыта как результат достижения согласия между представителями профессии по поводу того, как следует себя вести в ситуациях сложного выбора. 

В нашей стране существуют Принципы оценки программ и политик, разработанные Ассоциацией специалистов по оценке программ и политик (АСОПП) и опубликованные в 2017 году. В числе этих принципов:  

1. Ориентация на практическое использование результатов оценки
2. Компетентность исполнителей 
3. Корректность методологии 
4. Открытость 
5. Безопасность 
6. Адаптивность

Принципы разработаны с учетом того, что в оценке – в общем случае – могут принимать участие три стороны:

• Заказчик – представитель организации, которая инициирует оценку, ставит задачу на ее проведение и будет основным пользователем ее результатов.
• Специалист по оценке – человек, который привлекается Заказчиком для проведения оценки.
• Участники оценки – люди, которые в ходе оценки предоставляют информацию, и зачастую являются сотрудниками или руководителями программ, являющихся объектом оценки.

Соответственно, каждый принцип сопровождается рекомендациями для каждой из трех перечисленных выше сторон. Это, по мнению разработчиков, позволяет сделать принципы полезными для всех сторон, включенных в проведение оценки программ и политик.

Но как быть в случае, когда проводится само-оценивание, самый распространенный вид оценки проектов и программ? Ведь именно в такой ситуации чаще всего находятся некоммерческие организации. 

Вот лишь несколько особенностей само-оценивания: 

• Заказчиками и исполнителями оценки в этом случае являются сами сотрудники организации. Более того, зачастую они окажутся и в числе участников оценки, обладающих необходимой информацией о проекте. Естественно, они же будут использовать результаты оценки. 
• Имеет ли в таком случае смысл делать особый акцент на ориентации на практическое использование результатов оценки? Вряд ли кто-то станет тратить время и силы на проведение работ, результаты которых никому в организации не нужны. Или все-таки нужно изначально подумать о практическом использовании результатов?
• Среди сотрудников организации чаще всего не окажется людей, являющихся экспертами в сфере оценки. Какие требования в таком случае можно предъявлять к компетентности исполнителей и корректности методологии? С другой стороны, если методология не вполне корректна, результатам оцени нельзя доверять. 
• Принцип безопасности гласит: «Оценка должна проводиться с уважением достоинства всех ее участников независимо от их роли, социального статуса и индивидуальных особенностей. При проведении оценки следует учитывать возможные негативные последствия, которые она может иметь как для отдельных людей, так и для организаций. Риск возможных негативных последствий должен быть сведен к минимуму, а участники оценки должны быть о них проинформированы». Замените здесь «оценку» на «само-оценивание». О каких негативных последствиях может идти речь? Кого предупреждать о рисках – самих себя? Или все же риски имеются? 

В общем, здесь есть, что обсудить. Именно поэтому на ближайшем заседании клуба PROОЦЕНКУ будем говорить о практическом применении принципов оценки в ситуации само-оценивания. Заседание пройдет онлайн в четверг 9 июня с 11.00 до 12.30 мск. Участие бесплатное. Регистрация участников здесь. Приходите! Интересная беседа в хорошей компании, как всегда, гарантируется 😊

О пользе теорий в оценке программ

Отличия оценки программ от исследования хорошо известны: методы используются одни и те же, но это разные жанры. Исследования ориентированы на получение нового знания, а оценка – на поддержку принятия решений. При этом результаты некоторых исследований могут очень пригодиться при проведении оценки. 

Рассмотрим пример. 

Допустим, вы проводите оценку программы, связанной с развитием взаимодействий между людьми или организациями. Анализ взаимодействий показал (использована  методика Social Network Analysis), что существует группа, взаимодействия внутри которой намного интенсивнее, чем взаимодействия между остальными участниками данной социальной сети – как показано на рисунке. Вероятно, на основе полученных данных вы сможете объяснить, почему так получилось в данном случае. Но хорошо это или плохо? Можно ли что-то сказать о перспективах развития данной социальной сети? Здесь на помощь может прийти теория развития социальных сетей, предложенная Кребсом и Холи (Krebs, Valdis & Holley, June. (2006). Building smart communities through network weaving. Appalachian Center for Economic Networks.). Данная теория говорит о том, что конфигурация «ядро – периферия», представленная на рисунке, является признаком высокого уровня развития социальной сети и свидетельствует о её устойчивости. 

Точно так же результаты исследований в сфере внедрения инноваций могут оказаться полезными при оценке инновационных программ (см. здесь), результаты исследований в сфере организационного развития – при оценке программ развития организаций, результаты психологических исследований – при оценке программ психологической помощи и т.д. Научное знание может быть полезно для осмысления результатов оценки конкретной программы. 

Оценочное мышление

Вообще-то, психологи говорят, что нам всем надо учиться безоценочному мышлению… Например, бизнес-тренер и life-коуч Александр Печерский считает, что «есть «оценочное мышление» и есть «безоценочное мышление». Первое – сужает наши представления, ограничивает, обедняет нашу жизнь, второе – расширяет и обогащает». 

В то же время специалисты по оценке уже давно говорят о том, что для успешного внедрения оценки в деятельность организаций необходимо формировать у сотрудников оценочное мышление. А как же психология? 

Кажущееся противоречие связано с тем, что в первом случае понятия «оценочный» и «безоценочный» являются переводом английских слов judgmental и non-judgmental. Буквально их можно еще перевести как «осуждающий, склонный к осуждению» и, наоборот, «не склонный судить либо осуждать». 

Во втором же случае «оценочное мышление» является переводом английского evaluative thinking. Корень слова «оценочный» (evaluative) в данном случае – «ценность» (value). Точно так же и оценку (evaluation)  проектов и программ следует понимать, скорее, как «определение их ценности». 

Одно из наиболее часто используемых определений оценочного мышления выглядит так: 

"Оценочное мышление — это критическое мышление, применяемое в контексте оценки и обусловленное любознательностью и верой в ценность доказательств. Оценочное мышление включает выявление предположений и допущений, вдумчивую постановку вопросов, стремление к более глубокому пониманию через рефлексию и анализ с разных позиций, а также обоснование решений при подготовке к действиям." (Buckley, J., Archibald, T., Hargraves, M., & Trochim, W. M. (2015). Defining and teaching evaluative thinking: Insights from research on critical thinking. American Journal of Evaluation, 36(3), 375-388.)

"Критическое мышление (critical thinking) — это интеллектуально дисциплинированный процесс активного и умелого осмысления, применения, анализа, синтеза и/или оценки информации, собранной или полученной в результате наблюдения, приобретения живого опыта, размышлений, рассуждений или общения, в качестве основания для формирования убеждений либо руководства к действию. В своей образцовой форме критическое мышление основано на универсальных интеллектуальных ценностях: ясность, точность, четкость, последовательность, актуальность, веские доказательства, веские причины, глубина, широта и справедливость." 

Размышления по итогам вчерашнего заседания клуба PROОЦЕНКУ

Вчера на клубе говорили об оценке с участием заинтересованных сторон. Наметилось несколько тем для дальнейшего размышления. 

• В основе оценки с участием лежит признание субъектности представителей заинтересованных сторон, т.е. признание их активности, способности к развитию и интеграции, самоопределению, саморегуляции, самодвижению и самосовершенствованию (по определению С.Л.Рубинштейна). Путь к такому признанию может оказаться непростым, а последствия его – не вполне предсказуемыми.
• Очевидно, что степень участия заинтересованных сторон может быть разной. То есть получается такой континуум: от полной ответственности группы представителей заинтересованных сторон за проведение всех этапов оценки (это 100% оценка с участием) до полной ответственности внешнего консультанта за проведение всех этапов оценки с использованием представителей некоторых заинтересованных сторон лишь в качестве источников информации (это 100% «традиционная» внешняя оценка). В общем случае оценка будет где-то между этими полюсами. 
• Использование внешним консультантом избранных представителей заинтересованных сторон лишь в качестве источников информации не является в данном контексте «участием» заинтересованных сторон в оценке. При этом включение некоторых категорий заинтересованных сторон даже в качестве источников информации может, конечно, оказаться достаточно революционным шагом, если речь, например, идет о детях или людях с ментальными особенностями.
• Судя по всему, участие заинтересованных сторон зачастую происходит на этапе анализа данных. Это помогает, как минимум, найти правильные интерпретации полученных данных. Существует много техник коллективного анализа данных, которые делают это процесс эффективным и увлекательным для всех участников. С примерами таких техник можно познакомиться в этом пособии (англ.). 
• Если внешний консультант предполагает использовать элементы оценки с участием, например, привлечь представителей заинтересованных сторон к анализу данных, то это необходимо прежде согласовать с заказчиком оценки. Такой шаг для некоторых заказчиков может серьезно скомпрометировать результаты оценки.
• Оценка с участием органично переходит в планирование действий. Если люди сами оценивают программу, то они же и решают, что и как делать по результатам оценки. В связи с этим они должны быть наделены соответствующими полномочиями и понимать свою ответственность за принимаемые решения. 

Оценка с участием заинтересованных сторон

Идея этого подхода заключается в том, чтобы в проведение оценки программы или проекта – от начала и до конца – были вовлечены представители всех сторон, заинтересованных в программе или проекте. Под началом понимается постановка задачи на проведение оценки, включающая формулирование вопросов, на которые необходимо ответить. И далее – поэтапно – дизайн оценки, сбор данных, анализ данных, подготовка отчета по результатам. Заинтересованные стороны – это благополучатели, исполнители программы, представители местного сообщества и т.д. Проведение оценки с участием (participatory evaluation) зачастую завершается переходом к практическим действиям – немедленному использованию полученных результатов теми, кто оценку проводил. 

Говорят, что традиции оценки с участием были заложены исследователями еще в 19 веке. Среди исследователей, имевших отношение к формированию философских основ оценки с участием, называют, в частности, К.Маркса и Ф.Энгельса. Активное развитие оценки с участием как инструмента началось во второй половине прошлого века в рамках инициатив по совершенствованию организаций и для налаживания взаимодействия между менеджментом и работниками. Таким образом, к моменту выделения оценки программ как отдельной дисциплины и сферы практической деятельности, оценка с участием уже была известна в сфере организационного развития (Brisolara, S., 1998. The history of participatory evaluation and current debates in the field. New Directions for Evaluation 1998, 25–41.. doi:10.1002/ev.1115). 

К концу прошлого века оценка программ с участием заинтересованных сторон стала широко известным подходом и приобрела много сторонников. Тем не менее, дискуссии вокруг возможностей ее использования, ее преимуществах и ограничениях продолжаются и по сей день. 

Критики, например, говорят о том, что оценка проводится людьми, не имеющими должной подготовки и предвзято относящимися к объекту оценки. Доходит даже до того, что оценку с участием называют «замаскированной под оценку инициативой по развитию местного сообщества», что (по мнению критиков подхода) в корне неприемлемо, т.к. оценка должна быть лишь источником информации, давать объективную картину происходящего – не более. 

Радикально настроенные сторонники подхода продвигают идею вовлечения в оценку любых целевых групп, включая, например, детей или людей с ментальными особенностями. Для того, чтобы процесс оценки с участием проходил организованно, предлагается использовать внешнего консультанта, который является для исполнителей оценки и источником знаний, и фасилитатором.

На следующем заседании клуба PROОЦЕНКУ планируется поговорить об оценке с участием. Заседание пройдет онлайн во вторник 17 мая с 11.00 до 12.30 мск. Объявление о регистрации участников будет размещено в телеграмм-каналах «Проектирование и оценка в социальной сфере» и «5 элемент» в ближайшие дни. 

Карта результатов и карта бизнес-процессов

«Цепочка ожидаемых результатов» и «карта ожидаемых результатов» - широко известные способы представления замысла проекта. Карта результатов – неотъемлемая часть теории изменений, лежащей в основе замысла проекта. Цепочка или карта результатов показывают, каким образом действия в рамках проекта приводят к достижению стратегической цели проекта. 

С более подробным описанием карты результатов социально-ориентированного проекта можно ознакомиться по приведенной выше ссылке и во многих других русскоязычных и зарубежных публикациях. 

Вот так может выглядеть карта результатов для программы повышения качества обслуживания. 

Составление карт бизнес-процессов применительно к НКО и к социально-ориентированным проектам обсуждается гораздо реже. Оговоримся сразу, что, если «бизнес» понимать как «дело», любое ДЕЛО, то не существует никаких противопоказаний к использованию инструментария из сферы управления бизнес-процессами в НКО.

Бизнес-процесс – это полная совокупность действий, приводящая к достижению ценного, с точки зрения заказчика, результата или предоставлению услуги. Внешнее сходство с определением «карты результатов» очевидно. Есть даже такое понятие как «карта бизнес-процессов», которая  «крупными мазками» показывает, как работает бизнес. Точно так же, как «карта результатов» показывает, как работает та или иная социальная инициатива. 

Но между картой процессов и картой результатов есть, конечно, целый ряд принципиальных отличий. Начнем с того, что в одном случае акцент делается на цепочки результатов, а в другом – на цепочки действий. Важно также отметить, что в «карте результатов» предполагается, что совершение некой совокупности действий «запускает» цепочки результатов. Аналогия - костяшки домино, расставленные в определенном порядке, которые начинают последовательно падать, если толкнуть первую. 

Еще одно существенное отличие: карта результатов формируется в отношении достижения главного результата, того, что в управлении бизнес-процессами называют ценностью для клиента. Это ценность создается так называемыми «основными процессами». При описании же бизнес-процессов кроме основных принято отдельно рассматривать:  

• вспомогательные (или обеспечивающие) процессы, которые предназначены для поддержки основных, обычно через управление ресурсами и/или инфраструктурой, необходимых основным процессам. Разница между основными и вспомогательными процессами в том, что вспомогательные процессы непосредственно не создают ценность для потребителя. 
• процессы управления, которые предназначены для измерения, мониторинга и контроля деятельности.

Вот так может выглядеть карта процессов торговой компании 

Управление бизнес-процессами (Business Process Management, BPM) – это концепция управления, увязывающая стратегию и цели организации с ожиданиями и потребностями клиентов путем соответствующей организации сквозных процессов. Наверное, можно сказать, что карта результатов ближе к стратегии (теории ДЕЛА, как говаривал гуру менеджмента Питер Друкер), а карта бизнес-процессов к тому, как это ДЕЛО работает. 

В любом случае тут есть, о чем поразмышлять. 

В этой публикации использованы материалы из «Свода знаний по управлению бизнес-процессами» , который я рекомендую как базовую публикацию для всех интересующихся. 

Самое сложное в оценке

Вчера в Telegram-канале проекта «5 элемент»  был открыт онлайновый опрос подписчиков. Предлагается ответить лишь на один вопрос: «Что Вы считаете в оценке самым сложным?».

Я решил провести небольшое исследование, чтобы посмотреть, что называют самым сложным в англоязычных публикациях по оценке программ и проектов. Использовал Google и рассмотрел первые 17 результатов поиска (первые две страницы). Обнаружил следующее: 

1. В нескольких публикациях речь идет об атрибуции. То есть самым сложным в оценке называют определение ценности программы на фоне других факторов, повлиявших на ситуацию. Другими словами, это обоснование причинно-следственной связи между программой и произошедшими позитивными изменениями либо предотвращенными негативными изменениями. Пример. 
2. В одном случае самым сложным назвали стоимостной анализ эффективности услуг, монетизацию социальных эффектов. Ссылка.  
3. И еще в одном случае утверждается, что самое сложное в оценке – это решить, что измерять и каким образом. Ссылка.

Интересно, что во всех случаях утверждение о том, что именно является самым сложным в оценке, предваряет достаточно подробные рекомендации по преодолению этой сложности. И это, конечно, отличная новость 😉