Оценка с участием заинтересованных сторон

Идея этого подхода заключается в том, чтобы в проведение оценки программы или проекта – от начала и до конца – были вовлечены представители всех сторон, заинтересованных в программе или проекте. Под началом понимается постановка задачи на проведение оценки, включающая формулирование вопросов, на которые необходимо ответить. И далее – поэтапно – дизайн оценки, сбор данных, анализ данных, подготовка отчета по результатам. Заинтересованные стороны – это благополучатели, исполнители программы, представители местного сообщества и т.д. Проведение оценки с участием (participatory evaluation) зачастую завершается переходом к практическим действиям – немедленному использованию полученных результатов теми, кто оценку проводил. 

Говорят, что традиции оценки с участием были заложены исследователями еще в 19 веке. Среди исследователей, имевших отношение к формированию философских основ оценки с участием, называют, в частности, К.Маркса и Ф.Энгельса. Активное развитие оценки с участием как инструмента началось во второй половине прошлого века в рамках инициатив по совершенствованию организаций и для налаживания взаимодействия между менеджментом и работниками. Таким образом, к моменту выделения оценки программ как отдельной дисциплины и сферы практической деятельности, оценка с участием уже была известна в сфере организационного развития (Brisolara, S., 1998. The history of participatory evaluation and current debates in the field. New Directions for Evaluation 1998, 25–41.. doi:10.1002/ev.1115). 

К концу прошлого века оценка программ с участием заинтересованных сторон стала широко известным подходом и приобрела много сторонников. Тем не менее, дискуссии вокруг возможностей ее использования, ее преимуществах и ограничениях продолжаются и по сей день. 

Критики, например, говорят о том, что оценка проводится людьми, не имеющими должной подготовки и предвзято относящимися к объекту оценки. Доходит даже до того, что оценку с участием называют «замаскированной под оценку инициативой по развитию местного сообщества», что (по мнению критиков подхода) в корне неприемлемо, т.к. оценка должна быть лишь источником информации, давать объективную картину происходящего – не более. 

Радикально настроенные сторонники подхода продвигают идею вовлечения в оценку любых целевых групп, включая, например, детей или людей с ментальными особенностями. Для того, чтобы процесс оценки с участием проходил организованно, предлагается использовать внешнего консультанта, который является для исполнителей оценки и источником знаний, и фасилитатором.

На следующем заседании клуба PROОЦЕНКУ планируется поговорить об оценке с участием. Заседание пройдет онлайн во вторник 17 мая с 11.00 до 12.30 мск. Объявление о регистрации участников будет размещено в телеграмм-каналах «Проектирование и оценка в социальной сфере» и «5 элемент» в ближайшие дни. 

Карта результатов и карта бизнес-процессов

«Цепочка ожидаемых результатов» и «карта ожидаемых результатов» - широко известные способы представления замысла проекта. Карта результатов – неотъемлемая часть теории изменений, лежащей в основе замысла проекта. Цепочка или карта результатов показывают, каким образом действия в рамках проекта приводят к достижению стратегической цели проекта. 

С более подробным описанием карты результатов социально-ориентированного проекта можно ознакомиться по приведенной выше ссылке и во многих других русскоязычных и зарубежных публикациях. 

Вот так может выглядеть карта результатов для программы повышения качества обслуживания. 

Составление карт бизнес-процессов применительно к НКО и к социально-ориентированным проектам обсуждается гораздо реже. Оговоримся сразу, что, если «бизнес» понимать как «дело», любое ДЕЛО, то не существует никаких противопоказаний к использованию инструментария из сферы управления бизнес-процессами в НКО.

Бизнес-процесс – это полная совокупность действий, приводящая к достижению ценного, с точки зрения заказчика, результата или предоставлению услуги. Внешнее сходство с определением «карты результатов» очевидно. Есть даже такое понятие как «карта бизнес-процессов», которая  «крупными мазками» показывает, как работает бизнес. Точно так же, как «карта результатов» показывает, как работает та или иная социальная инициатива. 

Но между картой процессов и картой результатов есть, конечно, целый ряд принципиальных отличий. Начнем с того, что в одном случае акцент делается на цепочки результатов, а в другом – на цепочки действий. Важно также отметить, что в «карте результатов» предполагается, что совершение некой совокупности действий «запускает» цепочки результатов. Аналогия - костяшки домино, расставленные в определенном порядке, которые начинают последовательно падать, если толкнуть первую. 

Еще одно существенное отличие: карта результатов формируется в отношении достижения главного результата, того, что в управлении бизнес-процессами называют ценностью для клиента. Это ценность создается так называемыми «основными процессами». При описании же бизнес-процессов кроме основных принято отдельно рассматривать:  

• вспомогательные (или обеспечивающие) процессы, которые предназначены для поддержки основных, обычно через управление ресурсами и/или инфраструктурой, необходимых основным процессам. Разница между основными и вспомогательными процессами в том, что вспомогательные процессы непосредственно не создают ценность для потребителя. 
• процессы управления, которые предназначены для измерения, мониторинга и контроля деятельности.

Вот так может выглядеть карта процессов торговой компании 

Управление бизнес-процессами (Business Process Management, BPM) – это концепция управления, увязывающая стратегию и цели организации с ожиданиями и потребностями клиентов путем соответствующей организации сквозных процессов. Наверное, можно сказать, что карта результатов ближе к стратегии (теории ДЕЛА, как говаривал гуру менеджмента Питер Друкер), а карта бизнес-процессов к тому, как это ДЕЛО работает. 

В любом случае тут есть, о чем поразмышлять. 

В этой публикации использованы материалы из «Свода знаний по управлению бизнес-процессами» , который я рекомендую как базовую публикацию для всех интересующихся. 

Самое сложное в оценке

Вчера в Telegram-канале проекта «5 элемент»  был открыт онлайновый опрос подписчиков. Предлагается ответить лишь на один вопрос: «Что Вы считаете в оценке самым сложным?».

Я решил провести небольшое исследование, чтобы посмотреть, что называют самым сложным в англоязычных публикациях по оценке программ и проектов. Использовал Google и рассмотрел первые 17 результатов поиска (первые две страницы). Обнаружил следующее: 

1. В нескольких публикациях речь идет об атрибуции. То есть самым сложным в оценке называют определение ценности программы на фоне других факторов, повлиявших на ситуацию. Другими словами, это обоснование причинно-следственной связи между программой и произошедшими позитивными изменениями либо предотвращенными негативными изменениями. Пример. 
2. В одном случае самым сложным назвали стоимостной анализ эффективности услуг, монетизацию социальных эффектов. Ссылка.  
3. И еще в одном случае утверждается, что самое сложное в оценке – это решить, что измерять и каким образом. Ссылка.

Интересно, что во всех случаях утверждение о том, что именно является самым сложным в оценке, предваряет достаточно подробные рекомендации по преодолению этой сложности. И это, конечно, отличная новость 😉

О пользе процесса

Когда идет речь о полезной оценке проектов и программ, в первую очередь говорят, конечно, об использовании результатов оценки. Между тем, и процесс оценки может быть весьма полезен во многих отношениях. 

На вчерашнем заседании клуба PROОЦЕНКУ в числе прочего обсуждали возможность взаимодействия между экспертами, оценивающими проектную заявку, и заявителями, которые эту заявку составили. Все знают, что возможности такого взаимодействия, как правило, очень ограничены – по вполне понятным причинам. Однако, если бы общение между экспертом и заявителями  было возможно, это могло бы способствовать развитию потенциала заявителей. Скажем, эксперт мог бы пояснить, как он оценивал заявку и почему выставил те или иные оценки. Можно даже представить, что эксперт по ходу оценки мог бы обращаться к заявителям с вопросами. Подобное общение в процессе оценки сделало бы этот процесс более полезным для заявителей. 

При проведении эмпирической оценки возможности получения пользы от процесса (по-английски process use of evaluation) существенно больше. В частности, в ходе оценки могут быть прояснены многие вопросы и достигнуто лучшее взаимопонимание между членами команды проекта. Например, в процессе группового интервью, которое проводится внешним консультантом в рамках сбора информации о проекте, могут уточняться приоритеты проекта и связь проекта со стратегией организации. Таким образом, разговор с командой проекта, с одной стороны, поможет получить нужные сведения, а с другой стороны, поможет самим участникам проекта прояснить важные вещи. 

Если оценка проводится с активным участием команды проекта (participatory evaluation), процесс оценки позволит команде проекта научиться чему-то новому, повысить свой потенциал в сфере оценки. 

В списке контрольных вопросов, относящихся к оценке, ориентированной на практическое использование (Utilization-Focused Evaluation Checklist), Майкл Пэттон предлагает рассмотреть возможности использования процесса оценки уже на стадии планирования и предусмотреть такое использование, если обстоятельства позволят. Отличная идея! 

Нужно ли давать рекомендации по результатам оценки проекта или программы?

По этому поводу существуют две противоположные позиции. Они связаны с пониманием сущности оценки и границ жанра. Обе позиции достаточно широко известны, поскольку связаны с именами двух гуру оценки Майкла Скривена и Майкла Пэттона.

Позиция Пэттона: оценка должна быть ориентирована на использование, на действие. Поэтому по итогам оценки - в общем случае - должны быть даны рекомендации. Это своего рода мостик к действиям. Важно при этом соблюдать схему: данные – интерпретации – выводы – рекомендации. То есть рекомендации обязательно должны основываться на выводах по результатам оценки.

Позиция Скривена: оценка заканчивается выводами. Рекомендации нужны в оценке «как рыбе велосипед». Оценка направлена на вынесение суждений, основанных на эмпирических данных. Эти суждения могут использоваться, в том числе, при планировании деятельности. Но предложения о том, какие действия следует предпринять по результатам оценки (это, собственно, и есть рекомендации), должен вырабатывать не тот, кто проводит оценку. Для выработки рекомендаций нужно обладать компетенциями, которые выходят за рамки компетенций специалиста по оценке. 

Опытные менеджеры категоричны: рекомендации, которые поступают от человека с ограниченными опытом и знаниями в сфере управления, а также слабо понимающего организационный контекст, не стоят ломаного гроша. Боб Вильямс из Новой Зеландии считает, что требование включить рекомендации в отчет по результатам оценки зачастую связано с манипуляцией, со стремлением переложить ответственность за определенные решения на внешнего консультанта.

Соглашусь с тем, что не стоит давать рекомендации, не имея должного опыта, знаний и понимания контекста. Не здорово и превращаться в инструмент для чьих-то манипуляций. Не надо давать рекомендации, когда об этом не просят. Неправильно, когда рекомендации не особенно связаны с результатами оценки, а являются продуктом свободного творчества внешних консультантов. Но…

Можно привести много примеров, когда рекомендации, сформулированные по итогам оценки, не просто приветствовались, но активно внедрялись. Это чаще всего имеет место, когда оценка проводится с активным участием тех, кто будет пользоваться ее результатами. В этом случае  рекомендации формируются совместно. А уж в само-оценивании рекомендации абсолютно органичны и необходимы: провели само-оценивание и приняли решения о том, что дальше делать.

Каково идеальное число показателей для оценки проекта?

Вопрос непростой и отнюдь не праздный. Если показателей будет недостаточно, вы не сможете узнать то, что нужно для принятия решений или, скажем, для отчетности по проекту. Если показателей будет слишком много, вы будете тратить свои ресурсы на получение информации, которая ни вам, ни кому-то другому не пригодится. То есть, другими словами, будете тратить ресурсы попусту.

Простого ответа на вопрос об идеальном числе показателей не существует. Но есть несколько важных соображений, которые следует принимать во внимание, чтобы ответить на него. 

• Начнем с главного: кто и что именно хочет узнать с помощью показателей? Если мы хотим, чтобы показатели были полезными, надо определить пользователей и их информационные потребности. Далее надо обязательно определить, как именно эти люди собираются использовать полученные данные о значениях показателей. То есть здесь мы должны следовать принципам оценки, ориентированной на практическое использование. Естественно, имеется в виду, что показатели используются в рамках подхода, который мы называем индикаторной оценкой. 
• Любой показатель относится к какому-то определенному компоненту проекта, например, к ресурсам, процессу реализации проекта, результатам проекта и т.д. Поэтому перед формулированием показателей необходимо описать теорию изменений или логическую модель проекта. Тогда будет проще понять, что именно мы измеряем с помощью тех или иных показателей. Помним о базовой формуле индикаторной оценки: «реальность-модель-показатели».  
• Следует стремиться к минимизации количества показателей, поскольку замер их значений предполагает создание целой системы. Каждый новый показатель – это деньги, время, энергия людей. 
• Следует помнить, что не все информационные потребности можно удовлетворить с помощью индикаторной оценки. Возможно, у будущих пользователей результатов оценки появятся такие вопросы, ответы на которые целесообразнее будет получить с помощью эмпирической или экспертной оценки. Это, кстати, один из способов минимизации числа показателей. 

В заключение предлагаю подумать над рекомендацией известных американских специалистов Кусек и Рист, приведенной в книге «10 шагов к системе мониторинга и оценки, основанной на результатах» (англ.): «Каково идеальное число показателей для какого-либо результата программы или проекта? Минимальное число, позволяющее ответить на вопрос о том, достигнут ли этот результат».

Международная академия оценки

Международная академия оценки (International Evaluation Academy) объявила о начале своей деятельности. Академия зарегистрирована как благотворительная организация в Англии и Уэльсе.  Это глобальное движение добровольцев, стремящихся к повышению влияния оценки на принятие значимых решений, профессионализации и преобразующему воздействию. 

Академия ориентирована на инновации: "Мы поощряем новаторские изменения в способах разработки и использования оценки для решения сложных задач экономической, социальной и экологической устойчивости" (цитата с сайта).

"Академия охватывает широкий спектр подходов, моделей и методов оценки. Она соблюдает принцип субсидиарности в своей работе; мобилизует энергию и навыки добровольцев на местном, национальном, региональном и глобальном уровнях; организует информационные сообщества стипендиатов («хабы») для решения разнообразных тематических, региональных и местных задач; обращается к партнерам через государственные и междисциплинарные границы, привлекая к сотрудничеству государственные структуры, бизнес-организации и гражданское общество" (цитата с сайта). 

Полагаю, это важное событие в мире оценки. Теперь будем следить и за "академическими" новостями. 

Не профессия

Вчера на 10-м заседании клуба PROОЦЕНКУ обсуждали оценивание организаций. Видеозапись заседания доступна здесь. Несколько мыслей по итогам… 

• Оценку организаций по-английски чаще называют ассесментом (assessment) или диагностикой (diagnostics). Термин evaluation (корень value – ценность) применительно к оценке организаций используется значительно реже, чем к оценке программ. Google дает 35 000 000 ссылок на словосочетание «program evaluation» и всего 58 000 ссылок на словосочетание «organizational evaluation».
• Оценка организаций появилась в контексте развития знаний и практики, связанных с организационным развитием и управлением организациями. Организационное развитие (Organization Development) – это область знаний и практической деятельности, ориентированная на изучение и повышение потенциала организаций для обеспечения их эффективности и жизнеспособности. 
• В традиции организационного развития оценка (диагностика) организации встроена в процесс изменений. После диагностики организации ставятся цели и разрабатывается план изменений, затем осуществляются эти изменения, а по итогам реализации плана проводится оценка – все ли получилось так, как хотели. Вот это де-факто оценка программы – программы организационных изменений. 
• Оценка организаций не выделилась как отдельная профессия – в отличие от оценки программ и проектов. Соответственно, не существует перечней компетенций для «специалиста по оценке организаций» и профессиональных объединений, ориентированных исключительно на оценку организаций. 

• На рисунке показаны 4 подхода к оценке организаций. Есть вариант оценки, основанный на использовании модели. Это своего рода чек-лист, который предписывает вынести суждения по заранее заданным параметрам. Часто в подобных методиках предлагаются шкалы, позволяющие получить численные значения по каждому из параметров. С примером использования такого подхода можно ознакомиться в исследовании Центра оценки общественных инициатив Института прикладных политических исследований НИУ ВШЭ. Такой подход ближе к индикаторной оценке. 
• Другой вариант оценки предполагает формулирование вопроса, на который нужно ответить, а затем - планирование и проведение специального оценочного исследования для получения данных, на основании которых можно получить ответ на тот самый вопрос. Такой подход ближе к традиции эмпирической оценки.  

В заключение хотел бы отметить, что в ближайшие полтора года деятельность клуба PROОЦЕНКУ будет осуществляться под эгидой проекта «Поддержка развития оценки и развитие оценочного мышления. Пятый элемент», который выполняется Ассоциацией ИнА-Центр в партнерстве с Фондом СЦПОИ, Компанией "Процесс Консалтинг" и Группой НКО "Гарант" при поддержке Фонда президентских грантов.

Про оценку организаций

Ближайшее заседание клуба PROОЦЕНКУ будет посвящено оцениванию организаций. Один из вопросов, которые планируется обсудить, относится к сфере компетенций. Нужны ли для оценки организаций какие-то особые компетенции, отличные от тех, которые требуются для оценки программ и проектов? На мой взгляд, нужны. Хотя бы потому, что человек, проводящий оценку, должен хорошо понимать, что собой представляет объект оценки: по каким законам он формируется, функционирует, развивается. Другими словами, для оценки проектов и программ надо хорошо разбираться в проектах и программах, а для оценки организаций, надо хорошо понимать организации. 

При этом... Тот, кто оценивает проекты, должен в какой-то мере понимать организации, поскольку они реализуют проекты и являются значимым для проектов контекстом. А тот, кто оценивает организации, должен иметь представление о проектах, поскольку эта форма деятельности повсеместно используется организациями.

Если принять во внимание, что методы, которые используются при оценке проектов, программ и организаций - одни и те же (анкетирование, наблюдение, интервью и т.д.), то нам точно будет, о чем поговорить на клубе :) 

Регистрация участников здесь. Заседание пройдет 10 марта онлайн с 11 до 12.30 мск.  

Книга из блога

К онлайновым сервисам привыкаешь настолько, что перестаешь задумываться о том, не следует ли сохранить информацию где-то у себя. Так произошло у меня с блогом, куда пишу в последние годы почти каждую неделю. Текст набираю в онлайне, копии не сохраняю. За 14 лет накопилось довольно много публикаций. Сегодня обнаружил целый ряд онлайновых сервисов, позволяющих за считаные минуты и небольшие деньги конвертировать блог в книгу в формате PDF. Теперь у меня такая книжка есть, вернее даже две книжки, поскольку в период с 2008 по 2011 я пользовался платформой LiveJournal, а затем "переехал" на Blogger. Все публикации за период с 2008 по 2011 уместились на 180 страницах с картинками и ссылками, а за период с 2012 по 2022 - на 420 страницах. Естественно, это я для себя сделал, в первую очередь. Но, если вдруг кому-то такая книга интересна, дайте знать. 

С удовольствием рекомендую сервис, которым я воспользовался. Он называется BlogBooker. На картинке - платформы, с которыми он работает.