Каково идеальное число показателей для оценки проекта?

Вопрос непростой и отнюдь не праздный. Если показателей будет недостаточно, вы не сможете узнать то, что нужно для принятия решений или, скажем, для отчетности по проекту. Если показателей будет слишком много, вы будете тратить свои ресурсы на получение информации, которая ни вам, ни кому-то другому не пригодится. То есть, другими словами, будете тратить ресурсы попусту.

Простого ответа на вопрос об идеальном числе показателей не существует. Но есть несколько важных соображений, которые следует принимать во внимание, чтобы ответить на него. 

• Начнем с главного: кто и что именно хочет узнать с помощью показателей? Если мы хотим, чтобы показатели были полезными, надо определить пользователей и их информационные потребности. Далее надо обязательно определить, как именно эти люди собираются использовать полученные данные о значениях показателей. То есть здесь мы должны следовать принципам оценки, ориентированной на практическое использование. Естественно, имеется в виду, что показатели используются в рамках подхода, который мы называем индикаторной оценкой. 
• Любой показатель относится к какому-то определенному компоненту проекта, например, к ресурсам, процессу реализации проекта, результатам проекта и т.д. Поэтому перед формулированием показателей необходимо описать теорию изменений или логическую модель проекта. Тогда будет проще понять, что именно мы измеряем с помощью тех или иных показателей. Помним о базовой формуле индикаторной оценки: «реальность-модель-показатели».  
• Следует стремиться к минимизации количества показателей, поскольку замер их значений предполагает создание целой системы. Каждый новый показатель – это деньги, время, энергия людей. 
• Следует помнить, что не все информационные потребности можно удовлетворить с помощью индикаторной оценки. Возможно, у будущих пользователей результатов оценки появятся такие вопросы, ответы на которые целесообразнее будет получить с помощью эмпирической или экспертной оценки. Это, кстати, один из способов минимизации числа показателей. 

В заключение предлагаю подумать над рекомендацией известных американских специалистов Кусек и Рист, приведенной в книге «10 шагов к системе мониторинга и оценки, основанной на результатах» (англ.): «Каково идеальное число показателей для какого-либо результата программы или проекта? Минимальное число, позволяющее ответить на вопрос о том, достигнут ли этот результат».

Международная академия оценки

Международная академия оценки (International Evaluation Academy) объявила о начале своей деятельности. Академия зарегистрирована как благотворительная организация в Англии и Уэльсе.  Это глобальное движение добровольцев, стремящихся к повышению влияния оценки на принятие значимых решений, профессионализации и преобразующему воздействию. 

Академия ориентирована на инновации: "Мы поощряем новаторские изменения в способах разработки и использования оценки для решения сложных задач экономической, социальной и экологической устойчивости" (цитата с сайта).

"Академия охватывает широкий спектр подходов, моделей и методов оценки. Она соблюдает принцип субсидиарности в своей работе; мобилизует энергию и навыки добровольцев на местном, национальном, региональном и глобальном уровнях; организует информационные сообщества стипендиатов («хабы») для решения разнообразных тематических, региональных и местных задач; обращается к партнерам через государственные и междисциплинарные границы, привлекая к сотрудничеству государственные структуры, бизнес-организации и гражданское общество" (цитата с сайта). 

Полагаю, это важное событие в мире оценки. Теперь будем следить и за "академическими" новостями. 

Не профессия

Вчера на 10-м заседании клуба PROОЦЕНКУ обсуждали оценивание организаций. Видеозапись заседания доступна здесь. Несколько мыслей по итогам… 

• Оценку организаций по-английски чаще называют ассесментом (assessment) или диагностикой (diagnostics). Термин evaluation (корень value – ценность) применительно к оценке организаций используется значительно реже, чем к оценке программ. Google дает 35 000 000 ссылок на словосочетание «program evaluation» и всего 58 000 ссылок на словосочетание «organizational evaluation».
• Оценка организаций появилась в контексте развития знаний и практики, связанных с организационным развитием и управлением организациями. Организационное развитие (Organization Development) – это область знаний и практической деятельности, ориентированная на изучение и повышение потенциала организаций для обеспечения их эффективности и жизнеспособности. 
• В традиции организационного развития оценка (диагностика) организации встроена в процесс изменений. После диагностики организации ставятся цели и разрабатывается план изменений, затем осуществляются эти изменения, а по итогам реализации плана проводится оценка – все ли получилось так, как хотели. Вот это де-факто оценка программы – программы организационных изменений. 
• Оценка организаций не выделилась как отдельная профессия – в отличие от оценки программ и проектов. Соответственно, не существует перечней компетенций для «специалиста по оценке организаций» и профессиональных объединений, ориентированных исключительно на оценку организаций. 

• На рисунке показаны 4 подхода к оценке организаций. Есть вариант оценки, основанный на использовании модели. Это своего рода чек-лист, который предписывает вынести суждения по заранее заданным параметрам. Часто в подобных методиках предлагаются шкалы, позволяющие получить численные значения по каждому из параметров. С примером использования такого подхода можно ознакомиться в исследовании Центра оценки общественных инициатив Института прикладных политических исследований НИУ ВШЭ. Такой подход ближе к индикаторной оценке. 
• Другой вариант оценки предполагает формулирование вопроса, на который нужно ответить, а затем - планирование и проведение специального оценочного исследования для получения данных, на основании которых можно получить ответ на тот самый вопрос. Такой подход ближе к традиции эмпирической оценки.  

В заключение хотел бы отметить, что в ближайшие полтора года деятельность клуба PROОЦЕНКУ будет осуществляться под эгидой проекта «Поддержка развития оценки и развитие оценочного мышления. Пятый элемент», который выполняется Ассоциацией ИнА-Центр в партнерстве с Фондом СЦПОИ, Компанией "Процесс Консалтинг" и Группой НКО "Гарант" при поддержке Фонда президентских грантов.

Про оценку организаций

Ближайшее заседание клуба PROОЦЕНКУ будет посвящено оцениванию организаций. Один из вопросов, которые планируется обсудить, относится к сфере компетенций. Нужны ли для оценки организаций какие-то особые компетенции, отличные от тех, которые требуются для оценки программ и проектов? На мой взгляд, нужны. Хотя бы потому, что человек, проводящий оценку, должен хорошо понимать, что собой представляет объект оценки: по каким законам он формируется, функционирует, развивается. Другими словами, для оценки проектов и программ надо хорошо разбираться в проектах и программах, а для оценки организаций, надо хорошо понимать организации. 

При этом... Тот, кто оценивает проекты, должен в какой-то мере понимать организации, поскольку они реализуют проекты и являются значимым для проектов контекстом. А тот, кто оценивает организации, должен иметь представление о проектах, поскольку эта форма деятельности повсеместно используется организациями.

Если принять во внимание, что методы, которые используются при оценке проектов, программ и организаций - одни и те же (анкетирование, наблюдение, интервью и т.д.), то нам точно будет, о чем поговорить на клубе :) 

Регистрация участников здесь. Заседание пройдет 10 марта онлайн с 11 до 12.30 мск.  

Книга из блога

К онлайновым сервисам привыкаешь настолько, что перестаешь задумываться о том, не следует ли сохранить информацию где-то у себя. Так произошло у меня с блогом, куда пишу в последние годы почти каждую неделю. Текст набираю в онлайне, копии не сохраняю. За 14 лет накопилось довольно много публикаций. Сегодня обнаружил целый ряд онлайновых сервисов, позволяющих за считаные минуты и небольшие деньги конвертировать блог в книгу в формате PDF. Теперь у меня такая книжка есть, вернее даже две книжки, поскольку в период с 2008 по 2011 я пользовался платформой LiveJournal, а затем "переехал" на Blogger. Все публикации за период с 2008 по 2011 уместились на 180 страницах с картинками и ссылками, а за период с 2012 по 2022 - на 420 страницах. Естественно, это я для себя сделал, в первую очередь. Но, если вдруг кому-то такая книга интересна, дайте знать. 

С удовольствием рекомендую сервис, которым я воспользовался. Он называется BlogBooker. На картинке - платформы, с которыми он работает. 

17000 KPIs

KPI (key performance indicators) по-русски называют ключевыми показателями эффективности. В книжке, обложку которой вы видите, представлено 17000 таких показателей. Книга называется "Мега-библиотека KPI". Масштабы, конечно, впечатляют. Но давайте зададимся следующим вопросом: вам в вашей организации нужно столько показателей? Предполагаю, что ответ будет отрицательным. Другой вопрос: сможете ли вы найти среди 17000 тот единственный показатель, который вам нужен? Тоже не факт. 

Как ни парадоксально, разработать небольшое число показателей, позволяющих получить действительно полезную для вас информацию, намного сложнее чем "сгенерировать" тысячу показателей без особой привязки к деятельности вашей организации и потребностям лиц, принимающих решения. 

Почему так получается? 

Дело в том, что начинать разработку показателей нужно с "теории изменений" (ТИ), лежащей в основе вашей программы или проекта. Когда ТИ сформирована, то есть, показано, как деятельность в рамках проекта приведет к желаемым результатам, можно приступить к разработке показателей. Главные вопросы при этом: Что именно мы хотим узнать? и Зачем нам это нужно? (то есть, как станем использовать полученное знание). Если мы хотим узнать что-либо, связанное с мероприятиями в рамках проекта, то показатель будет относиться к деятельности. Это может быть, к примеру, охват целевой аудитории. Если же нас интересует, в какой мере нам удастся достичь запланированных результатов, то показатели должны относиться к результатам соответствующего уровня в ТИ. Это могут быть непосредственные результаты нашей деятельности, например, изменение знаний слушателей по результатам семинара. Нас могут интересовать и результаты более высокого уровня, например, использование полученных знаний слушателями на практике после окончания семинара. 

Здесь-то и начинается самое сложное и интересное: надо разработать МИНИМАЛЬНОЕ число показателей, которые ДЕЙСТВИТЕЛЬНО позволят узнать о ВАШЕМ проекте именно то, что ВАМ НУЖНО. 

Есть такая хорошая поговорка: "От избытка овса конь слабеет". Это я насчет количества показателей :) 

Ценности или принципы?

Интересное обсуждение работы с ценностями и принципами в социальном проектировании и в оценке программ и проектов состоялось сегодня на очередном заседании клуба PROОЦЕНКУ. В частности, поговорили о том, отличаются ли ценности от принципов. Дело в том, что эти термины нередко используют как синонимы. На сайтах многих организаций можно найти раздел "Ценности и принципы". Есть такой раздел, к примеру, на сайтах двух крупнейших российских частных фондов - Фонда Потанина и и Фонда Тимченко (см. рисунки). Соответственно, один вариант - это принять как данность, что граница между ценностями и принципами настолько размыта, что разделять их не следует.

Другой вариант предлагает Майкл Пэттон. Он говорит, что ценность - это, во что мы верим, что для нас является особенно значимым, а принцип - это руководство к действию, основанное на ценности. Скажем, наша ценность - творчество, а принцип, предписывающий, как нам следует действовать с учетом этой ценности, может звучать так: "Мы строим учебный процесс на основе выполнения творческих заданий".  

Если исходить из такого понимания принципов, то может быть интересно проанализировать значимые для организации перечни ценностей и принципов. И тогда принципы могут получиться направляющими, полезными, воодушевляющими, адаптивными и оцениваемыми - как предлагает Майкл Пэттон в своей концепции оценки, ориентированной на принципы (Principles Focused Evaluation). Здесь можно узнать об этой концепции (видео на английском языке).

Как работать с ценностями при проведении оценки

Эта тема будет обсуждаться на очередном заседании клуба PROОЦЕНКУ, которое пройдет онлайн 10 февраля. Более подробная информация и регистрация участников здесь. 

Что представляют собой ценности отдельного человека? Группы людей? Проекта? Программы? Организации? 

Один из ведущих российских специалистов по управлению и организационному развитию А.И.Пригожин предлагает такое определение: «Ценности есть представления о должном, о лучшем, о самом важном, ради чего стоит трудиться, жертвовать временем, силами и чем-то еще. Представления о совершенстве в разных сферах жизни». 

В знаменитой модели 7S (McKinsey & Company) разделяемые всеми сотрудниками организации ценности - в центре (см. рисунок). Они являются связующим звеном для всех компонентов организации как системы, ключевой составляющей организационной культуры. 

В основе реализуемых организацией проектов и программ тоже лежат ценности. Однако сегодня довольно проблематично найти модель проекта или программы, в которой они бы присутствовали в явном виде. Попытку создать такую модель предприняли в 2015 году американские специалисты Гаргани и Доналдсон. В их концепцию социального проектирования "под ключ" входят 5 компонентов: дизайн ценностей, дизайн воздействия, дизайн процессов, дизайн бизнеса и дизайн оценки. Давно обещанная авторами книга пока так и не вышла (Gargani, J., & Donaldson, S. I. (2015). Theory-driven program design and redesign: A practical guide to achieving social impact. Newbury Park, CA: Sage). 

Поскольку ценности являются важным фактором в социальном проектировании, было бы логично принимать их во внимание и при проведении оценки проектов и программ. Отсюда - тема следующего заседания клуба PROОЦЕНКУ. Вот некоторые вопросы, которые там планируется обсудить:  

• Что такое ценности применительно к проектной деятельности?
• Чьи ценности и принципы следует принимать во внимание и почему?
• Как выявить истинные, а не декларируемые ценности и принципы?

Сколько стоит членство в зарубежной профессиональной ассоциации

Вчера Американская ассоциация оценки объявила о повышении размера ежегодного членского взноса с 1 марта 2022 года на 50$. Это приведет к тому, что членство в данной ассоциации станет самым дорогим. До сих пор оно было самым недорогим, если сравнивать с другими ведущими ассоциациями (данные приводятся в рублях по курсу ЦБ РФ на 27.01.22) : 

• Американская ассоциация оценки (American Evaluation Association)  до 1.03.22 - 10594 р. (после - 14547 р.)
• Канадское общество оценки (Canadian Evaluation Society) - 12123 р.
• Европейское общество оценки (European Evaluation Society) - 12415 р.
• Австралийской общество оценки (Australian Evaluation Society) - 12085 р.

Отметим, что членство в профессиональных ассоциациях помимо традиционных преимуществ (доступ к профессиональным журналам, скидки на участие в конференциях, возможности профессионального развития и т.д.) может также иметь непривычные для нас бонусы. Так, например, члены Канадского общества оценки получают существенные скидки на аренду автомобилей и на проезд по железной дороге. Кроме того, надо иметь в виду, что при вступлении в две или более ведущих ассоциаций, размер ежегодного взноса в каждой из них снижается. 

В любом случае для нашего региона стоимость членства в зарубежной профессиональной ассоциации достаточно высока. Например, для россиян вступление в Американскую ассоциацию оценки обойдется в четверть среднемесячного заработка (по состоянию на 2021 год он составлял 54687 рублей). 

Качественный анализ «затраты-выгоды»

Принято считать, что анализ "затраты-выгоды" можно провести, если выгоды имеют денежное выражение. Об этом есть подробнее в предыдущей публикации. Зиллер и Фиббс предлагают альтернативу: качественный анализ "затраты-выгоды" с участием заинтересованных сторон (Alison Ziller & Peter Phibbs (2003) Integrating social impacts into cost-benefit analysis: a participative method: case study: the NSW area assistance scheme, Impact Assessment and Project Appraisal, 21:2, 141-146, DOI: 10.3152/147154603781766365). Эта статья (англ.) находится в открытом доступе. 

Авторы разработали интерактивный метод анализа "затраты-выгоды". Метод предполагает заполнение матрицы (см. рисунок), объединяющей поддающиеся количественной оценке и трудно поддающиеся количественной оценке затраты и выгоды. 

Матрица ставит социальные вопросы в один ряд с финансовыми соображениями. Матрица заполняется путем включения мнений заинтересованных сторон, а также результатов исследований. Заполнение матрицы может осуществляться постепенно (по мере сбора мнений от заинтересованных сторон через индивидуальные либо групповые интервью) или в один подход (на специально организованной для этого рабочей встрече). После заполнения матрицы баланс затрат и выгод оценивается дискурсивно (путем логических умозаключений) в ходе группового обсуждения , а не сводится формулой к соотношению. В статье описывается применение данного подхода  к оценке программы грантов. С другим примером использования этого подхода при оценке реализации стратегии можно ознакомиться в статье "Качественный анализ "затраты-выгоды" (англ.).