17000 KPIs

KPI (key performance indicators) по-русски называют ключевыми показателями эффективности. В книжке, обложку которой вы видите, представлено 17000 таких показателей. Книга называется "Мега-библиотека KPI". Масштабы, конечно, впечатляют. Но давайте зададимся следующим вопросом: вам в вашей организации нужно столько показателей? Предполагаю, что ответ будет отрицательным. Другой вопрос: сможете ли вы найти среди 17000 тот единственный показатель, который вам нужен? Тоже не факт. 

Как ни парадоксально, разработать небольшое число показателей, позволяющих получить действительно полезную для вас информацию, намного сложнее чем "сгенерировать" тысячу показателей без особой привязки к деятельности вашей организации и потребностям лиц, принимающих решения. 

Почему так получается? 

Дело в том, что начинать разработку показателей нужно с "теории изменений" (ТИ), лежащей в основе вашей программы или проекта. Когда ТИ сформирована, то есть, показано, как деятельность в рамках проекта приведет к желаемым результатам, можно приступить к разработке показателей. Главные вопросы при этом: Что именно мы хотим узнать? и Зачем нам это нужно? (то есть, как станем использовать полученное знание). Если мы хотим узнать что-либо, связанное с мероприятиями в рамках проекта, то показатель будет относиться к деятельности. Это может быть, к примеру, охват целевой аудитории. Если же нас интересует, в какой мере нам удастся достичь запланированных результатов, то показатели должны относиться к результатам соответствующего уровня в ТИ. Это могут быть непосредственные результаты нашей деятельности, например, изменение знаний слушателей по результатам семинара. Нас могут интересовать и результаты более высокого уровня, например, использование полученных знаний слушателями на практике после окончания семинара. 

Здесь-то и начинается самое сложное и интересное: надо разработать МИНИМАЛЬНОЕ число показателей, которые ДЕЙСТВИТЕЛЬНО позволят узнать о ВАШЕМ проекте именно то, что ВАМ НУЖНО. 

Есть такая хорошая поговорка: "От избытка овса конь слабеет". Это я насчет количества показателей :) 

Ценности или принципы?

Интересное обсуждение работы с ценностями и принципами в социальном проектировании и в оценке программ и проектов состоялось сегодня на очередном заседании клуба PROОЦЕНКУ. В частности, поговорили о том, отличаются ли ценности от принципов. Дело в том, что эти термины нередко используют как синонимы. На сайтах многих организаций можно найти раздел "Ценности и принципы". Есть такой раздел, к примеру, на сайтах двух крупнейших российских частных фондов - Фонда Потанина и и Фонда Тимченко (см. рисунки). Соответственно, один вариант - это принять как данность, что граница между ценностями и принципами настолько размыта, что разделять их не следует.

Другой вариант предлагает Майкл Пэттон. Он говорит, что ценность - это, во что мы верим, что для нас является особенно значимым, а принцип - это руководство к действию, основанное на ценности. Скажем, наша ценность - творчество, а принцип, предписывающий, как нам следует действовать с учетом этой ценности, может звучать так: "Мы строим учебный процесс на основе выполнения творческих заданий".  

Если исходить из такого понимания принципов, то может быть интересно проанализировать значимые для организации перечни ценностей и принципов. И тогда принципы могут получиться направляющими, полезными, воодушевляющими, адаптивными и оцениваемыми - как предлагает Майкл Пэттон в своей концепции оценки, ориентированной на принципы (Principles Focused Evaluation). Здесь можно узнать об этой концепции (видео на английском языке).

Как работать с ценностями при проведении оценки

Эта тема будет обсуждаться на очередном заседании клуба PROОЦЕНКУ, которое пройдет онлайн 10 февраля. Более подробная информация и регистрация участников здесь. 

Что представляют собой ценности отдельного человека? Группы людей? Проекта? Программы? Организации? 

Один из ведущих российских специалистов по управлению и организационному развитию А.И.Пригожин предлагает такое определение: «Ценности есть представления о должном, о лучшем, о самом важном, ради чего стоит трудиться, жертвовать временем, силами и чем-то еще. Представления о совершенстве в разных сферах жизни». 

В знаменитой модели 7S (McKinsey & Company) разделяемые всеми сотрудниками организации ценности - в центре (см. рисунок). Они являются связующим звеном для всех компонентов организации как системы, ключевой составляющей организационной культуры. 

В основе реализуемых организацией проектов и программ тоже лежат ценности. Однако сегодня довольно проблематично найти модель проекта или программы, в которой они бы присутствовали в явном виде. Попытку создать такую модель предприняли в 2015 году американские специалисты Гаргани и Доналдсон. В их концепцию социального проектирования "под ключ" входят 5 компонентов: дизайн ценностей, дизайн воздействия, дизайн процессов, дизайн бизнеса и дизайн оценки. Давно обещанная авторами книга пока так и не вышла (Gargani, J., & Donaldson, S. I. (2015). Theory-driven program design and redesign: A practical guide to achieving social impact. Newbury Park, CA: Sage). 

Поскольку ценности являются важным фактором в социальном проектировании, было бы логично принимать их во внимание и при проведении оценки проектов и программ. Отсюда - тема следующего заседания клуба PROОЦЕНКУ. Вот некоторые вопросы, которые там планируется обсудить:  

• Что такое ценности применительно к проектной деятельности?
• Чьи ценности и принципы следует принимать во внимание и почему?
• Как выявить истинные, а не декларируемые ценности и принципы?

Сколько стоит членство в зарубежной профессиональной ассоциации

Вчера Американская ассоциация оценки объявила о повышении размера ежегодного членского взноса с 1 марта 2022 года на 50$. Это приведет к тому, что членство в данной ассоциации станет самым дорогим. До сих пор оно было самым недорогим, если сравнивать с другими ведущими ассоциациями (данные приводятся в рублях по курсу ЦБ РФ на 27.01.22) : 

• Американская ассоциация оценки (American Evaluation Association)  до 1.03.22 - 10594 р. (после - 14547 р.)
• Канадское общество оценки (Canadian Evaluation Society) - 12123 р.
• Европейское общество оценки (European Evaluation Society) - 12415 р.
• Австралийской общество оценки (Australian Evaluation Society) - 12085 р.

Отметим, что членство в профессиональных ассоциациях помимо традиционных преимуществ (доступ к профессиональным журналам, скидки на участие в конференциях, возможности профессионального развития и т.д.) может также иметь непривычные для нас бонусы. Так, например, члены Канадского общества оценки получают существенные скидки на аренду автомобилей и на проезд по железной дороге. Кроме того, надо иметь в виду, что при вступлении в две или более ведущих ассоциаций, размер ежегодного взноса в каждой из них снижается. 

В любом случае для нашего региона стоимость членства в зарубежной профессиональной ассоциации достаточно высока. Например, для россиян вступление в Американскую ассоциацию оценки обойдется в четверть среднемесячного заработка (по состоянию на 2021 год он составлял 54687 рублей). 

Качественный анализ «затраты-выгоды»

Принято считать, что анализ "затраты-выгоды" можно провести, если выгоды имеют денежное выражение. Об этом есть подробнее в предыдущей публикации. Зиллер и Фиббс предлагают альтернативу: качественный анализ "затраты-выгоды" с участием заинтересованных сторон (Alison Ziller & Peter Phibbs (2003) Integrating social impacts into cost-benefit analysis: a participative method: case study: the NSW area assistance scheme, Impact Assessment and Project Appraisal, 21:2, 141-146, DOI: 10.3152/147154603781766365). Эта статья (англ.) находится в открытом доступе. 

Авторы разработали интерактивный метод анализа "затраты-выгоды". Метод предполагает заполнение матрицы (см. рисунок), объединяющей поддающиеся количественной оценке и трудно поддающиеся количественной оценке затраты и выгоды. 

Матрица ставит социальные вопросы в один ряд с финансовыми соображениями. Матрица заполняется путем включения мнений заинтересованных сторон, а также результатов исследований. Заполнение матрицы может осуществляться постепенно (по мере сбора мнений от заинтересованных сторон через индивидуальные либо групповые интервью) или в один подход (на специально организованной для этого рабочей встрече). После заполнения матрицы баланс затрат и выгод оценивается дискурсивно (путем логических умозаключений) в ходе группового обсуждения , а не сводится формулой к соотношению. В статье описывается применение данного подхода  к оценке программы грантов. С другим примером использования этого подхода при оценке реализации стратегии можно ознакомиться в статье "Качественный анализ "затраты-выгоды" (англ.). 

Виды анализа эффективности затрат

Анализ эффективности затрат в социальных программах и оценка  экономической эффективности последних активно обсуждаются в профессиональном сообществе на протяжении нескольких десятилетий. В нашей стране эта тема оказалась в центре внимания в последние 10 лет.  

Публикаций на русском языке уже достаточно много. В качестве примеров можно привести: 

- Книгу  "Рекомендации по оценке социально-экономической эффективности социальных программ". 

- Материалы вебинара «Стоимостные подходы к оценке социальных программ. Оценка социально-экономической эффективности». 

- Материалы в группе "Оценка социального воздействия НКО - обсуждаем импакт вместе!"

Я хотел бы сегодня кратко рассказать о классификации видов анализа эффективности затрат в контексте оценки образовательных программ, предложенной в книге Левин и МакЭван (Levin, H. M., & McEwan, P. J. (2001). Cost-effectiveness analysis: methods and applications (2nd ed.). Thousand Oaks, Calif.: Sage Publications), обложка которой размещена выше в качестве иллюстрации. 

Блог "Оценка программ и проектов" в 2021 году

Завершая год, хотел бы обратиться к моим уважаемым читателям. Спасибо, что заглядываете, читаете, комментируете! Поздравляю вас с наступающими Новым Годом и Рождеством! Желаю всего самого доброго! Берегите себя и своих близких! Надеюсь на онлайновые и офлайновые встречи в следующем году. Планирую возобновить публикации сразу после праздников.

Веду блог с 2008 года. В 2012 переехал с Livejournal на Blogspot. В этом году старался делать регулярные публикации раз в неделю (чаще всего, по средам). Всего получилось 48 сообщений, то есть в среднем как раз 4 публикации в месяц. 

Больше всего просмотров набрали следующие 5 публикаций этого года: 

1. "Сообщества практиков" как организационная форма и объект оценки
2. Сложная тема
3. Оценка с учетом стоимости
4. Бегущие впереди паровоза
5. Оценка стратегии НКО

Две публикации из топ-5 оказались про оценку стратегии НКО (№№2 и 5). Как думаете, почему?

Все, о чем я пишу в блоге, непосредственно связано с профессиональной деятельностью. Темы публикаций возникают в связи обсуждениями на семинарах, которые мы проводим; в связи с  выступлениями на конференциях; в связи с задачами, которые приходится решать в процессе проведения оценок; в связи с развитием оценки в нашей стране. Своего рода "зеркало" моей работы. Оказалось очень полезно: дисциплинирует, остаются следы того, о чем думал, что было важным. Все хорошо упорядочено, есть ссылки, легко искать по ярлыкам, названиям публикаций, ключевым словам. А еще можно скачать всё в PDF формате, чтобы иметь офлайн доступ ко всем публикациям.

Презентация для лифта PROОЦЕНКУ

Википедия поясняет, что "презентация для лифта" (или речь для лифта) (англ. Elevator Pitch или Elevator Speech) — это короткий рассказ о концепции продукта, проекта или сервиса. Термин отражает ограниченность по времени — длина презентации должна быть такой, чтобы она могла быть полностью рассказана за время поездки на лифте, то есть одну - две минуты".

Как сделать "презентацию для лифта" об оценке программ и проектов? Как рассказать неподготовленному человеку о том, что такое оценка и почему она важна? Пусть даже дело происходит не в лифте и время не ограничивается 1-2 минутами. 

Мне приходилось делать это много раз и, честно говоря, с переменным успехом :)  Например, интересно объяснять это офицеру на паспортном контроле при пересечении границы другой страны. Диалог примерно такой: 

Офицер: Цель Вашего визита?

Я: Бизнес.

Офицер: Какой бизнес? 

Я: Участие в конференции.

Офицер: Что за конференция?

Я: По оценке (evaluation). 

Офицер: А что такое оценка? 

Здесь возникает пауза, потому что я начинаю лихорадочно думать о том, какое из известных мне определений сказать. Или, может, несколько определений предложить? Но тогда придется немного углубиться в обсуждение отличий между этими определениями. И еще: надо ли говорить офицеру, что пока нет консенсуса относительно определения, что есть разные школы  оценки. С учетом большой очереди позади меня в то же окошко...

Умение хорошо рассказать об оценке, конечно же, очень важно для всех, кто стремится оценку развивать и продвигать. Возможно, даже нужны разные подходы для рассказа представителям разных целевых групп - НКО, представителям госструктур, студентам университета, журналистам. Это тема возникла на заключительной встрече участников проекта "Ступени эффективности", реализованного новосибирским ИНА-Центром при поддержке Фонда президентских грантов. Мы решили вынести ее на обсуждение на следующем заседании клуба PROОЦЕНКУ, которое пройдет онлайн во второй четверг (13) января 2022 года с 11 до 12.30 мск. Приглашение будет размещено в группе "Проектирование и оценка в социальной сфере" сразу после новогодних праздников. Пока можно просто в ежедневник время записать.

Алексей Кудрин: "Проверять нужно не только расходы"

В ноябре президент РФ Владимир Путин внес в Госдуму проект поправок в закон о Счетной палате. Законопроект, в частности, регламентирует применение стратегического аудита для оценки рисков и результатов достижения стратегических целей социально-экономического развития и обеспечения безопасности РФ.

На сайте Счетной Палаты РФ информация о выступлении Алексея Кудрина на заседании Комитета Госдумы по контролю 16 декабря 2021 года. «Стратегический аудит – «столбовая дорога» всего мирового аудита, – отметил Алексей Кудрин, – Проверять нужно не только расходы. Часто от Счетной палаты ждут проверки того, что и на что потрачено, целевым ли образом, не нарушены ли контракты и достигнута ли конечная цель. Но мир пошел дальше. Мир оценивает результаты деятельности государственных органов власти: министерств и ведомств, – выполнения государственных программ, государственных стратегий. Оценивается достижение целей, которые ставятся перед исполнительной властью, механизмы достижения целей. И государственный аудит, который находится под Парламентом, вправе профессионально оценить, насколько конечная цель, стоящая перед правительственными органами, исполняется».

Законопроект, внесенный в Госдуму, также вводит новый вид аудита – аудит соответствия. Это как раз связано с расширением содержания деятельности аудиторов, о котором сказано выше. Очень важные изменения.

Узбекистан внедряет бюджетирование, ориентированное на результат

Информационно-аналитический портал REVIEW.UZ журнала "Экономическое обозрение" опубликовал вчера статью "Программное бюджетирование". Материал подготовлен специалистом Института бюджетно-налоговых исследований при Министерстве финансов Узбекистана Бунёджоном Кобиловом. Автор приводит краткий обзор зарубежного опыта бюджетирования, ориентированного на результат (Южная Корея, Франция и Казахстан), и обсуждает перспективы использования этого подхода в Узбекистане .

Вот преамбула к статье: "Внедрение в республике новой системы формирования годового бюджета — "бюджета, ориентированного на результат", — является одной из важнейших целей "Стратегии совершенствования системы управления государственными финансами Республики Узбекистан на 2020-2024 годы", предусматривающей внедрение системы целевого планирования с определением индикаторов эффективности бюджетных расходов всех министерств и ведомств при формировании проекта Государственного бюджета на 2022 год".

Полагаю, можно прогнозировать повышение интереса к сфере оценки программ в Узбекистане в ближайшее время. В первую очередь, речь, конечно, пойдет об индикаторах. Затем наверняка проявятся ограничения индикаторной оценки, и встанет вопрос о других подходах. Возможно, коллеги в Узбекистане, обратятся и к опыту Южной Кореи, где, как следует из упомянутой выше статьи, внедрены "самооценивание бюджетных программ" (2005) и "углубленная оценка бюджетных программ" (2006).