Оценка с учетом стоимости

Термин cost-inclusive evaluation относится ко всем подходам к оценке программ, которые так или иначе принимают во внимание денежное измерение. Брайан Т. Ейтс (Brian T Yates) из Американского университета в Вашингтоне в небольшой обзорной статье предложил компактное описание видов анализа, которые используются в оценке, учитывающей стоимость. Привожу мой вариант перевода этой таблички с небольшими сокращениями. В основном, сокращения коснулись примеров. 

Ссылка на источник: 

Yates, Brian. (2008). Cost-inclusive evaluation: A banquet of approaches for including costs, benefits, and cost-effectiveness and cost-benefit analyses in your next evaluation. Evaluation and program planning. 32. 52-4. 10.1016/j.evalprogplan.2008.08.007. 

Как мы стали заниматься оценкой

Сегодня у меня спросили, как получилось, что мы начали заниматься оценкой. Причин было несколько. 

1. К середине 90-х годов мы (Компания "Процесс Консалтинг") определяли свою специализацию как "организационное развитие" (organization development). Когда один из наших клиентов обратился к нам с запросом на проведение оценки проекта, оказалось, что это в чем-то сродни организационной диагностике, которую мы проводить умели. 
2. Когда КАФ (тогда еще CAF) решил провести один из первых в России семинаров по оценке для лидеров НКО (это тоже было в середине 90-х), пригласили двух зарубежных специалистов. Случилось так, что один из них заболел накануне отъезда, и меня попросили поассистировать Сaре дел Туфо  (Sarah del Tufo) из Великобритании. Семинар прошел хорошо. Наше профессиональное сотрудничество с Сарой продолжалось потом много лет. Дружим до сих пор. 
3. Сара помогла тогда с приобретением наших первых книжек по оценке. Среди них была "Практическая оценка" (Practical Evaluation) Майкла Пэттона. Книга произвела на меня сильное впечатление. Уникальная особенность Майкла в том, что он пишет и говорит так, что хочется сразу идти и делать :) 
4. Мы понимали, что спрос на оценку будет расти. Потребность в ней была совершенно очевидна. А нам надо было специализироваться.

 Вот такая история...

Сложная тема

Тема "Оценка стратегии", как мы и предполагали, оказалась весьма сложной. Потому после второго заседания клуба PROоценку осталось много пищи для размышлений. Поделюсь некоторыми, чтобы промежуточный итог подвести. Пойду по вопросам, которые мы обсуждали. 

Что такое оценка стратегии?

Вот наше рабочее определение, основанное на широко известном определении оценки программ, предложенном М.Пэттоном: "Оценка стратегии НКО – это систематический сбор и последующий анализ информации о стратегии НКО и её эволюции, а также о ходе и результатах её реализации, предназначенные для вынесения суждения о результативности стратегии, принятия решений о необходимости корректировки стратегии и/или для разработки новой  стратегии. Оценка стратегии НКО проводится для заранее определенных пользователей – лиц, принимающих стратегические решения и ответственных за их реализацию".

Почему об оценке стратегий пишут и говорят намного меньше, чем об оценке программ и проектов?

- Новая тема. Об оценке проектов и программ давно пишут, а об оценке стратегий недавно начали. К примеру, публикация Пэттона и Патризи "Оценка стратегии" появилась в серии "Новые направления в оценке" в 2010 году.

- Сложная тема. 

- Стратегии реализуются через проекты и программы. Стратегий значительно меньше, чем проектов и программ.

- Оценка программ и проектов во многих случаях является обязательной. Оценка стратегий - нет.

- Не у всех НКО есть стратегии. Интуитивное ощущение вектора развития есть у всех или почти у всех. А вот в виде документа стратегии есть далеко не у всех.  

В чем сходства и отличия стратегии организации как объекта оценки от программы (проекта)?

- Стратегия запланированная всегда отличается от стратегии реализованной. И всегда появляется элемент стратегии, сформированный по ходу ее выполнения (см. публикации Г.Минцберга). 

- Формат описания проекта является более-менее стандартным. Описания стратегий могут отличаться весьма существенным образом. Другими словами, когда мы идем оценивать проект, мы более-менее представляем, что увидим. Когда речь идет об оценке стратегии, заранее представить, как она будет выглядеть, проблематично.

Занимаются ли НКО оценкой своих стратегий? Если нет, то почему? Если да, то каким образом? 

- НКО занимаются, в первую очередь тем, что от них требуют. Оценку проектов требуют. Оценку стратегий - нет. Потому этим занимаются намного реже.  

- Если стратегия существует у руководителя на уровне интуиции, то и оценка производится интуитивно. Соответственно, этим словом ее не называют. 

- Чаще всего оценка стратегии оказывается встроенной в процесс стратегического управления. Например, при планировании новой стратегии, анализируют выполнение предыдущей стратегии. Поэтому зачастую оценку стратегии как особое действие не выделяют.

- См. также здесь.

На какие вопросы может дать ответ оценка стратегии? Кто, как и когда может провести оценку стратегии НКО? 

- Об этом я писал ранее здесь.

Кто, когда и как может провести оценку стратегии НКО?

- Внешний специалист или те, кто работает в организации и руководит ею.

- Оценка может проводиться на всех стадиях цикла стратегического управления: оценка ситуации, оценка стратегического плана, оценка реализации стратегии, оценка результатов выполнения стратегии.

- При проведении оценки стратегии может использоваться весь инструментарий, наработанный в оценке программ. Иногда надо будет кое-что адаптировать. 

Нужны ли особые компетенции для проведения оценки стратегии НКО?

- Да, нужны. В самом общем виде их можно описать как "знание организаций" в отличие от "знания программ и проектов". Такими компетенциями обладают руководители организаций и специалисты по организационному развитию и управлению. Это ставит их в более выгодное положение по сравнению со специалистами по оценке программ при необходимости оценить стратегию. 

Модель "5П" и оценка стратегии

Эта схема представляет т.н. модель "5P" (англ.) или "5П" (рус.) Генри Минцберга. Она скомпилирована из рисунков, приведенных в книге Б.Альстранд, Ж.Лампель, Г.Минцберг. «Стратегическое сафари. Экскурсия по дебрям стратегического менеджмента» «Альпина Диджитал», 2009. 

Минцберг предлагает рассматривать стратегию 

• как ПЛАН (руководство, ориентир или направление развития, дорогу из настоящего в будущее);
• как ПОЗИЦИЮ (где будут ожидаемые результаты, где именно мы планируем оказать влияние, что-то изменить); 
• как ПЕРСПЕКТИВУ (или как "теорию бизнеса" - как это будет работать, каким образом наши действия приведут к ожидаемым результатам);
• как ПАТТЕРН (принципы, шаблоны поведения, которые сформировались на основе нашего прошлого опыта);
• как ПРИЕМ (какой прием мы применяем для того, чтобы опередить конкурентов)

Соответственно, при оценке стратегии внимание может уделяться не только каждому из этих пяти аспектов, но и их взаимосвязям. Например, Пэттон и Патризи указывают на значимость анализа согласованности Позиции и Перспективы (Patton, M. Q., & Patrizi, P. A. (2010). Strategy as the focus for evaluation. In P. A. Patrizi & M. Q. Patton (Eds.), Evaluating strategy. New Directions for Evaluation, 128).

До второго заседания клуба PROоценку остается 4 дня. Те, кого интересует тема "Оценка стратегии НКО", могут зарегистрироваться здесь.

Оценка стратегии НКО

Второе заседание клуба PROОЦЕНКУ будет посвящено оценке стратегии НКО. Вопросы, которые планируем обсудить, непростые, и однозначных ответов на них не существует. Попытаюсь начать разговор здесь, а продолжим его уже 12 июля. 

Вопрос: почему об оценке стратегий пишут и говорят намного меньше, чем об оценке программ и проектов?

К ответу на этот вопрос: Знаете, насколько меньше? Ссылок в интернете на "strategy evaluation" в 30 раз меньше, чем на "program evaluation"!

Вопрос: Занимаются ли НКО оценкой своих стратегий? Если нет, то почему? Если да, то каким образом? 

К ответу на этот вопрос: Мне кажется, что в большинстве своём не занимаются. Причина проста: стратегии у большинства НКО не сформулированы - в отличие от описаний проектов, без которых не будет финансирования. Когда стратегия не описана, а существует - в лучшем случае - на интуитивном уровне, оценивать ее весьма затруднительно.

PS На рисунке представлена модель построения организации Дж.Р.Гелбрейта, которую автор назвал "Звезда". Почитать о ней в авторской версии (англ.) можно здесь.

Задание на оценку стратегии

Оценка начинается с постановки задачи. Основа задания на проведение оценки - вопросы, на которые нужно ответить. Какие вопросы могут быть включены в задание на проведение оценки стратегии? Вот вариант, предложенный Патрицией Патризи. Она исходит из того, что (а) оценка может осуществляться на разных стадиях жизненного цикла стратегии и (б) запланированная стратегия практически никогда не реализуется в полном объеме и корректируется по ходу. 

Внешнее царство хаоса

Публикация в этом блоге заметки о модели Кеневин (Cynefin) вызвала достаточно большой интерес. Сегодня я хотел бы поделиться другой моделью, которая, насколько мне известно, пока не публиковалась на русском языке. В том виде, как я ее здесь представляю, эта модель опубликована в замечательной книжке Майкла Пэттона об адаптивной оценке (Patton, M. Q. (2010). Developmental evaluation: applying complexity concepts to enhance innovation and use. New York: Guilford Press, p.94). Заголовок этой диаграммы, предложенный автором, - "Внешнее царство хаоса". 

Хаос здесь определяется как ситуация высшей степени неопределенности относительно того, что следует делать для достижения желаемых результатов. Хаос вызывает стресс, а естественной реакцией на него является избегание. 

Простая ситуация - в противоположность хаосу - характеризуется высокой степенью согласованности ее понимания между участниками и высокой степенью определенности (предсказуемости) с технической точки зрения. В такой ситуации надо разработать план и строго следовать ему, чтобы все получилось.

В ситуации с высокой степенью определенности в техническом плане, но низким уровнем согласованности между участниками, главной задачей становится выстраивание отношений и достижение договоренностей. Такую ситуацию автор относит к сложным в социальном плане. 

В ситуации с низкой степенью определенности в техническом плане, но высоким уровнем согласованности между участниками (которые являются экспертами в данной предметной области), основным ресурсом оказывается именно техническая экспертиза, а экспериментирование - способом разобраться в том, как что работает. Такие ситуации отнесены автором к технически сложным.

Наконец, т.н. динамические ситуации сложны и в социальном, и в техническом планах. Автор отмечает, что граница между зоной, обозначенной как "динамическая", и хаосом - условная. Это утверждение справедливо и в отношении всех остальных границ.

Возможно, вам будет интересно сопоставить эту модель с моделью Кеневин. 

Еще раз об оценке потребностей в обучении

Готовимся к первому заседанию клуба PROОЦЕНКУ. Одна из тем, которые хотели бы обсудить - оценка потребностей в обучении. Здесь все не так просто, как может показаться на первый взгляд. Дело в том, что само существование "потребностей в обучении" можно поставить под сомнение. Потребности заключаются в чем-то другом, а обучение является одним из способов их удовлетворения. Например, организация нуждается в повышении качества обслуживания клиентов. Один из путей - обучение сотрудников. При этом ни у организации, ни у сотрудников потребности в обучении как таковом нет. Есть потребность в повышении качества работы с клиентами. Когда мы говорим об оценке "потребностей в обучении", происходит своего рода навязывание заранее  определенного решения. Не будет ли правильнее оценивать потребности (человека или организации), а уж потом решать, в какой мере обучение может способствовать их удовлетворению?...

Более подробная информация о первом заседании клуба PROОЦЕНКУ и регистрация здесь. Заседание пройдет в пятницу 11 июня с 11 до 12.30 мск. Тема: "Оценка обучения". Участие бесплатное. 

Старый конь борозды не портит

Вчера прошло очередное мероприятие, организованное движением EvalYouth, которое объединяет молодых и начинающих оценщиков. Для молодых и начинающих есть аббревиатура, которую в мире уже хорошо знают - YEE (young and emerging evaluators). Поскольку я к данной категории не отношусь, решил придумать аббревиатуру для тех, кто не молод и уже давно работает. Вариант ORE (Old and Retiring Evaluators - старые и выходящие на пенсию оценщики) забраковал как несколько депрессивный :) Потом нашел подходящие слова - немолодые и бывалые (как оппозиция молодым и начинающим). И вдруг оказалось, что сокращенно это получается USE (польза)! То есть из серии "старый конь борозды не портит" и т.д. Считаю, отлично получилось. Надо подумать о создании глобального движения :)  На картинке надписи по-английски, чтобы единомышленников найти.

На встрече вчера мы вместе с Татьяной Третьяковой (Кыргызстан) и Ольгой Красовской (Украина) отвечали на вопросы, подготовленные организаторами с учетом интересов YEE. Вопросы были весьма серьезные. На ответ давали всего 5 минут. 

Вот какие вопросы мне достались:

• Как мне стать профессиональным специалистом по оценке?
• Как мне стать независимым консультантом?
• Нужна ли мне степень (предлагаемая университетом) в области мониторинга и оценки, чтобы меня считали специалистом по оценке?
• Должен ли я специализироваться на конкретном (секторе/методе) или быть универсальным специалистом?

Видеозапись ответов и презентации организаторы мероприятия обещали разместить в открытом доступе. Как только они это сделают, сообщу. 

Здесь приведу тезисы моего ответа только на последний вопрос насчет специализации: 

• Зависит от места Вашей работы, характера Вашей деятельности и перспективы профессионального развития как Вы ее видите.
• Узкая специализация возможна и целесообразна, например, если Вы являетесь специалистом по оценке внутри организации. Другой вариант – узкая специализация внешнего консультанта на очень развитом рынке услуг по оценке (не относится к нашему региону). 
• Если же речь идет о достижении финансовой устойчивости за счет оценки в нашем регионе в качестве внешнего консультанта, то предпочтительнее становиться «генералистом» и привлекать узких специалистов по мере необходимости. 

PROОЦЕНКУ

Уже много лет мы сотрудничаем в сфере развития оценки с Архангельским Центром "Гарант" и Сибирским центром поддержки общественных инициатив. Недавно мы договорились о запуске нового проекта - онлайновой дискуссионной площадки/клуба. Есть еще несколько идей, которые мы планируем реализовать совместно. Поэтому мы приняли решение о создании нашими организациями Альянса за развитие оценки. Естественно, мы открыты к сотрудничеству и взаимодействию со всеми заинтересованными сторонами.

Создатели Альянса за развитие оценки: 

• РБОО "Архангельский Центр социальных технологий "Гарант"
• ООО «Компания «Процесс Консалтинг»
• Фонд «Сибирский центр поддержки общественных инициатив»

Миссия нашего альянса – институционализация оценки в социальной сфере в России. Под институционализацией здесь понимается процесс внедрения оценки в социально-ориентированную деятельность различных организаций, закрепление соответствующих социальных норм и роли оценки в обществе. В ближайшие планы Альянса входит открытие онлайн-клуба PROОЦЕНКУ  для интересующихся темой оценки. В 2021 году встречи клуба будут проходить ежемесячно. Первая встреча – в июне. Даты и тематика встреч будут объявлены дополнительно.