Патриция Роджерс уходит из BetterEvaluation

Перед тем, как написать сегодняшний пост, посмотрел, сколько раз я упоминал в блоге портал BetterEvaluation. Оказалось, 5 раз (2013, 2016, 2019 и 2020)! Сегодня - шестой. Но этот интернет-ресурс того стоит. Повод упомянуть о нем сегодня - уход основателя проекта и его бессменного руководителя Патриции Роджерс (Patricia Rogers), с поста исполнительного директора BetterEvaluation. По случаю своего ухода Патриция написала небольшую статью. Хотел бы здесь привести пару цитат из неё. Отмечу, что профессор Роджерс входит в когорту мировых лидеров в сфере оценки. Её вклад в развитие оценки как дисциплины и профессии сложно переоценить. Теперь у нее будет больше времени, чтобы вплотную заняться вопросами методологии и теории оценки.

Итак, две цитаты...

• О причинах создания сайта BetterEvaluation: "... Было очевидно, что многие из уроков, извлеченных из опыта проведения оценки, например, риски вынесения оценочных суждений, основанных исключительно на нескольких показателях, забывались либо оказывались неизвестны тем, кто приходил в оценку. Это приводило к повторению старых ошибок и неэффективной практике".
• О методологии оценки: "...Не существует универсального подхода к оценке. Напротив, методы, процессы и подходы должны соответствовать ситуации (особенностям объекта оценки, цели оценки), а также учитывать ограничения по времени, финансам и доступности данных".

Мониторинг и показатели

Четвертое заседание клуба PROОЦЕНКУ пройдет 9 сентября с 11.00 до 12.30 (мск) и будет посвящено мониторингу проектов. Регистрация участников здесь. 

Применительно к программам и проектам мониторинг чаще всего определяют как «систематический сбор информации о значениях заранее выбранных показателей для обеспечения руководителей программы (проекта) и других заинтересованных сторон сведениями о том, насколько успешно выполняются программа (проект) в целом и ее (его) отдельные компоненты, в какой мере достигаются поставленные цели, и как используются ресурсы». То есть использование показателей является сущностной характеристикой мониторинга. 

А теперь давайте обратимся к практике. Полагаю, всем знакомо понятие "мониторинговый визит". Чаще всего так называют посещение проектов на местах представителями организации-донора либо специально нанятыми для этого консультантами. В ходе таких визитов практически никогда не стоит задача сбора информации о значениях показателей. Основное внимание уделяется посещению мероприятий, беседам с руководителями и исполнителями проектов, общению с благополучателями. То есть "мониторинговый визит" проводится в традициях эмпирической оценки, а не индикаторной. Хотя мониторинг, вроде бы, по определению, является индикаторной оценкой. 

Значит ли это, что определение мониторинга не совсем точное, поскольку под него не подпадают "мониторинговые визиты"? Правильно ли считать, что для проведения мониторинга можно использовать и индикаторную, и эмпирическую оценку? А, может быть, мониторинг вообще можно без использования индикаторов провести? 

Чтобы последний вопрос не показался совсем уж кощунственным, сошлюсь на статью датчанина Питера Сигсгаарда (Peter Sigsgaard) "Мониторинг без индикаторов" 😃

Заходите 9-го на заседание клуба PROОЦЕНКУ - обсудим!

Системные диаграммы

Недавно опубликовано практическое пособие Боба Вильямса "Системные диаграммы" (System Diagrams). Эту публикацию можно скачать бесплатно. Пожертвования приветствуются. Я много раз упоминал Боба в этом блоге и не только. Он - очень интересный человек. В мире оценки известен как специалист, продвигающий идеи системного подхода и системного мышления. Боб говорит, что существуют тысячи (!) традиций построения диаграмм. Это даже сложно представить, честно говоря... В упомянутой выше книге - не пугайтесь - описано всего 6 подходов:

1. Насыщенное изображение (rich picturing). Полезно, когда вы пытаетесь справиться со сложностью ситуации и решить, на каких её аспектах вам следует сосредоточиться. Фрагмент такого изображения из книжки Боба Вильямса приведен выше. Компактный вариант описания этого подхода (по-английски) здесь.  
2. Диаграммы влияния. Полезны, когда вы хотите получить моментальный снимок того, что влияет на конкретную проблему в определенный момент времени. В рунете много публикаций про диаграммы влияния. Можно посмотреть, например, здесь.
3. Причинно-следственные диаграммы. Полезны, когда вы хотите изучить возможные последствия конкретных причинно-следственных связей в рамках решения определенной проблемы в течение заданного периода времени. Один из вариантов построения диаграммы в этой традиции здесь (по-русски). 
4. Кеневин (Cynefin). Диаграмма, которая помогает найти оптимальный способ поведения с учетом особенностей ситуации, с которой вы имеете дело. Подробнее по-русски здесь.
5. Модель жизнеспособной системы (VSM). Диаграмма, которая помогает оценить и гарантировать жизнеспособность целенаправленной деятельности с учетом диапазона конкурирующих требований, связанных с различными компонентами этой деятельности. Подробнее можно почитать по-русски здесь.
6. Культурно-историческая теория деятельности (Cultural Historical Activity Theory - CHAT). Диаграмма, которая выстраивается через ответы на серию вопросов о том, как люди с разной мотивацией могут работать вместе творчески и эффективно, особенно при реагировании на меняющиеся и сложные события. Основоположники этого подхода - российские ученые Выготский и Леонтьев. Здесь общая информация по-английски. А здесь - развернутое описание от Боба Вильямса. Тоже по-английски. Публикаций на русском языке много. Ссылаюсь на англоязычные публикации, которые больше ориентированы на практику. Например, в публикации Боба Вильямса вы найдете списки конкретных вопросов, которые помогут построить диаграмму в данной традиции.

JMDE

Аббревиатура расшифровывается как Journal of MultiDisciplinary Evaluation (Журнал мультидисциплинарной оценки) - один из немногих рецензируемых журналов, находящихся в открытом доступе. Это принципиальная позиция основателей данного издания во главе с Майклом Скривеном. Другая особенность журнала в том, что статьи публикуются достаточно быстро. Весь процесс занимает около 6 недель. Тогда как публикация статьи в традиционном академическом рецензируемом журнале может занять до года. 

Легко заметить, что в журнале регулярно публикуются - в числе прочих - работы ведущих мировых экспертов в сфере оценки. Состав редакционной коллегии тоже весьма авторитетный. 

Краткая информация о журнале с сайта (перевод с англ.):

"Журнал мультидисциплинарной оценки (JMDE) публикует и распространяет научные работы, которые способствуют развитию теории, методов и практики оценки.

JMDE - это журнал с полностью открытым доступом: весь контент находится в свободном доступе. Плата за подачу, публикацию или связанные с этим вопросы не взимается.

За исключением редакционных статей, рецензий на книги и «пищи для размышлений», все разделы JMDE подлежат двойному слепому рецензированию.

Авторы статей, опубликованных в JMDE, обладают всеми авторскими правами на свою работу без ограничений".

Журнал может быть интересен и как источник информации для тех, кто хочет отслеживать развитие оценки; и как издание, где можно опубликовать свою статью. Последнее касается не только публикации результатов исследований. К примеру, наша статья о развитии оценки на территории бывшего СССР (опубликована в 2007) относится, скорее, к практике оценки.

Работает ли brainstorming или размышления об оценке влияния практик с доказанной эффективностью

В конце 80-х годов прошлого века мне попалась статья об исследовании, в котором советские психологи проверяли эффективность метода "мозгового штурма" (brainstorming) как средства решения проблем. Исследователи сформировали две одинаковые по численности группы, которым была предложена одна и та же задача. В одной группе использовался "мозговой штурм", в другой - нет. Результаты работы групп оказались одинаковыми, из чего исследователи сделали вывод о том, что brainstorming не работает. Замечу, что к тому моменту метод "мозгового штурма" был признан во всем мире как эффективный и успешно использовался для решения самых разных задач. То есть, по существу, brainstorming можно было считать практикой с доказанной эффективностью. Результаты упомянутого выше исследования ставили этот тезис под сомнение. В чем же могло быть дело? 

Думаю, что следовало бы, в первую очередь, проверить корректность использования метода в ходе эксперимента. В частности, я бы обратил особое внимание на то, соблюдались ли базовые правила проведения "мозгового штурма", а также на компетентность ведущего. Мой собственный многолетний опыт, как и опыт многих моих коллег, свидетельствует о том, что если все делать правильно, метод работает. 

Вспомнил об этом вчера на заседании клуба PROОЦЕНКУ, когда мы обсуждали, следует ли оценивать влияние проектов, в которых используются практики с доказанной эффективностью. Думаю, что смысл использования практик с доказанной эффективностью как раз и состоит в том, что их влияние гарантировано. Но при условии, что сама практика используется корректно. То есть, необходимо строго контролировать правильность применения практики. Тогда её воздействие будет гарантировано, и можно его не оценивать. 

Однако не все так просто... Дело в том, что в сложных динамических системах, с которыми имеют дело все, кто реализует программы социальной направленности, результаты воздействия очень сильно зависят от контекста и от начальных условий. Это означает, что даже абсолютно корректное применение практики, эффективность которой была доказана в другом контексте либо при иных начальных условиях, может не привести к желаемым результатам. 

Следующее заседание клуба PROОЦЕНКУ пройдет онлайн 9 сентября 2021 года с 11 до 12.30 мск. Объявление о регистрации участников будет размещено в группе "Проектирование и оценка в социальной сфере" на Facebook.  

Что за история с оценкой влияния (воздействия)?

Ближайшее заседание клуба PROОЦЕНКУ (12 августа с 11.00 до 12.30 мск.) будет посвящено оценке влияния или оценке воздействия. Регистрация здесь. 

Тема заседания в этот раз такая, что вопросов может оказаться больше, чем ответов. Но  мы же живем в мирах, которые создаются нашими вопросами :) 

Первый вопрос связан с самим термином "оценка влияния" (или воздействия). По-английски он звучит как impact evaluation. Оказалось, что найти адекватный перевод не так уж легко. Но главное, конечно, смысл. А смысл состоит в том, чтобы выявить влияние программы на те изменения, которые произошли по ходу её реализации, по её окончании или даже спустя некоторое (порой значительное) время. Другими словами, оценка влияния предполагает выявление и обоснование причинно-следственной связи между программой и достигнутыми результатами. 

Почему это важно? 

Когда мы говорим о непосредственных результатах деятельности, их связь с самой деятельностью, как правило, вопросов не вызывает. Например, улучшение знаний участников семинара по теме семинара, очевидно, происходит именно в результате семинара. Другие факторы здесь наверняка также имеются, но их влияние на изменение знаний участников - по сравнению с влиянием собственно обучения - минимально. 

Когда же мы рассматриваем отсроченные эффекты обучения (результаты более высокого уровня), то все сильно усложняется. Представьте, что кто-то говорит: "Мы провели обучение сотрудников, и они стали работать совершенно по-другому!". Здесь наверняка могут возникнуть вопросы о том, в какой мере этот эффект связан именно с обучением. Причина проста: то, как человек работает, зависит от множества факторов. Обучение, как правило, не является среди них определяющим. И тут возникает новый вопрос: а стоит ли вообще вкладываться в обучение? Не является ли обучение своего рода "квази-проектом", который направлен на достижение того, что и так произойдет или на борьбу с тем, чего и так не произойдет? 

Как выделить влияние программы или проекта на фоне множества других факторов? Поговорим об этом в четверг на следующей неделе.

Оценка с учетом стоимости

Термин cost-inclusive evaluation относится ко всем подходам к оценке программ, которые так или иначе принимают во внимание денежное измерение. Брайан Т. Ейтс (Brian T Yates) из Американского университета в Вашингтоне в небольшой обзорной статье предложил компактное описание видов анализа, которые используются в оценке, учитывающей стоимость. Привожу мой вариант перевода этой таблички с небольшими сокращениями. В основном, сокращения коснулись примеров. 

Ссылка на источник: 

Yates, Brian. (2008). Cost-inclusive evaluation: A banquet of approaches for including costs, benefits, and cost-effectiveness and cost-benefit analyses in your next evaluation. Evaluation and program planning. 32. 52-4. 10.1016/j.evalprogplan.2008.08.007. 

Как мы стали заниматься оценкой

Сегодня у меня спросили, как получилось, что мы начали заниматься оценкой. Причин было несколько. 

1. К середине 90-х годов мы (Компания "Процесс Консалтинг") определяли свою специализацию как "организационное развитие" (organization development). Когда один из наших клиентов обратился к нам с запросом на проведение оценки проекта, оказалось, что это в чем-то сродни организационной диагностике, которую мы проводить умели. 
2. Когда КАФ (тогда еще CAF) решил провести один из первых в России семинаров по оценке для лидеров НКО (это тоже было в середине 90-х), пригласили двух зарубежных специалистов. Случилось так, что один из них заболел накануне отъезда, и меня попросили поассистировать Сaре дел Туфо  (Sarah del Tufo) из Великобритании. Семинар прошел хорошо. Наше профессиональное сотрудничество с Сарой продолжалось потом много лет. Дружим до сих пор. 
3. Сара помогла тогда с приобретением наших первых книжек по оценке. Среди них была "Практическая оценка" (Practical Evaluation) Майкла Пэттона. Книга произвела на меня сильное впечатление. Уникальная особенность Майкла в том, что он пишет и говорит так, что хочется сразу идти и делать :) 
4. Мы понимали, что спрос на оценку будет расти. Потребность в ней была совершенно очевидна. А нам надо было специализироваться.

 Вот такая история...

Сложная тема

Тема "Оценка стратегии", как мы и предполагали, оказалась весьма сложной. Потому после второго заседания клуба PROоценку осталось много пищи для размышлений. Поделюсь некоторыми, чтобы промежуточный итог подвести. Пойду по вопросам, которые мы обсуждали. 

Что такое оценка стратегии?

Вот наше рабочее определение, основанное на широко известном определении оценки программ, предложенном М.Пэттоном: "Оценка стратегии НКО – это систематический сбор и последующий анализ информации о стратегии НКО и её эволюции, а также о ходе и результатах её реализации, предназначенные для вынесения суждения о результативности стратегии, принятия решений о необходимости корректировки стратегии и/или для разработки новой  стратегии. Оценка стратегии НКО проводится для заранее определенных пользователей – лиц, принимающих стратегические решения и ответственных за их реализацию".

Почему об оценке стратегий пишут и говорят намного меньше, чем об оценке программ и проектов?

- Новая тема. Об оценке проектов и программ давно пишут, а об оценке стратегий недавно начали. К примеру, публикация Пэттона и Патризи "Оценка стратегии" появилась в серии "Новые направления в оценке" в 2010 году.

- Сложная тема. 

- Стратегии реализуются через проекты и программы. Стратегий значительно меньше, чем проектов и программ.

- Оценка программ и проектов во многих случаях является обязательной. Оценка стратегий - нет.

- Не у всех НКО есть стратегии. Интуитивное ощущение вектора развития есть у всех или почти у всех. А вот в виде документа стратегии есть далеко не у всех.  

В чем сходства и отличия стратегии организации как объекта оценки от программы (проекта)?

- Стратегия запланированная всегда отличается от стратегии реализованной. И всегда появляется элемент стратегии, сформированный по ходу ее выполнения (см. публикации Г.Минцберга). 

- Формат описания проекта является более-менее стандартным. Описания стратегий могут отличаться весьма существенным образом. Другими словами, когда мы идем оценивать проект, мы более-менее представляем, что увидим. Когда речь идет об оценке стратегии, заранее представить, как она будет выглядеть, проблематично.

Занимаются ли НКО оценкой своих стратегий? Если нет, то почему? Если да, то каким образом? 

- НКО занимаются, в первую очередь тем, что от них требуют. Оценку проектов требуют. Оценку стратегий - нет. Потому этим занимаются намного реже.  

- Если стратегия существует у руководителя на уровне интуиции, то и оценка производится интуитивно. Соответственно, этим словом ее не называют. 

- Чаще всего оценка стратегии оказывается встроенной в процесс стратегического управления. Например, при планировании новой стратегии, анализируют выполнение предыдущей стратегии. Поэтому зачастую оценку стратегии как особое действие не выделяют.

- См. также здесь.

На какие вопросы может дать ответ оценка стратегии? Кто, как и когда может провести оценку стратегии НКО? 

- Об этом я писал ранее здесь.

Кто, когда и как может провести оценку стратегии НКО?

- Внешний специалист или те, кто работает в организации и руководит ею.

- Оценка может проводиться на всех стадиях цикла стратегического управления: оценка ситуации, оценка стратегического плана, оценка реализации стратегии, оценка результатов выполнения стратегии.

- При проведении оценки стратегии может использоваться весь инструментарий, наработанный в оценке программ. Иногда надо будет кое-что адаптировать. 

Нужны ли особые компетенции для проведения оценки стратегии НКО?

- Да, нужны. В самом общем виде их можно описать как "знание организаций" в отличие от "знания программ и проектов". Такими компетенциями обладают руководители организаций и специалисты по организационному развитию и управлению. Это ставит их в более выгодное положение по сравнению со специалистами по оценке программ при необходимости оценить стратегию. 

Модель "5П" и оценка стратегии

Эта схема представляет т.н. модель "5P" (англ.) или "5П" (рус.) Генри Минцберга. Она скомпилирована из рисунков, приведенных в книге Б.Альстранд, Ж.Лампель, Г.Минцберг. «Стратегическое сафари. Экскурсия по дебрям стратегического менеджмента» «Альпина Диджитал», 2009. 

Минцберг предлагает рассматривать стратегию 

• как ПЛАН (руководство, ориентир или направление развития, дорогу из настоящего в будущее);
• как ПОЗИЦИЮ (где будут ожидаемые результаты, где именно мы планируем оказать влияние, что-то изменить); 
• как ПЕРСПЕКТИВУ (или как "теорию бизнеса" - как это будет работать, каким образом наши действия приведут к ожидаемым результатам);
• как ПАТТЕРН (принципы, шаблоны поведения, которые сформировались на основе нашего прошлого опыта);
• как ПРИЕМ (какой прием мы применяем для того, чтобы опередить конкурентов)

Соответственно, при оценке стратегии внимание может уделяться не только каждому из этих пяти аспектов, но и их взаимосвязям. Например, Пэттон и Патризи указывают на значимость анализа согласованности Позиции и Перспективы (Patton, M. Q., & Patrizi, P. A. (2010). Strategy as the focus for evaluation. In P. A. Patrizi & M. Q. Patton (Eds.), Evaluating strategy. New Directions for Evaluation, 128).

До второго заседания клуба PROоценку остается 4 дня. Те, кого интересует тема "Оценка стратегии НКО", могут зарегистрироваться здесь.