Конференция АСОПП-2021

Очередная конференция Ассоциации специалистов по оценке программ и политик (АСОПП) пройдет 19-21 октября в онлайн-формате. На сайте конференции можно ознакомиться с темой конференции («Оценка в меняющемся мире: партнерства и инфраструктура»), программой и выступающими. Там же можно бесплатно зарегистрироваться для участия в конференции. Считаю, программа получилась очень насыщенной и интересной. 

Отличная новость: Майкл Пэттон (Michael Quinn Patton) - признанный гуру в области оценки -  выступит с сообщением "Опыт анализа и синтеза материалов глобальных консультаций в преддверии Саммита ООН по продовольственным системам". Я писал недавно об этой уникальной работе. Выступление Пэттона запланировано на 18.00 мск 19 октября. Будет синхронный перевод на русский.

Мое выступление запланировано на 12.30 19 октября. Планирую обсудить тему профессионализации оценки. Вот некоторые вопросы, которые собираюсь затронуть: 

• Что такое "профессионализация оценки"? 
• Что означает "профессионализм" в оценке? 
• Как профессия оценщика развивается в различных контекстах (регионах, странах, культурах и т. д.)? Можно ли по-разному определять «профессионализацию» в разных контекстах?
• Можно ли прийти к международному консенсусу в отношении основных компетенций оценщика? Готовы ли различные участники, вовлеченные в развитие основных компетенций, работать вместе для достижения такого консенсуса? 
• Какова роль оценочной науки для статуса оценки как профессии, отрасли прикладной социальной науки, дисциплины и трансдисциплины?

Как это будет по-русски?

Очередное онлайновое заседание клуба PROоценку в следующий четверг будет посвящено показателям. Один из вопросов, которые мы планируем обсудить, связан с тем, как их (показатели) следует называть. Сегодня для этого широко используются еще два термина: индикаторы и метрики. Почему используются три разных термина? Можно ли считать их синонимами? Какой из терминов использовать предпочтительнее и почему? Зависит ли это от контекста? 

Очень надеюсь, что участники заседания клуба поделятся своим опытом и размышлениями на эту тему.

Для "затравки": 

1) Английское слово indicator переводится на русский язык как показатель.

2) Слово показатель, является синонимом слова метрика (см. словарь синонимов).

3) Министерство образования и науки РФ руководствуется следующими определениями: 

Показатель — количественное значение, характеризующее деятельность вуза. Как правило, выражается элементарными единицами измерения (чел, млн. рублей, штук, единиц и пр.).

Индикатор — вычисляемый элемент, формируемый на основе показателей университета. Как правило, выражается относительными единицами измерения (доли, проценты) или производными (статьи/человек, тыс. рублей/человек и пр.).

Главное - полёт

В 1968 году в СССР был снят мультфильм "Человек, который умел летать" (по мотивам одноименного рассказа Карела Чапека). Это история обычного человека, который очень захотел летать - и научился. Сам. Его заметили и пригласили на заседание специально собранного по этому случаю экспертного совета. Он разбежался и на глазах у экспертов взлетел. Те посовещались и вынесли заключение, что полет в целом нормальный, а вот техника разбега и физические кондиции у объекта экспертизы - не очень. Над этим предложили   поработать. И вот через некоторое время вновь собрался экспертный совет. Перед ним предстал атлет с идеальной техникой бега. Вот только взлететь он не смог....

Вспомнил я эту историю в связи с обсуждением вопроса о том, насколько могут быть полезны для практиков различные инструменты и технологии управления некоммерческой организацией. Например, может ли НКО успешно работать, не имея стратегии? Или можно ли НКО обойтись без оценки собственной деятельности? 

Считаю, что главное в данном случае - это полёт. Надо, чтобы НКО делала то, ради чего она создавалась. Если какие-то инструменты и технологии не кажутся органичными, не стоит тратить время на их освоение и внедрение. 

А вот когда в развитии организации возникнут сложности, и без их преодоления дальнейший полет будет затруднен, можно обратиться к уже имеющимся знаниям и опыту. Как-то раз нам написал руководитель некоммерческой организации с просьбой проанализировать построение и функционирование их системы мониторинга и оценки. Естественно, мы поинтересовались, с чем связан такой запрос. Руководитель пояснил, что география их деятельности существенно расширилась, и они стали терять контроль за происходящим. Старая система не позволяла оперативно получать информацию по ключевым для организации вопросам, что стало критичным. 

Интересный документ

На днях неожиданно пришло письмо от Майкла Пэттона (Michael Patton), в котором он сообщил, что "наконец-то подготовил отчет на русском языке". Понятно, что русского языка он не знает, потому я с интересом перешел по ссылке, где действительно обнаружил русскую версию отчета под названием "Синтез независимых диалогов Саммита по продовольственным системам". Отчет подготовлен BLUE MARBLE EVALUATION (Майкл является основателем этой компании).

Идея состояла в том, чтобы провести диалоги в разных странах для поиска ответов на следующие вопросы: 

• Какие преобразования продовольственных систем являются необходимыми и ожидаемыми (для достижения Целей в области устойчивого развития)?
• Кто должен участвовать в преобразовании продовольственных систем?
• Как проводить преобразование продовольственных систем?
• Какие факторы успеха являются ключевыми для достижения результатов?

Масштабы мероприятия впечатляют. Было проведено 447 диалогов, в которых приняло участие более 41000 человек. В упомянутом выше документе предлагается краткое описание результатов всего этого. Было бы, конечно, очень интересно понять, как удалось обработать такой массив качественных данных. 

В отчете даже предложена "теория преобразования" (см. ниже). Вероятно, в оригинале было "theory of transformation".

Патриция Роджерс уходит из BetterEvaluation

Перед тем, как написать сегодняшний пост, посмотрел, сколько раз я упоминал в блоге портал BetterEvaluation. Оказалось, 5 раз (2013, 2016, 2019 и 2020)! Сегодня - шестой. Но этот интернет-ресурс того стоит. Повод упомянуть о нем сегодня - уход основателя проекта и его бессменного руководителя Патриции Роджерс (Patricia Rogers), с поста исполнительного директора BetterEvaluation. По случаю своего ухода Патриция написала небольшую статью. Хотел бы здесь привести пару цитат из неё. Отмечу, что профессор Роджерс входит в когорту мировых лидеров в сфере оценки. Её вклад в развитие оценки как дисциплины и профессии сложно переоценить. Теперь у нее будет больше времени, чтобы вплотную заняться вопросами методологии и теории оценки.

Итак, две цитаты...

• О причинах создания сайта BetterEvaluation: "... Было очевидно, что многие из уроков, извлеченных из опыта проведения оценки, например, риски вынесения оценочных суждений, основанных исключительно на нескольких показателях, забывались либо оказывались неизвестны тем, кто приходил в оценку. Это приводило к повторению старых ошибок и неэффективной практике".
• О методологии оценки: "...Не существует универсального подхода к оценке. Напротив, методы, процессы и подходы должны соответствовать ситуации (особенностям объекта оценки, цели оценки), а также учитывать ограничения по времени, финансам и доступности данных".

Мониторинг и показатели

Четвертое заседание клуба PROОЦЕНКУ пройдет 9 сентября с 11.00 до 12.30 (мск) и будет посвящено мониторингу проектов. Регистрация участников здесь. 

Применительно к программам и проектам мониторинг чаще всего определяют как «систематический сбор информации о значениях заранее выбранных показателей для обеспечения руководителей программы (проекта) и других заинтересованных сторон сведениями о том, насколько успешно выполняются программа (проект) в целом и ее (его) отдельные компоненты, в какой мере достигаются поставленные цели, и как используются ресурсы». То есть использование показателей является сущностной характеристикой мониторинга. 

А теперь давайте обратимся к практике. Полагаю, всем знакомо понятие "мониторинговый визит". Чаще всего так называют посещение проектов на местах представителями организации-донора либо специально нанятыми для этого консультантами. В ходе таких визитов практически никогда не стоит задача сбора информации о значениях показателей. Основное внимание уделяется посещению мероприятий, беседам с руководителями и исполнителями проектов, общению с благополучателями. То есть "мониторинговый визит" проводится в традициях эмпирической оценки, а не индикаторной. Хотя мониторинг, вроде бы, по определению, является индикаторной оценкой. 

Значит ли это, что определение мониторинга не совсем точное, поскольку под него не подпадают "мониторинговые визиты"? Правильно ли считать, что для проведения мониторинга можно использовать и индикаторную, и эмпирическую оценку? А, может быть, мониторинг вообще можно без использования индикаторов провести? 

Чтобы последний вопрос не показался совсем уж кощунственным, сошлюсь на статью датчанина Питера Сигсгаарда (Peter Sigsgaard) "Мониторинг без индикаторов" 😃

Заходите 9-го на заседание клуба PROОЦЕНКУ - обсудим!

Системные диаграммы

Недавно опубликовано практическое пособие Боба Вильямса "Системные диаграммы" (System Diagrams). Эту публикацию можно скачать бесплатно. Пожертвования приветствуются. Я много раз упоминал Боба в этом блоге и не только. Он - очень интересный человек. В мире оценки известен как специалист, продвигающий идеи системного подхода и системного мышления. Боб говорит, что существуют тысячи (!) традиций построения диаграмм. Это даже сложно представить, честно говоря... В упомянутой выше книге - не пугайтесь - описано всего 6 подходов:

1. Насыщенное изображение (rich picturing). Полезно, когда вы пытаетесь справиться со сложностью ситуации и решить, на каких её аспектах вам следует сосредоточиться. Фрагмент такого изображения из книжки Боба Вильямса приведен выше. Компактный вариант описания этого подхода (по-английски) здесь.  
2. Диаграммы влияния. Полезны, когда вы хотите получить моментальный снимок того, что влияет на конкретную проблему в определенный момент времени. В рунете много публикаций про диаграммы влияния. Можно посмотреть, например, здесь.
3. Причинно-следственные диаграммы. Полезны, когда вы хотите изучить возможные последствия конкретных причинно-следственных связей в рамках решения определенной проблемы в течение заданного периода времени. Один из вариантов построения диаграммы в этой традиции здесь (по-русски). 
4. Кеневин (Cynefin). Диаграмма, которая помогает найти оптимальный способ поведения с учетом особенностей ситуации, с которой вы имеете дело. Подробнее по-русски здесь.
5. Модель жизнеспособной системы (VSM). Диаграмма, которая помогает оценить и гарантировать жизнеспособность целенаправленной деятельности с учетом диапазона конкурирующих требований, связанных с различными компонентами этой деятельности. Подробнее можно почитать по-русски здесь.
6. Культурно-историческая теория деятельности (Cultural Historical Activity Theory - CHAT). Диаграмма, которая выстраивается через ответы на серию вопросов о том, как люди с разной мотивацией могут работать вместе творчески и эффективно, особенно при реагировании на меняющиеся и сложные события. Основоположники этого подхода - российские ученые Выготский и Леонтьев. Здесь общая информация по-английски. А здесь - развернутое описание от Боба Вильямса. Тоже по-английски. Публикаций на русском языке много. Ссылаюсь на англоязычные публикации, которые больше ориентированы на практику. Например, в публикации Боба Вильямса вы найдете списки конкретных вопросов, которые помогут построить диаграмму в данной традиции.

JMDE

Аббревиатура расшифровывается как Journal of MultiDisciplinary Evaluation (Журнал мультидисциплинарной оценки) - один из немногих рецензируемых журналов, находящихся в открытом доступе. Это принципиальная позиция основателей данного издания во главе с Майклом Скривеном. Другая особенность журнала в том, что статьи публикуются достаточно быстро. Весь процесс занимает около 6 недель. Тогда как публикация статьи в традиционном академическом рецензируемом журнале может занять до года. 

Легко заметить, что в журнале регулярно публикуются - в числе прочих - работы ведущих мировых экспертов в сфере оценки. Состав редакционной коллегии тоже весьма авторитетный. 

Краткая информация о журнале с сайта (перевод с англ.):

"Журнал мультидисциплинарной оценки (JMDE) публикует и распространяет научные работы, которые способствуют развитию теории, методов и практики оценки.

JMDE - это журнал с полностью открытым доступом: весь контент находится в свободном доступе. Плата за подачу, публикацию или связанные с этим вопросы не взимается.

За исключением редакционных статей, рецензий на книги и «пищи для размышлений», все разделы JMDE подлежат двойному слепому рецензированию.

Авторы статей, опубликованных в JMDE, обладают всеми авторскими правами на свою работу без ограничений".

Журнал может быть интересен и как источник информации для тех, кто хочет отслеживать развитие оценки; и как издание, где можно опубликовать свою статью. Последнее касается не только публикации результатов исследований. К примеру, наша статья о развитии оценки на территории бывшего СССР (опубликована в 2007) относится, скорее, к практике оценки.

Работает ли brainstorming или размышления об оценке влияния практик с доказанной эффективностью

В конце 80-х годов прошлого века мне попалась статья об исследовании, в котором советские психологи проверяли эффективность метода "мозгового штурма" (brainstorming) как средства решения проблем. Исследователи сформировали две одинаковые по численности группы, которым была предложена одна и та же задача. В одной группе использовался "мозговой штурм", в другой - нет. Результаты работы групп оказались одинаковыми, из чего исследователи сделали вывод о том, что brainstorming не работает. Замечу, что к тому моменту метод "мозгового штурма" был признан во всем мире как эффективный и успешно использовался для решения самых разных задач. То есть, по существу, brainstorming можно было считать практикой с доказанной эффективностью. Результаты упомянутого выше исследования ставили этот тезис под сомнение. В чем же могло быть дело? 

Думаю, что следовало бы, в первую очередь, проверить корректность использования метода в ходе эксперимента. В частности, я бы обратил особое внимание на то, соблюдались ли базовые правила проведения "мозгового штурма", а также на компетентность ведущего. Мой собственный многолетний опыт, как и опыт многих моих коллег, свидетельствует о том, что если все делать правильно, метод работает. 

Вспомнил об этом вчера на заседании клуба PROОЦЕНКУ, когда мы обсуждали, следует ли оценивать влияние проектов, в которых используются практики с доказанной эффективностью. Думаю, что смысл использования практик с доказанной эффективностью как раз и состоит в том, что их влияние гарантировано. Но при условии, что сама практика используется корректно. То есть, необходимо строго контролировать правильность применения практики. Тогда её воздействие будет гарантировано, и можно его не оценивать. 

Однако не все так просто... Дело в том, что в сложных динамических системах, с которыми имеют дело все, кто реализует программы социальной направленности, результаты воздействия очень сильно зависят от контекста и от начальных условий. Это означает, что даже абсолютно корректное применение практики, эффективность которой была доказана в другом контексте либо при иных начальных условиях, может не привести к желаемым результатам. 

Следующее заседание клуба PROОЦЕНКУ пройдет онлайн 9 сентября 2021 года с 11 до 12.30 мск. Объявление о регистрации участников будет размещено в группе "Проектирование и оценка в социальной сфере" на Facebook.  

Что за история с оценкой влияния (воздействия)?

Ближайшее заседание клуба PROОЦЕНКУ (12 августа с 11.00 до 12.30 мск.) будет посвящено оценке влияния или оценке воздействия. Регистрация здесь. 

Тема заседания в этот раз такая, что вопросов может оказаться больше, чем ответов. Но  мы же живем в мирах, которые создаются нашими вопросами :) 

Первый вопрос связан с самим термином "оценка влияния" (или воздействия). По-английски он звучит как impact evaluation. Оказалось, что найти адекватный перевод не так уж легко. Но главное, конечно, смысл. А смысл состоит в том, чтобы выявить влияние программы на те изменения, которые произошли по ходу её реализации, по её окончании или даже спустя некоторое (порой значительное) время. Другими словами, оценка влияния предполагает выявление и обоснование причинно-следственной связи между программой и достигнутыми результатами. 

Почему это важно? 

Когда мы говорим о непосредственных результатах деятельности, их связь с самой деятельностью, как правило, вопросов не вызывает. Например, улучшение знаний участников семинара по теме семинара, очевидно, происходит именно в результате семинара. Другие факторы здесь наверняка также имеются, но их влияние на изменение знаний участников - по сравнению с влиянием собственно обучения - минимально. 

Когда же мы рассматриваем отсроченные эффекты обучения (результаты более высокого уровня), то все сильно усложняется. Представьте, что кто-то говорит: "Мы провели обучение сотрудников, и они стали работать совершенно по-другому!". Здесь наверняка могут возникнуть вопросы о том, в какой мере этот эффект связан именно с обучением. Причина проста: то, как человек работает, зависит от множества факторов. Обучение, как правило, не является среди них определяющим. И тут возникает новый вопрос: а стоит ли вообще вкладываться в обучение? Не является ли обучение своего рода "квази-проектом", который направлен на достижение того, что и так произойдет или на борьбу с тем, чего и так не произойдет? 

Как выделить влияние программы или проекта на фоне множества других факторов? Поговорим об этом в четверг на следующей неделе.