Про «лучшие практики» от Майкла Пэттона

В очередной раз столкнулся по работе с обсуждением «лучших практик». Многие ведущие специалисты считают этот термин некорректным, по крайней мере, применительно к социально-ориентированным программам и проектам. Они указывают на то, что для оценки практики следует учитывать контекст, в котором она реализуется, и ракурсы, с которых она рассматривается (привет участникам семинара по системному мышлению!). 

Приведу немного сокращенные рекомендации Майкла Пэттона относительно (не)использования термина «лучшие практики» (опубликовано на портале BetterEvaluation в 2015 году):

1. «Избегайте как задавать, так и принимать вопрос «Что есть лучшее?». Как это часто бывает, проблема начинается с неправильного вопроса. Задайте более тонкий вопрос, чтобы направить ваше исследование, вопрос, который самой своей формулировкой уводит от понятия «лучшего». Спросите, что работает, для кого, какими способами, с какими результатами, при каких условиях и в каких контекстах, в течение какого периода времени.
2. Откажитесь от ярлыка «лучшая практика». Не используйте его даже в повседневной речи, не говоря уже о профессиональной.
3. Когда вы слышите, как другие используют этот термин, поинтересуйтесь подтверждающими доказательствами. Обычно оказывается, что они хлипкие – это мнение, маскирующееся под исследование. Там, где выводы в значительной степени достоверны, они все равно не будут соответствовать стандарту определенности и универсальности, требуемому обозначением «лучший». Поэтому я заявляю, что единственная лучшая практика, в которой я полностью уверен, – это избегать ярлыка «лучшая практика».
4. Когда существуют достоверные доказательства эффективности, используйте такие термины как более совершенные практики, эффективные практики или перспективные практики. 
5. Вместо поддержки поиска «самого лучшего» поощряйте диалог и обсуждение множественных интерпретаций и ракурсов».

Почувствуйте разницу

Международная сеть «Оценка программ» (IPEN) была создана в 2000 году и стала первым профильным объединением в сфере оценки на территории бывшего СССР. В партнёрстве с местными НКО Сеть проводила ежегодные конференции в разных странах региона. Первая конференция прошла в Новосибирске. Хорошо помню, что на одной из сессий в течение 1,5 часов участники обсуждали, что такое оценка и как они это понимают…

Прошло 25 лет.

На 50-м (!) ежемесячном заседании клуба PROОЦЕНКУ на прошлой неделе обсуждали, как на практике работает оценка в НКО. Приведу некоторые результаты онлайн-анкетирования участников заседания (кстати, в 2000 году мы вряд ли могли себе представить онлайн-анкетирование).

85% опрошенных сообщили, что специалисты их организации проходили обучение в области мониторинга и оценки. 45% из числа представленных на заседании НКО используют для проведения мониторинга современные информационные технологии. У 30% НКО есть внутренние документы, регламентирующие проведение мониторинга и оценки. Мониторинг проектов чаще всего входит в зону ответственности менеджеров этих проектов. На диаграмме показано распределение ответов на вопрос о том, какие виды оценки ПРОВОДИЛИСЬ организациями участников заседания клуба. 

Как говорится, почувствуйте разницу!

Осенний Институт оценки в США: ИИ рулит

Сегодня начались занятия в Институте оценки (США) в онлайновом формате. За неделю предлагается 8 курсов, 3 из которых посвящены использованию ИИ в оценке. Предлагаю ниже названия и описания этих трех курсов. 

Оценка программ с помощью искусственного интеллекта: от административных данных к автоматизированным инсайтам (3 дня)

Практический курс для специалистов, желающих использовать ИИ и машинное обучение в оценке программ, особенно при работе с административными данными. Основа курса — автоматизация процессов оценки, применение визуальной платформы KNIME (не требует навыков программирования) для каузального моделирования, анализа структурированных и неструктурированных данных, а также извлечения качественных инсайтов с помощью больших языковых моделей. Курс рассчитан на опытных оценщиков и даёт навыки преобразования данных, проведения каузального анализа и автоматизации оценочных процедур.

Анализ и представление данных с помощью искусственного интеллекта: практическое введение (2 дня)

Курс посвящён применению инструментов ИИ на всех этапах работы с данными — от обзора литературы и проектирования исследований до анализа, визуализации и подготовке отчётов. Участники изучат методы очистки и исследования данных с помощью ИИ, автоматизации статистических анализов, улучшения визуализаций и создания отчётов. Особое внимание уделяется критической оценке результатов, полученных с помощью ИИ, и типичным ошибкам, которых следует избегать. Курс нацелен на специалистов, знакомых с основами статистики, которые хотят интегрировать ИИ в свою профессиональную деятельность.

Лидерство нового поколения для специалистов по оценке: использование инструментов искусственного интеллекта для развития лидерских качеств (2 дня)

Курс ориентирован на развитие лидерских навыков у специалистов в области оценки с помощью современных ИИ-инструментов. В процессе обучения рассматриваются индивидуализированные траектории развития, поддержка принятия управленческих решений, освоение новых компетенций и формирование стиля современного лидера-оценщика с учётом вызовов быстро меняющейся профессиональной среды. Уделяется внимание персонализированному обучению, аналитике и внедрению инноваций в управлении командой и проектами с опорой на ИИ.

Само-оценивание клуба PROОЦЕНКУ: уроки

Только что завершилась сессия на конференции АСОПП, где мы обсуждали уроки само-оценивания клуба PROОЦЕНКУ, о которой я писал ранее. Постарались подняться на уровень выше собственно результатов оценки. Разговор получился очень интересный и в хорошей компании! :)

Вот уроки, которые мы с Владимиром Балакиревы сформулировали: 

1. Неформальное сообщество оказалось хорошим ресурсом для проведения само-оценивания. 
2. Само-оценивание является возможностью для освоения и совершенствования навыков оценки. Особенно в том случае, когда в команде есть люди, которые могут поделиться опытом. 
3. Само-оценивание позволяет выявить «актив» и дает возможность людям проявить себя.
4. Само-оценивание позволяет узнать то, о чем по-другому узнать сложно либо вообще невозможно.
5. Само-оценивание помогает уточнить замысел инициативы.
6. Само-оценивание помогает определить, какие изменения точно назрели.
7. Четырехлетний опыт клуба PROОЦЕНКУ подтвердил базовые теоретические положения, касающиеся формирования и развития сообщества практиков. Эта теория работает.
8. Возможности для оценки влияния инициативы в формате само-оценивания могут быть существенно ограничены.

«Импакт» или «воздействие»?

Тема конференции АСОПП в этом году «Импакт и оценка». Организаторы конференции поясняют, что «английский термин «импакт» (impact - АК) на русский переводят и как влияние, и как воздействие, а в последнее время все чаще используют и без перевода». Оправдано ли такое заимствование? 

РБК-тренды справедливо пишут о том, что споры вокруг заимствований в русском языке не утихают со времен Пушкина.  Действительно, как удобнее сказать «кешбэк» или «деньги обратно»? Языковое «импортозамещение» является предметом серьезных исследований. К примеру, ИНИОН в 2018 году выпустил целый сборник научных трудов, где современная языковая ситуация рассматривается как следствие процесса глобализации. 

До последнего времени в русском языке на практике чаще использовалось выражение «оценка социального воздействия», а не «оценка импакта». Это было связано с устоявшейся терминологией, привычными для специалистов концепциями и традиционным понятием результата социально-ориентированных проектов, программ и инициатив. Замечу, что термин «импакт» не особенно приживался несмотря на то, что в хрестоматийном варианте логики социального проекта на английском языке (outputs-outcomes-impact) этот термин присутствовал. 

Мне кажется, что переломным моментом стало продвижение в нашей стране концепции импакт-инвестиций. Так называют "вложения капитала в предприятия, проекты и фонды, которые имеют целью не только получение финансовой прибыли, но и создание измеримого позитивного социального или экологического эффекта для общества". Варианты «инвестиции социального воздействия» или «социально-преобразующие инвестиции», похоже оказались тяжеловатыми (вроде «денег обратно»). Кроме того, к продвижению термина приложили руку ведущие международные консалтинговые компании, исопльзующие английскую терминологию. «Импакт» стали использовать в бизнесе в значении «измеримый, ощутимый, экономически доказанный социальный либо экологический эффект». 

В итоге, сегодня оба термина существуют параллельно: «социальное воздействие» сохраняется как устоявшийся и понятный термин; «импакт» широко используется бизнесом в контексте ESG-инвестирования и/или импакт-инвестирования.  

По большому счету, надо просто понимать, что стоит за тем или иным термином. Тогда общий язык найти несложно. Но есть один важный нюанс. В оценке социальных проектов и программ существует общепринятое и общепризнанное определение «impact evaluation» (оценка социального воздействия), которое подразумевает выявление и обоснование причинно-следственной связи между воздействием и его эффектами. 

«Мой начальник велел использовать ИИ»

Стефани Эвергрин (Stephanie Evergreen) известна в США и в мире как ведущий специалист по визуализации данных. Она ведет блог, опубликовала несколько книг, разработала один из самых популярных чек-листов по визуализации данных.

Позавчера Стефани рассказала в блоге о том, что один из ее подписчиков прислал письмо следующего содержания: «Сейчас я работаю в [название крупной компании, которую все знают], и мой руководитель просит меня использовать ИИ для быстрого создания более качественных визуальных материалов и формирования аналитических заключений...». Стефани считает, что вокруг ИИ сегодня имеет место искусственно созданный ажиотаж, который очень похож на события 15-летней давности, когда была мода на дашборды (визуальные панели, отображающие ключевые данные из разных источников в виде графиков и диаграмм). Тогда считалось, что это шедевр визуализации и решение многих проблем. Любопытно, что Стефани в то время получала письма про дашборды точно такого же содержания как сейчас про ИИ ("начальник велит использовать"). 

Стефани провела серьезное исследование и опробовала более дюжины нейросетей, которые специализируются на визуализации данных. Обещает рассказать об этом на конференции и наверняка напишет статью. 

То, что у нас пока нет ажиотажа вокруг использования ИИ для визуализации данных, можно сказать почти наверняка. А вот вокруг использования ИИ для других целей хайп серьезный. Гугл даёт 2,170,000 ссылок на «хайп вокруг ИИ». 

Форбс, к примеру, публикует статью под интригующим названием «Горе от интеллекта: как хайп вокруг ИИ вредит IT-продуктам». 

Систему Антиплагиат уже научили распознавать тексты, сгенерированные нейросетями. 

Эксперты, занимающиеся оценкой заявок на гранты, говорят о все более активном использовании ИИ заявителями и сами даже не всегда замечают это. 

Но вот, чтобы руководитель НКО велел своему сотруднику использовать ИИ, такое бывает довольно редко. Впрочем, ситуация может измениться в ближайшее время. Знаю, что многие НКО либо размышляют, либо уже присутпили к интегрированию ИИ в свою деятельность. Посмотрим…

Эффект бабочки

Эффект бабочки — это явление в сложных динамических системах, при котором малое изменение начальных условий может привести к качественно иным и непредсказуемым последствиям в долгосрочной перспективе. Термин был введен метеорологом Эдвардом Лоренцем в 1960-х. Он показал, что даже взмах крыльев бабочки (микровозмущение воздуха) теоретически может изменить траекторию урагана через месяц.

В середине 90-х один специалист по оценке социальных программ в Великобритании серьезно приболел. Так, что ему пришлось отменить поездку в Москву. Они должны были ехать вдвоем, чтобы провести семинар по оценке для представителей НКО. Вторым преподавателем была женщина с большим опытом проведения оценки в некоммерческом секторе, но не столь опытная в проведении тренингов. Поскольку времени для поиска замены заболевшего тренера в Великобритании уже не было, она попросила подобрать ей напарника для проведения тренинга из России со знанием английского и опытом консультирования/обучения НКО. В момент, когда этот запрос поступил в московский офис организаторов тренинга, я был там по каким-то делам. Они рассказали мне о сложившейся ситуации и спросили, не соглашусь ли поучаствовать в качестве ко-тренера. Замечу: в тот момент я про оценку особо ничего не знал и согласился быть «группой поддержки». 

Так я познакомился с Сарой дел Туфо (это она проводила тренинг) и – заодно – с оценкой 😊 Тема меня заинтересовала. Сара по возвращении домой выслала мне несколько книжек. Одна из них называлась «Практическая оценка». Написал ее Майкл Пэттон. Рассказ об оценке в его версии меня окончательно убедил в том, что надо двигаться в этом направлении. С Сарой мы подружились и еще несколько раз поработали вместе – проводили обучение специалистов из НКО и оценку международных проектов. Когда я поступил на программу PhD, Майкл стал моим научным руководителем.

И я даже не знаю, как звали того англичанина, который приболел и не смог приехать в Москву...

Результаты оценки клуба PROОЦЕНКУ

В команде, проводившей это само-оценивание, было 15 специалистов, которые работали на волонтерских началах. Мы разделились на 4 подгруппы. Зоны ответственности подгрупп: оценка сайта клуба, кабинетное исследование, анкетирование, интервью и фокус-группа. 

Кабинетное исследование было связано с анализом публикаций по формированию и поддержке сообществ практиков (community of practice). Мы с самого начала рассматривали клуб именно как такое сообщество, и поэтому вопрос о том, в какой мере удалось это сообщество сформировать, был включен в ТЗ. Интервью проводились с активными участниками клуба. Фокус-группа – с организаторами клуба. 

Результаты само-оценивания доступны на сайте клуба. Они получились очень интересными, и мы, конечно же, примем их во внимание при планировании. Это, кстати, тот редкий случай, когда результаты само-оценивания логично разместить в открытом доступе. 

Любопытный факт. На заседания, посвященные планированию оценки и обсуждению ее результатов зарегистрировались примерно 25 человек. Участвовали в заседаниях почти все, кто зарегистрировался. И то, и другое для клуба необычно. Как правило, регистрируются 40-60 человек и более, а участвуют в заседании 50-60% от числа зарегистрированных. Число регистраций, конечно, зависит от темы заседания. Тема само-оценивания клуба оказалась не самой популярной. Как бы вы это объяснили? И что можно предположить относительно участников заседаний, посвященных этой теме? 

К вопросу об онлайновом обучении

Несколько лет назад я решил, что публикации в блоге должны быть регулярными и стараюсь писать раз в неделю. Дисциплинирует :) Публикации так или иначе связаны с тем, какие профессиональные задачи приходится решать. Заметил, что паузы в публикациях чаще всего также связаны с текущими проектами, точнее, с их числом и сложностью. Именно так произошло и на этот раз. 3-х недельная пауза в публикациях связана с тем, что – помимо прочего - мы завершали онлайновый курс по системному мышлению и проводили оценку деятельности клуба PROОЦЕНКУ. 

Сегодня хочу несколько слов сказать о курсе «Системное мышление», который мы с новосибирским ИнА Центром проводили впервые. Само собой разумеется, что содержание курса было необычным: мы размышляли о том, как мы думаем, и как это можно делать эффективнее в сложных быстро меняющихся обстоятельствах. Общее мнение: получилось интересно; в целом эксперимент удался.

Думаю, одним из важных факторов стало построение курса. На онлайновом занятии предлагался новый материал в формате мини-лекции. За этим следовало практическое задание, которое участники выполняли в малых группах с последующим обсуждением в общей группе. Это задание было связано с каким-то из ключевых положений нового материала. В конце онлайновой встречи участники получали домашнее задание, в рамках которого им предлагалось: 

1) поразмышлять индивидуально и соотнести новый материал с контекстом, в котором они живут и работают; 

2) а затем провести онлайновую встречу в малой группе из 3 человек, где обсудить результаты индивидуальных размышлений и возникшие вопросы.

Результаты обсуждений в малых группах направлялись преподавателю.

В начале следующей онлайновой встречи участникам предлагался обзор результатов выполнения домашнего задания. Иногда этот обзор сопровождался дополнительной информацией и ответами на возникшие вопросы. 

Я имел возможность (а) знакомиться с результатами выполнения всех домашних заданий от каждой из 11 малых учебных групп и (б) обсуждать ход и результаты обучения со многими участниками индивидуально. Могу с уверенностью сказать, что обсуждения в малых учебных группах за рамками онлайновых сессий были для большинства очень важной составляющей обучения и имели существенное влияние на его результаты. По данным итогового анкетирования почти 90% участников рекомендовали в будущем сохранить этот компонент. На этом можно было закончить, но… ведь есть еще 10% участников, которые рекомендовали оставить только индивидуальные домашние задания. Потому, наверное, следует оставить в будущем и такую возможность, чтобы человек мог выбрать оптимальный для себя вариант. 

Критическая системная эвристика: время пришло

В оригинале этот метод, предложенный щвейцарцем Вернером Ульрихом, называется Critical Systems Heuristics (CSH). Автор определяет CSH как структуру для рефлексивной практики, основанную на практической философии и системном мышлении. Цель CSH - поддержать систематические усилия по критическому анализу суждений о границах. Интересующиеся могут найти подробные описания CSH на сайте автора (англ.) или в книжке Джексон, Майкл С. Системное мышление: Творческий холизм для менеджеров, опубликованной Томским государственным университетом и размещенной в открытом доступе.

Я познакомился с CSH на одном из семинаров перед конференцией Американской ассоциации оценки (American Evaluation Association / AEA) в тот момент, когда мы занимались созданием системы для оценки предпринимательского потенциала университета. И как-то показался очень органичным этот подход для решения проблем, с которыми мы столкнулись в нашей работе. Настолько откликнулось, что на следующий год мы даже выступили на конференции АЕА и поделились практическим опытом использования CSH.  

После этого в течение 10 лет не было случая представить CSH в России и обсудить его с коллегами.  Но вот в конце 2024 года на сессии по оценке системных изменений в Институте оценки, который мы проводили в партнерстве с новосибирским ИнА-Центром, решил я представить CSH участникам. Включил несколько слайдов в презентацию и… не хватило времени на них. 

Наконец, в рамках онлайнового курса по системному мышлению, который мы с ИнА-Центром сейчас проводим, удалось выделить достаточно времени и даже предложить участникам поэкспериментировать с использованием этого инструмента в формате домашнего задания. Получилось интересно, но возникло достаточно много вопросов. Честно говоря, метод не так уж прост, а его освоение требует некоторых усилий и определенного упорства 😊 Так вот, во вторник (позавчера) участники семинара обменялись полученным опытом, обсудили возникшие вопросы и ответы на них. А в среду, то есть вчера, я вдруг получил письмо от моего давнего знакомого Боба Вильямса из Новой Зеландии о том, что он опубликовал книгу по… Критической системной эвристике! Её можно найти здесь. В качестве иллюстрации сегодня привожу обложку этой книги. Называется "Ценности в действии".

Поскольку такие совпадения не бывают случайными, я решил, что обо всем этом надо написать в блоге 😊, т.к. пришло время.