Осенний Институт оценки в США: ИИ рулит

Сегодня начались занятия в Институте оценки (США) в онлайновом формате. За неделю предлагается 8 курсов, 3 из которых посвящены использованию ИИ в оценке. Предлагаю ниже названия и описания этих трех курсов. 

Оценка программ с помощью искусственного интеллекта: от административных данных к автоматизированным инсайтам (3 дня)

Практический курс для специалистов, желающих использовать ИИ и машинное обучение в оценке программ, особенно при работе с административными данными. Основа курса — автоматизация процессов оценки, применение визуальной платформы KNIME (не требует навыков программирования) для каузального моделирования, анализа структурированных и неструктурированных данных, а также извлечения качественных инсайтов с помощью больших языковых моделей. Курс рассчитан на опытных оценщиков и даёт навыки преобразования данных, проведения каузального анализа и автоматизации оценочных процедур.

Анализ и представление данных с помощью искусственного интеллекта: практическое введение (2 дня)

Курс посвящён применению инструментов ИИ на всех этапах работы с данными — от обзора литературы и проектирования исследований до анализа, визуализации и подготовке отчётов. Участники изучат методы очистки и исследования данных с помощью ИИ, автоматизации статистических анализов, улучшения визуализаций и создания отчётов. Особое внимание уделяется критической оценке результатов, полученных с помощью ИИ, и типичным ошибкам, которых следует избегать. Курс нацелен на специалистов, знакомых с основами статистики, которые хотят интегрировать ИИ в свою профессиональную деятельность.

Лидерство нового поколения для специалистов по оценке: использование инструментов искусственного интеллекта для развития лидерских качеств (2 дня)

Курс ориентирован на развитие лидерских навыков у специалистов в области оценки с помощью современных ИИ-инструментов. В процессе обучения рассматриваются индивидуализированные траектории развития, поддержка принятия управленческих решений, освоение новых компетенций и формирование стиля современного лидера-оценщика с учётом вызовов быстро меняющейся профессиональной среды. Уделяется внимание персонализированному обучению, аналитике и внедрению инноваций в управлении командой и проектами с опорой на ИИ.

Само-оценивание клуба PROОЦЕНКУ: уроки

Только что завершилась сессия на конференции АСОПП, где мы обсуждали уроки само-оценивания клуба PROОЦЕНКУ, о которой я писал ранее. Постарались подняться на уровень выше собственно результатов оценки. Разговор получился очень интересный и в хорошей компании! :)

Вот уроки, которые мы с Владимиром Балакиревы сформулировали: 

1. Неформальное сообщество оказалось хорошим ресурсом для проведения само-оценивания. 
2. Само-оценивание является возможностью для освоения и совершенствования навыков оценки. Особенно в том случае, когда в команде есть люди, которые могут поделиться опытом. 
3. Само-оценивание позволяет выявить «актив» и дает возможность людям проявить себя.
4. Само-оценивание позволяет узнать то, о чем по-другому узнать сложно либо вообще невозможно.
5. Само-оценивание помогает уточнить замысел инициативы.
6. Само-оценивание помогает определить, какие изменения точно назрели.
7. Четырехлетний опыт клуба PROОЦЕНКУ подтвердил базовые теоретические положения, касающиеся формирования и развития сообщества практиков. Эта теория работает.
8. Возможности для оценки влияния инициативы в формате само-оценивания могут быть существенно ограничены.

«Импакт» или «воздействие»?

Тема конференции АСОПП в этом году «Импакт и оценка». Организаторы конференции поясняют, что «английский термин «импакт» (impact - АК) на русский переводят и как влияние, и как воздействие, а в последнее время все чаще используют и без перевода». Оправдано ли такое заимствование? 

РБК-тренды справедливо пишут о том, что споры вокруг заимствований в русском языке не утихают со времен Пушкина.  Действительно, как удобнее сказать «кешбэк» или «деньги обратно»? Языковое «импортозамещение» является предметом серьезных исследований. К примеру, ИНИОН в 2018 году выпустил целый сборник научных трудов, где современная языковая ситуация рассматривается как следствие процесса глобализации. 

До последнего времени в русском языке на практике чаще использовалось выражение «оценка социального воздействия», а не «оценка импакта». Это было связано с устоявшейся терминологией, привычными для специалистов концепциями и традиционным понятием результата социально-ориентированных проектов, программ и инициатив. Замечу, что термин «импакт» не особенно приживался несмотря на то, что в хрестоматийном варианте логики социального проекта на английском языке (outputs-outcomes-impact) этот термин присутствовал. 

Мне кажется, что переломным моментом стало продвижение в нашей стране концепции импакт-инвестиций. Так называют "вложения капитала в предприятия, проекты и фонды, которые имеют целью не только получение финансовой прибыли, но и создание измеримого позитивного социального или экологического эффекта для общества". Варианты «инвестиции социального воздействия» или «социально-преобразующие инвестиции», похоже оказались тяжеловатыми (вроде «денег обратно»). Кроме того, к продвижению термина приложили руку ведущие международные консалтинговые компании, исопльзующие английскую терминологию. «Импакт» стали использовать в бизнесе в значении «измеримый, ощутимый, экономически доказанный социальный либо экологический эффект». 

В итоге, сегодня оба термина существуют параллельно: «социальное воздействие» сохраняется как устоявшийся и понятный термин; «импакт» широко используется бизнесом в контексте ESG-инвестирования и/или импакт-инвестирования.  

По большому счету, надо просто понимать, что стоит за тем или иным термином. Тогда общий язык найти несложно. Но есть один важный нюанс. В оценке социальных проектов и программ существует общепринятое и общепризнанное определение «impact evaluation» (оценка социального воздействия), которое подразумевает выявление и обоснование причинно-следственной связи между воздействием и его эффектами. 

«Мой начальник велел использовать ИИ»

Стефани Эвергрин (Stephanie Evergreen) известна в США и в мире как ведущий специалист по визуализации данных. Она ведет блог, опубликовала несколько книг, разработала один из самых популярных чек-листов по визуализации данных.

Позавчера Стефани рассказала в блоге о том, что один из ее подписчиков прислал письмо следующего содержания: «Сейчас я работаю в [название крупной компании, которую все знают], и мой руководитель просит меня использовать ИИ для быстрого создания более качественных визуальных материалов и формирования аналитических заключений...». Стефани считает, что вокруг ИИ сегодня имеет место искусственно созданный ажиотаж, который очень похож на события 15-летней давности, когда была мода на дашборды (визуальные панели, отображающие ключевые данные из разных источников в виде графиков и диаграмм). Тогда считалось, что это шедевр визуализации и решение многих проблем. Любопытно, что Стефани в то время получала письма про дашборды точно такого же содержания как сейчас про ИИ ("начальник велит использовать"). 

Стефани провела серьезное исследование и опробовала более дюжины нейросетей, которые специализируются на визуализации данных. Обещает рассказать об этом на конференции и наверняка напишет статью. 

То, что у нас пока нет ажиотажа вокруг использования ИИ для визуализации данных, можно сказать почти наверняка. А вот вокруг использования ИИ для других целей хайп серьезный. Гугл даёт 2,170,000 ссылок на «хайп вокруг ИИ». 

Форбс, к примеру, публикует статью под интригующим названием «Горе от интеллекта: как хайп вокруг ИИ вредит IT-продуктам». 

Систему Антиплагиат уже научили распознавать тексты, сгенерированные нейросетями. 

Эксперты, занимающиеся оценкой заявок на гранты, говорят о все более активном использовании ИИ заявителями и сами даже не всегда замечают это. 

Но вот, чтобы руководитель НКО велел своему сотруднику использовать ИИ, такое бывает довольно редко. Впрочем, ситуация может измениться в ближайшее время. Знаю, что многие НКО либо размышляют, либо уже присутпили к интегрированию ИИ в свою деятельность. Посмотрим…

Эффект бабочки

Эффект бабочки — это явление в сложных динамических системах, при котором малое изменение начальных условий может привести к качественно иным и непредсказуемым последствиям в долгосрочной перспективе. Термин был введен метеорологом Эдвардом Лоренцем в 1960-х. Он показал, что даже взмах крыльев бабочки (микровозмущение воздуха) теоретически может изменить траекторию урагана через месяц.

В середине 90-х один специалист по оценке социальных программ в Великобритании серьезно приболел. Так, что ему пришлось отменить поездку в Москву. Они должны были ехать вдвоем, чтобы провести семинар по оценке для представителей НКО. Вторым преподавателем была женщина с большим опытом проведения оценки в некоммерческом секторе, но не столь опытная в проведении тренингов. Поскольку времени для поиска замены заболевшего тренера в Великобритании уже не было, она попросила подобрать ей напарника для проведения тренинга из России со знанием английского и опытом консультирования/обучения НКО. В момент, когда этот запрос поступил в московский офис организаторов тренинга, я был там по каким-то делам. Они рассказали мне о сложившейся ситуации и спросили, не соглашусь ли поучаствовать в качестве ко-тренера. Замечу: в тот момент я про оценку особо ничего не знал и согласился быть «группой поддержки». 

Так я познакомился с Сарой дел Туфо (это она проводила тренинг) и – заодно – с оценкой 😊 Тема меня заинтересовала. Сара по возвращении домой выслала мне несколько книжек. Одна из них называлась «Практическая оценка». Написал ее Майкл Пэттон. Рассказ об оценке в его версии меня окончательно убедил в том, что надо двигаться в этом направлении. С Сарой мы подружились и еще несколько раз поработали вместе – проводили обучение специалистов из НКО и оценку международных проектов. Когда я поступил на программу PhD, Майкл стал моим научным руководителем.

И я даже не знаю, как звали того англичанина, который приболел и не смог приехать в Москву...

Результаты оценки клуба PROОЦЕНКУ

В команде, проводившей это само-оценивание, было 15 специалистов, которые работали на волонтерских началах. Мы разделились на 4 подгруппы. Зоны ответственности подгрупп: оценка сайта клуба, кабинетное исследование, анкетирование, интервью и фокус-группа. 

Кабинетное исследование было связано с анализом публикаций по формированию и поддержке сообществ практиков (community of practice). Мы с самого начала рассматривали клуб именно как такое сообщество, и поэтому вопрос о том, в какой мере удалось это сообщество сформировать, был включен в ТЗ. Интервью проводились с активными участниками клуба. Фокус-группа – с организаторами клуба. 

Результаты само-оценивания доступны на сайте клуба. Они получились очень интересными, и мы, конечно же, примем их во внимание при планировании. Это, кстати, тот редкий случай, когда результаты само-оценивания логично разместить в открытом доступе. 

Любопытный факт. На заседания, посвященные планированию оценки и обсуждению ее результатов зарегистрировались примерно 25 человек. Участвовали в заседаниях почти все, кто зарегистрировался. И то, и другое для клуба необычно. Как правило, регистрируются 40-60 человек и более, а участвуют в заседании 50-60% от числа зарегистрированных. Число регистраций, конечно, зависит от темы заседания. Тема само-оценивания клуба оказалась не самой популярной. Как бы вы это объяснили? И что можно предположить относительно участников заседаний, посвященных этой теме? 

К вопросу об онлайновом обучении

Несколько лет назад я решил, что публикации в блоге должны быть регулярными и стараюсь писать раз в неделю. Дисциплинирует :) Публикации так или иначе связаны с тем, какие профессиональные задачи приходится решать. Заметил, что паузы в публикациях чаще всего также связаны с текущими проектами, точнее, с их числом и сложностью. Именно так произошло и на этот раз. 3-х недельная пауза в публикациях связана с тем, что – помимо прочего - мы завершали онлайновый курс по системному мышлению и проводили оценку деятельности клуба PROОЦЕНКУ. 

Сегодня хочу несколько слов сказать о курсе «Системное мышление», который мы с новосибирским ИнА Центром проводили впервые. Само собой разумеется, что содержание курса было необычным: мы размышляли о том, как мы думаем, и как это можно делать эффективнее в сложных быстро меняющихся обстоятельствах. Общее мнение: получилось интересно; в целом эксперимент удался.

Думаю, одним из важных факторов стало построение курса. На онлайновом занятии предлагался новый материал в формате мини-лекции. За этим следовало практическое задание, которое участники выполняли в малых группах с последующим обсуждением в общей группе. Это задание было связано с каким-то из ключевых положений нового материала. В конце онлайновой встречи участники получали домашнее задание, в рамках которого им предлагалось: 

1) поразмышлять индивидуально и соотнести новый материал с контекстом, в котором они живут и работают; 

2) а затем провести онлайновую встречу в малой группе из 3 человек, где обсудить результаты индивидуальных размышлений и возникшие вопросы.

Результаты обсуждений в малых группах направлялись преподавателю.

В начале следующей онлайновой встречи участникам предлагался обзор результатов выполнения домашнего задания. Иногда этот обзор сопровождался дополнительной информацией и ответами на возникшие вопросы. 

Я имел возможность (а) знакомиться с результатами выполнения всех домашних заданий от каждой из 11 малых учебных групп и (б) обсуждать ход и результаты обучения со многими участниками индивидуально. Могу с уверенностью сказать, что обсуждения в малых учебных группах за рамками онлайновых сессий были для большинства очень важной составляющей обучения и имели существенное влияние на его результаты. По данным итогового анкетирования почти 90% участников рекомендовали в будущем сохранить этот компонент. На этом можно было закончить, но… ведь есть еще 10% участников, которые рекомендовали оставить только индивидуальные домашние задания. Потому, наверное, следует оставить в будущем и такую возможность, чтобы человек мог выбрать оптимальный для себя вариант. 

Критическая системная эвристика: время пришло

В оригинале этот метод, предложенный щвейцарцем Вернером Ульрихом, называется Critical Systems Heuristics (CSH). Автор определяет CSH как структуру для рефлексивной практики, основанную на практической философии и системном мышлении. Цель CSH - поддержать систематические усилия по критическому анализу суждений о границах. Интересующиеся могут найти подробные описания CSH на сайте автора (англ.) или в книжке Джексон, Майкл С. Системное мышление: Творческий холизм для менеджеров, опубликованной Томским государственным университетом и размещенной в открытом доступе.

Я познакомился с CSH на одном из семинаров перед конференцией Американской ассоциации оценки (American Evaluation Association / AEA) в тот момент, когда мы занимались созданием системы для оценки предпринимательского потенциала университета. И как-то показался очень органичным этот подход для решения проблем, с которыми мы столкнулись в нашей работе. Настолько откликнулось, что на следующий год мы даже выступили на конференции АЕА и поделились практическим опытом использования CSH.  

После этого в течение 10 лет не было случая представить CSH в России и обсудить его с коллегами.  Но вот в конце 2024 года на сессии по оценке системных изменений в Институте оценки, который мы проводили в партнерстве с новосибирским ИнА-Центром, решил я представить CSH участникам. Включил несколько слайдов в презентацию и… не хватило времени на них. 

Наконец, в рамках онлайнового курса по системному мышлению, который мы с ИнА-Центром сейчас проводим, удалось выделить достаточно времени и даже предложить участникам поэкспериментировать с использованием этого инструмента в формате домашнего задания. Получилось интересно, но возникло достаточно много вопросов. Честно говоря, метод не так уж прост, а его освоение требует некоторых усилий и определенного упорства 😊 Так вот, во вторник (позавчера) участники семинара обменялись полученным опытом, обсудили возникшие вопросы и ответы на них. А в среду, то есть вчера, я вдруг получил письмо от моего давнего знакомого Боба Вильямса из Новой Зеландии о том, что он опубликовал книгу по… Критической системной эвристике! Её можно найти здесь. В качестве иллюстрации сегодня привожу обложку этой книги. Называется "Ценности в действии".

Поскольку такие совпадения не бывают случайными, я решил, что обо всем этом надо написать в блоге 😊, т.к. пришло время.

Практикуй то, что проповедуешь

У наших англоязычных коллег есть такая пословица: «Practice what you preach». Её буквальный перевод - в заголовке к этой публикации. О чем речь?

В июне 2025 года клуб PROОЦЕНКУ отмечает свое четырехлетие. Первое заседание клуба состоялось 11 июня 2021 года. Онлайновые заседания проходили ежемесячно с перерывом на каникулы в августе. Таким образом, ближайшее заседание будет 46-м по счету. И, если вы видели объявление о нём, то  могли заметить, что оно будет необычным: мы планируем провести само-оценивание деятельности клуба. Четырехлетие – хороший повод, но причина проведения оценки в другом: хотелось бы развивать деятельность клуба, сделать ее максимально полезной для участников. Для того, чтобы разработать планы на будущее, необходимо ответить на несколько важных вопросов. Проект задания на проведение оценки был сформирован Альянсом PROОЦЕНКУ – инициатором создания клуба. 

На ближайшем заседании мы хотим не только обсудить задание и подход к проведению оценки, но и начать эту работу. Важный момент: в ней смогут принять участие все, кто тем или иным образом связан с клубом (участвовал в заседаниях, проводил заседания и/или выступал на них). Участвовать в проведении оценки можно будет либо в составе команды, которую мы планируем сформировать на ближайшем заседании, либо в качестве респондента/источника информации о клубе. Для включения в команду есть три условия: (1) опыт участия в заседаниях клуба, (2) желание и (3) возможность выделить время для проведения оценки в течение ближайшего месяца. Если же вы предпочтете позицию источника информации, то здесь достаточно одного вашего желания: вы получите анкету и, возможно, с вами проведут интервью.

Оценку планируется завершить к следующему заседанию клуба в июле. У нас будет всего один месяц. Поэтому первая встреча команды, которая будет проводить оценку, состоится уже 20-го июня.

В общем, займемся само-оцениванием, то есть будем следовать той самой пословице, которая была использована в качестве заголовка :) 

14 привычек системного мыслителя

Хочу порекомендовать интернет-страничку с «карточками» (англ.), на которых с одной стороны записаны привычки человека, думающего системно, а с другой – пояснения и вопросы, которые могут пригодиться на практике.  Карточка «переворачивается» по клику. Этот материал размещен на сайте «Thinking Tools Studio» («Студия инструментов мышления»).

Карточек и привычек, соответственно, - 14. Привожу их заголовки в немного вольном переводе: старался смысл сохранить. 

1. Стремится понять общую (большую) картину
2. Наблюдает за тем, как элементы системы меняются со временем
3. Меняет ракурсы, чтобы лучше понять систему
4. Выявляет циклические причинно-следственные связи
5. Учитывает влияние ментальных моделей в настоящем и в будущем
6. Старается хорошо понять изучаемый вопрос и избегать скороспелых умозаключений
7. Использует понимание структуры системы для выявления таких точек, воздействия на которые способны вызвать значительные и устойчивые изменения в системе с минимальными затратами ресурсов.
8. Признает, что структура системы определяет ее поведение
9. Принимает во внимание краткосрочные, долгосрочные и непредвиденные последствия действий
10. Отслеживает результаты и корректирует действия по необходимости
11. Выявляет и тестирует предположения и допущения
12. Признает возможное влияние задержек при анализе причинно-следственных связей
13. Уделяет внимание разного рода аккумулированию и степени связанных с ним изменений
14. Выделяет значимые связи внутри системы и между системами

Информация к размышлению.