Осенний Институт оценки в США: ИИ рулит

Сегодня начались занятия в Институте оценки (США) в онлайновом формате. За неделю предлагается 8 курсов, 3 из которых посвящены использованию ИИ в оценке. Предлагаю ниже названия и описания этих трех курсов. 

Оценка программ с помощью искусственного интеллекта: от административных данных к автоматизированным инсайтам (3 дня)

Практический курс для специалистов, желающих использовать ИИ и машинное обучение в оценке программ, особенно при работе с административными данными. Основа курса — автоматизация процессов оценки, применение визуальной платформы KNIME (не требует навыков программирования) для каузального моделирования, анализа структурированных и неструктурированных данных, а также извлечения качественных инсайтов с помощью больших языковых моделей. Курс рассчитан на опытных оценщиков и даёт навыки преобразования данных, проведения каузального анализа и автоматизации оценочных процедур.

Анализ и представление данных с помощью искусственного интеллекта: практическое введение (2 дня)

Курс посвящён применению инструментов ИИ на всех этапах работы с данными — от обзора литературы и проектирования исследований до анализа, визуализации и подготовке отчётов. Участники изучат методы очистки и исследования данных с помощью ИИ, автоматизации статистических анализов, улучшения визуализаций и создания отчётов. Особое внимание уделяется критической оценке результатов, полученных с помощью ИИ, и типичным ошибкам, которых следует избегать. Курс нацелен на специалистов, знакомых с основами статистики, которые хотят интегрировать ИИ в свою профессиональную деятельность.

Лидерство нового поколения для специалистов по оценке: использование инструментов искусственного интеллекта для развития лидерских качеств (2 дня)

Курс ориентирован на развитие лидерских навыков у специалистов в области оценки с помощью современных ИИ-инструментов. В процессе обучения рассматриваются индивидуализированные траектории развития, поддержка принятия управленческих решений, освоение новых компетенций и формирование стиля современного лидера-оценщика с учётом вызовов быстро меняющейся профессиональной среды. Уделяется внимание персонализированному обучению, аналитике и внедрению инноваций в управлении командой и проектами с опорой на ИИ.

Само-оценивание клуба PROОЦЕНКУ: уроки

Только что завершилась сессия на конференции АСОПП, где мы обсуждали уроки само-оценивания клуба PROОЦЕНКУ, о которой я писал ранее. Постарались подняться на уровень выше собственно результатов оценки. Разговор получился очень интересный и в хорошей компании! :)

Вот уроки, которые мы с Владимиром Балакиревы сформулировали: 

1. Неформальное сообщество оказалось хорошим ресурсом для проведения само-оценивания. 
2. Само-оценивание является возможностью для освоения и совершенствования навыков оценки. Особенно в том случае, когда в команде есть люди, которые могут поделиться опытом. 
3. Само-оценивание позволяет выявить «актив» и дает возможность людям проявить себя.
4. Само-оценивание позволяет узнать то, о чем по-другому узнать сложно либо вообще невозможно.
5. Само-оценивание помогает уточнить замысел инициативы.
6. Само-оценивание помогает определить, какие изменения точно назрели.
7. Четырехлетний опыт клуба PROОЦЕНКУ подтвердил базовые теоретические положения, касающиеся формирования и развития сообщества практиков. Эта теория работает.
8. Возможности для оценки влияния инициативы в формате само-оценивания могут быть существенно ограничены.

«Импакт» или «воздействие»?

Тема конференции АСОПП в этом году «Импакт и оценка». Организаторы конференции поясняют, что «английский термин «импакт» (impact - АК) на русский переводят и как влияние, и как воздействие, а в последнее время все чаще используют и без перевода». Оправдано ли такое заимствование? 

РБК-тренды справедливо пишут о том, что споры вокруг заимствований в русском языке не утихают со времен Пушкина.  Действительно, как удобнее сказать «кешбэк» или «деньги обратно»? Языковое «импортозамещение» является предметом серьезных исследований. К примеру, ИНИОН в 2018 году выпустил целый сборник научных трудов, где современная языковая ситуация рассматривается как следствие процесса глобализации. 

До последнего времени в русском языке на практике чаще использовалось выражение «оценка социального воздействия», а не «оценка импакта». Это было связано с устоявшейся терминологией, привычными для специалистов концепциями и традиционным понятием результата социально-ориентированных проектов, программ и инициатив. Замечу, что термин «импакт» не особенно приживался несмотря на то, что в хрестоматийном варианте логики социального проекта на английском языке (outputs-outcomes-impact) этот термин присутствовал. 

Мне кажется, что переломным моментом стало продвижение в нашей стране концепции импакт-инвестиций. Так называют "вложения капитала в предприятия, проекты и фонды, которые имеют целью не только получение финансовой прибыли, но и создание измеримого позитивного социального или экологического эффекта для общества". Варианты «инвестиции социального воздействия» или «социально-преобразующие инвестиции», похоже оказались тяжеловатыми (вроде «денег обратно»). Кроме того, к продвижению термина приложили руку ведущие международные консалтинговые компании, исопльзующие английскую терминологию. «Импакт» стали использовать в бизнесе в значении «измеримый, ощутимый, экономически доказанный социальный либо экологический эффект». 

В итоге, сегодня оба термина существуют параллельно: «социальное воздействие» сохраняется как устоявшийся и понятный термин; «импакт» широко используется бизнесом в контексте ESG-инвестирования и/или импакт-инвестирования.  

По большому счету, надо просто понимать, что стоит за тем или иным термином. Тогда общий язык найти несложно. Но есть один важный нюанс. В оценке социальных проектов и программ существует общепринятое и общепризнанное определение «impact evaluation» (оценка социального воздействия), которое подразумевает выявление и обоснование причинно-следственной связи между воздействием и его эффектами. 

«Мой начальник велел использовать ИИ»

Стефани Эвергрин (Stephanie Evergreen) известна в США и в мире как ведущий специалист по визуализации данных. Она ведет блог, опубликовала несколько книг, разработала один из самых популярных чек-листов по визуализации данных.

Позавчера Стефани рассказала в блоге о том, что один из ее подписчиков прислал письмо следующего содержания: «Сейчас я работаю в [название крупной компании, которую все знают], и мой руководитель просит меня использовать ИИ для быстрого создания более качественных визуальных материалов и формирования аналитических заключений...». Стефани считает, что вокруг ИИ сегодня имеет место искусственно созданный ажиотаж, который очень похож на события 15-летней давности, когда была мода на дашборды (визуальные панели, отображающие ключевые данные из разных источников в виде графиков и диаграмм). Тогда считалось, что это шедевр визуализации и решение многих проблем. Любопытно, что Стефани в то время получала письма про дашборды точно такого же содержания как сейчас про ИИ ("начальник велит использовать"). 

Стефани провела серьезное исследование и опробовала более дюжины нейросетей, которые специализируются на визуализации данных. Обещает рассказать об этом на конференции и наверняка напишет статью. 

То, что у нас пока нет ажиотажа вокруг использования ИИ для визуализации данных, можно сказать почти наверняка. А вот вокруг использования ИИ для других целей хайп серьезный. Гугл даёт 2,170,000 ссылок на «хайп вокруг ИИ». 

Форбс, к примеру, публикует статью под интригующим названием «Горе от интеллекта: как хайп вокруг ИИ вредит IT-продуктам». 

Систему Антиплагиат уже научили распознавать тексты, сгенерированные нейросетями. 

Эксперты, занимающиеся оценкой заявок на гранты, говорят о все более активном использовании ИИ заявителями и сами даже не всегда замечают это. 

Но вот, чтобы руководитель НКО велел своему сотруднику использовать ИИ, такое бывает довольно редко. Впрочем, ситуация может измениться в ближайшее время. Знаю, что многие НКО либо размышляют, либо уже присутпили к интегрированию ИИ в свою деятельность. Посмотрим…