Хорошая идея

Тарек Аззам (на фото) из университета Калифорнии в Санта-Барбаре – один из ведущих специалистов нового поколения, обладатель премии Американской ассоциации оценки 2025 года в номинации «Исследования в сфере оценки». Сегодня от него пришло приглашение принять участие в анкетировании. Замысел исследования мне понравился. Хочу поделиться.

Тарек принял решение проводить опрос практикующих специалистов на предмет использования искусственного интеллекта в оценке. «Цель состоит в том, чтобы проводить этот опрос ежегодно для отслеживания использования ИИ в оценке, изучения оптимальных методов его применения и предотвращения возможных ошибок и проблем. Я планирую составлять ежегодный отчет и распространять его среди членов AEA (Американской ассоциации оценки)», -пишет Тарек Аззам в своем приглашении.

Может, и у нас кто-то подхватит эту идею? 

Руководство по практическому применению искусственного интеллекта в оценке

В открытом доступе размещено руководство по внедрению ИИ в деятельность по оценке программ и проектов социальной направлденности (на английском языке). Документ призывает оценивать ИИ-инструменты на предмет прозрачности, конфиденциальности и минимизации предвзятости, а также открыто обсуждать их использование со стейкхолдерами. Практическое руководство охватывает весь цикл оценки — от анализа данных до отчетности — с обязательным контролем со стороны человека. Как «бета-версия», этот документ призван стимулировать ответственные эксперименты и непрерывное обучение для повышения эффективности и инклюзивности оценки. Ознакомиться с полным текстом можно на сайте CGIAR.

CGIAR (Консультативная группа по международным сельскохозяйственным исследованиям) — это крупнейшее в мире глобальное партнерство в области продовольственной безопасности, объединяющее 15 международных исследовательских центров. Организация занимается борьбой с голодом и бедностью в развивающихся странах, разрабатывая инновационные аграрные технологии, устойчивые к климатическим изменениям сорта культур и методы управления природными ресурсами. 

Осенний Институт оценки в США: ИИ рулит

Сегодня начались занятия в Институте оценки (США) в онлайновом формате. За неделю предлагается 8 курсов, 3 из которых посвящены использованию ИИ в оценке. Предлагаю ниже названия и описания этих трех курсов. 

Оценка программ с помощью искусственного интеллекта: от административных данных к автоматизированным инсайтам (3 дня)

Практический курс для специалистов, желающих использовать ИИ и машинное обучение в оценке программ, особенно при работе с административными данными. Основа курса — автоматизация процессов оценки, применение визуальной платформы KNIME (не требует навыков программирования) для каузального моделирования, анализа структурированных и неструктурированных данных, а также извлечения качественных инсайтов с помощью больших языковых моделей. Курс рассчитан на опытных оценщиков и даёт навыки преобразования данных, проведения каузального анализа и автоматизации оценочных процедур.

Анализ и представление данных с помощью искусственного интеллекта: практическое введение (2 дня)

Курс посвящён применению инструментов ИИ на всех этапах работы с данными — от обзора литературы и проектирования исследований до анализа, визуализации и подготовке отчётов. Участники изучат методы очистки и исследования данных с помощью ИИ, автоматизации статистических анализов, улучшения визуализаций и создания отчётов. Особое внимание уделяется критической оценке результатов, полученных с помощью ИИ, и типичным ошибкам, которых следует избегать. Курс нацелен на специалистов, знакомых с основами статистики, которые хотят интегрировать ИИ в свою профессиональную деятельность.

Лидерство нового поколения для специалистов по оценке: использование инструментов искусственного интеллекта для развития лидерских качеств (2 дня)

Курс ориентирован на развитие лидерских навыков у специалистов в области оценки с помощью современных ИИ-инструментов. В процессе обучения рассматриваются индивидуализированные траектории развития, поддержка принятия управленческих решений, освоение новых компетенций и формирование стиля современного лидера-оценщика с учётом вызовов быстро меняющейся профессиональной среды. Уделяется внимание персонализированному обучению, аналитике и внедрению инноваций в управлении командой и проектами с опорой на ИИ.

«Мой начальник велел использовать ИИ»

Стефани Эвергрин (Stephanie Evergreen) известна в США и в мире как ведущий специалист по визуализации данных. Она ведет блог, опубликовала несколько книг, разработала один из самых популярных чек-листов по визуализации данных.

Позавчера Стефани рассказала в блоге о том, что один из ее подписчиков прислал письмо следующего содержания: «Сейчас я работаю в [название крупной компании, которую все знают], и мой руководитель просит меня использовать ИИ для быстрого создания более качественных визуальных материалов и формирования аналитических заключений...». Стефани считает, что вокруг ИИ сегодня имеет место искусственно созданный ажиотаж, который очень похож на события 15-летней давности, когда была мода на дашборды (визуальные панели, отображающие ключевые данные из разных источников в виде графиков и диаграмм). Тогда считалось, что это шедевр визуализации и решение многих проблем. Любопытно, что Стефани в то время получала письма про дашборды точно такого же содержания как сейчас про ИИ ("начальник велит использовать"). 

Стефани провела серьезное исследование и опробовала более дюжины нейросетей, которые специализируются на визуализации данных. Обещает рассказать об этом на конференции и наверняка напишет статью. 

То, что у нас пока нет ажиотажа вокруг использования ИИ для визуализации данных, можно сказать почти наверняка. А вот вокруг использования ИИ для других целей хайп серьезный. Гугл даёт 2,170,000 ссылок на «хайп вокруг ИИ». 

Форбс, к примеру, публикует статью под интригующим названием «Горе от интеллекта: как хайп вокруг ИИ вредит IT-продуктам». 

Систему Антиплагиат уже научили распознавать тексты, сгенерированные нейросетями. 

Эксперты, занимающиеся оценкой заявок на гранты, говорят о все более активном использовании ИИ заявителями и сами даже не всегда замечают это. 

Но вот, чтобы руководитель НКО велел своему сотруднику использовать ИИ, такое бывает довольно редко. Впрочем, ситуация может измениться в ближайшее время. Знаю, что многие НКО либо размышляют, либо уже присутпили к интегрированию ИИ в свою деятельность. Посмотрим…

Обзор и анализ программы летнего Института оценщиков - 2025 (США)

Университет Клермонта (Claremont Graduate University) и Центр оценки при этом университете объявили о наборе слушателей на летний онлайновый курс Института оценщиков  (TEI | The Evaluators' Institute). Ознакомиться с программой в деталях можно по ссылке.

Общее представление о программе, которое приводится ниже, и заключения о ее качестве и актуальности сгенерированы искусственным интеллектом Perplexity. По моей просьбе, естественно :) 

Основные тематические направления программы

• Методы анализа данных и статистического моделирования
• Современные технологии и инновации в оценке
• Теоретические подходы и методологические основы оценки
• Методы сбора данных
• Визуализация данных и коммуникация результатов
• Системы мониторинга и оценки

Программа очень качественная:

• Экспертный состав преподавателей. Курсы ведут признанные авторитеты в области оценки, включая Майкла Пэттона (основатель развивающей оценки), Стюарта Дональдсона и других известных специалистов.
• Комплексный охват тематики. Программа сбалансированно охватывает как теоретические, так и практические аспекты оценки программ, от фундаментальных концепций до передовых методов.
• Интерактивная методика преподавания. Большинство курсов построены на интерактивном подходе, включающем практические упражнения, разбор кейсов и применение полученных знаний к реальным ситуациям.
• Логичная структура программы. Курсы взаимодополняют друг друга, создавая целостную картину современной практики оценки программ.

Программа имеет высокую актуальность для современного контекста:

• Интеграция ИИ и машинного обучения. Включение курсов по машинному обучению и генеративному ИИ отражает трансформационные изменения в области оценки программ.
• Адаптация к пост-пандемическим реалиям. Курс по адаптивной оценке включает новые подходы, разработанные в ответ на вызовы пандемии COVID-19.
• Фокус на данных и доказательствах. Программа отражает растущее значение данных в принятии решений.
• Соответствие современным стандартам компетенций специалиста по оценке.

Ценности автора блога

На прошлой неделе во время Школы оценки Ирина Решта рассказала мне о своем эксперименте. Она попросила искусственный интеллект посмотреть на мой блог и сформулировать ценности, которыми автор блога руководствуется при подготовке публикаций. Для этого задала вопрос и ввела ссылку на блог. Я попробовал, конечно, сделать то же самое. Вот что получилось. В целом согласен!

• Качество и объективность оценки. Автор подчеркивает важность профессионального подхода к оценке программ и проектов, включая использование научно обоснованных методов и инструментов. Он акцентирует внимание на необходимости комплексного анализа, который учитывает как количественные, так и качественные аспекты.
• Этика и ответственность. Вопросы этики занимают центральное место в подходе автора. Он подчеркивает необходимость соблюдения профессиональных стандартов, корректного формулирования выводов и рекомендаций, а также ответственности за последствия оценки, особенно в социальной сфере, где результаты могут напрямую влиять на благополучие людей.
• Ориентированность на реальный результат. Автор акцентирует внимание на том, что оценка должна быть направлена на измерение реального влияния программ на жизнь людей, а не ограничиваться формальными показателями. Это включает эмпирическую оценку, которая помогает понять, как программы меняют социальные условия.
• Инновации и технологии. Автор активно исследует возможности использования инновационных подходов, таких как искусственный интеллект, для повышения эффективности и точности оценки. Он подчеркивает важность адаптации к современным вызовам и внедрения технологий, которые могут улучшить процесс анализа данных и интерпретации результатов.
• Обучение и развитие. Автор уделяет большое внимание обучению специалистов в области оценки, включая использование принципов андрагогики. Он подчеркивает, что обучение должно быть ориентировано на практическое применение знаний и навыков, что особенно важно для оценки социальных программ.
• Справедливость и инклюзивность. Важным аспектом является учет мнений и потребностей различных заинтересованных сторон, включая целевые группы, экспертов и организаторов программ. Автор подчеркивает необходимость справедливого подхода, который учитывает разнообразие контекстов и голосов.
• Прозрачность и честность. Прозрачность в процессе оценки и честное информирование о методах, результатах и ограничениях оценки являются важными принципами. Это особенно актуально в социальной сфере, где доверие участников и заинтересованных сторон имеет ключевое значение.
• Системный подход. Автор рассматривает оценку как часть более широкого процесса управления проектами и программами. Он подчеркивает важность системного мышления, которое позволяет учитывать взаимосвязи между различными элементами программы и ее окружением.
  

Школа оценки-2025

Завершаем подготовку к первому семинару Школы оценки совместно с новосибирским ИнАЦентром в рамках проекта «Созвездия оценки». Продолжительность курса 144 часа, он включает два офлайновых семинара в Москве и выполнение практического задания в период между семинарами. При доработке программы всегда задаемся вопросом, есть ли что-то новое по сравнению с предыдущим курсом (он закончился в июне 2024 года). На этот раз кроме новых примеров и упражнений появилась новая тема: использование искусственного интеллекта в оценке. Надо поговорить об использовании ИИ при проведении различных видов оценки, про стандарты и этику. Ситуация меняется чуть ли не ежемесячно, а то и быстрее!

Кодекс этики в сфере ИИ

Альянс в сфере искусственного интеллекта (далее – Альянс) опубликовал Кодекс этики в сфере ИИ. На сайте Альянса также доступна Национальная стратегия развития ИИ до 2030 года. 

Альянс объединяет ведущие технологические компании для совместного развития их компетенций и ускоренного внедрения искусственного интеллекта в образовании, научных исследованиях и в практической деятельности бизнеса. Миссия Альянса: «Быть центром развития искусственного интеллекта в России и обес­печивать технологическое лидерство нашей страны и компаний­участников Альянса на глобальном технологическом рынке».

Основные положения (разделы) Кодекса:

1. Главный приоритет развития технологий ии в защите интересов и прав людей и отдельного человека.
2. Необходимо осознавать ответственность при создании и использовании ИИ.
3. Ответственность за последствия применения систем ИИ всегда несет человек.
4. Технологии ИИ нужно применять по назначению и внедрять там, где это принесёт пользу людям.
5. Интересы развития технологий ИИ выше интересов конкуренции.
6. Важна максимальная прозрачность и правдивость в информировании об уровне развития технологий ИИ, их возможностях и рисках.

В Кодексе также содержатся положения, регламентирующие его применение. 

Полагаю, специалистам по оценке проектов и программ следует принимать во внимание этот важный документ в свете активного внедрения ИИ в практику оценки.

Результаты обсуждения использования ИИ в оценке

Только что завершилось 40-е заседание клуба PROОЦЕНКУ, посвященное использованию искусственного интеллекта. Как и обещал, делюсь основными результатами обсуждений в малых группах, которые обработаны с помощью нейросети PERPLEXITY.

Экспертная оценка

Нравится:

• Анализ данных: ИИ может анализировать фрагменты заявок и выделять важные элементы, которые могут быть упущены при традиционном анализе.
• Создание специализированных систем: Возможность разработки собственных обучающих моделей и алгоритмов.
• Снижение нагрузки: Уменьшение нагрузки на сотрудников НКО, что способствует экономии ресурсов.
• Обучение: Эксперты могут накапливать опыт использования ИИ, что улучшает качество экспертизы.

Беспокоит:

• Качество экспертизы: Сомнения в том, что ИИ сможет адекватно оценить заявки в целом.
• Неопределенность результатов: Возможность упустить важные нюансы и контекст.
• Этические вопросы: Проблемы с прозрачностью алгоритмов и ответственностью за результаты.
• Зависимость от технологий: Опасения по поводу недостатка опыта в использовании ИИ.

Эмпирическая оценка

Нравится:

• Обработка больших объемов данных: ИИ способен эффективно обрабатывать текстовые данные и аудиоинтервью.
• Анализ количественных данных: Возможность использования заданных алгоритмов для анализа данных.
• Скорость анализа: Быстрый анализ данных, что позволяет сократить время на обработку.

Беспокоит:

• Субъективность анализа: Неясные модели субъективности, которые могут влиять на результаты.
• Пропуски в данных: Возможность упустить важные аспекты или группы результатов.
• Проблемы с интерпретацией: Необходимость четкого формулирования вопросов для получения качественной информации.

Индикаторная оценка

Нравится:

• Разработка индикаторов: ИИ может разрабатывать индикаторы на основе описания результатов проектов.
• Доступ к базам данных: Возможность изучения спектра индикаторов для конкретных случаев.
• Снижение нагрузки на сотрудников: Упрощение процесса оценки с помощью автоматизации.

Беспокоит:

• Валидность индикаторов: Сомнения в точности и валидности разработанных индикаторов.
• Контекстуализация: Вопросы о том, как ИИ учитывает контекст проекта при разработке индикаторов.
• Формальный подход: Опасения по поводу издержек формального подхода к оценке, который может не учитывать качественные показатели.

Учебники по искусственному интеллекту для школьников

Завтра на клубе PROОЦЕНКУ будем обсуждать использование искусственного интеллекта. Можно еще зарегистрироваться, кстати. О результатах обсуждения напишу сразу же.

А сегодня такая вот новость: "В России выпустили первые учебные пособия "Искусственный интеллект" для 5-9 классов, которые включают цифровое дополнение с сервисами генеративного искусственного интеллекта GigaChat и Kandinsky и соответствуют федеральной рабочей программе одноимённого курса по внеурочной деятельности". Говорят, что в помощь учителям "Просвещение" готовит бесплатный мини-курс.

Интеграция инструментов искусственного интеллекта в процессы оценки

Вчера в городе Портленд (шт.Орегон) в конгресс-центре (на фото) открылась очередная конференция Американской ассоциации оценки. Одна из тем, которую коллеги будут обсуждать, конечно же, связана с использованием искусственного интеллекта. Я насчитал порядка 10 сессий, в названия которых включены слова «искусственный интеллект». Одна из них, например, называется так: «Призраки в оценочной машине: этика, защита данных, метаоценка и качество оценки в эпоху искусственного интеллекта»… Было бы интересно послушать 😊 Ну, это, "когда воротимся мы в Портленд", как поётся в известной песне. 

Мы готовимся обсудить вопросы практического использования ИИ в оценке на одной из сессий в рамках Института оценки, который пройдет в Москве в декабре. Заявки на участие в Институте принимаются до 5 ноября ЗДЕСЬ.

Пока же посмотрим, что зарубежные коллеги пишут о проблемах, связанных с использованием искусственного интеллекта (ИИ):

1. Проблемы конфиденциальности и безопасности данных. Использование ИИ в оценке часто подразумевает обработку больших объемов конфиденциальных данных, что вызывает серьезные проблемы. Неспособность должным образом защитить персонально идентифицируемую информацию может привести к юридическим последствиям и потере доверия.
2. Проблемы предвзятости. Системы ИИ могут наследовать и усиливать предвзятость, заложенную при их обучении, что, в свою очередь, может привести к несправедливым или даже дискриминационным результатам оценок. От специалистов по оценке потребуются сознательные усилия для того, чтобы этого избежать.
3. Закрытость процесса. Многие системы ИИ, особенно основанные на сложных алгоритмах, функционируют как «черные ящики», что затрудняет понимание того, как был получен тот или иной результат. Такое отсутствие прозрачности может подорвать доверие к результатам, полученным с помощью ИИ, и в целом усложнить обоснование результатов оценки. 
4. Интеграция с существующими процессами. Внедрение инструментов ИИ требует существенных изменений в устоявшихся процессах оценки. Удастся ли их органично соединить с новыми технологиями? 
5. Вопросы нормативного регулирования. Специалистам по оценке, использующим ИИ, может быть сложно ориентироваться в нормативно-правовом поле. Обеспечение соответствия систем ИИ правовым стандартам и этическим нормам может потребовать дополнительных усилий.
6. Развитие новых навыков. По мере развития технологий ИИ растет необходимость в приобретении оценщиками новых навыков, имеющих отношение к внедрению и использованию ИИ. Следовательно, нужны качественные специализированные программы обучения. Их пока явно недостаточно.

Искусственный интеллект и оценка

По мнению многих экспертов, 2023 год стал прорывным с точки зрения практического использования искусственного интеллекта (ИИ) самыми разными специалистами, включая высших руководителей крупнейших компаний. Не остались в стороне и специалисты по оценке проектов и программ. Как уже сегодня можно использовать ИИ в оценке? Вот что по этому поводу говорит сам искусственный интеллект (GigaChat). Картинку он же сделал по моей просьбе.

“Искусственный интеллект (ИИ) можно использовать для автоматизации процессов и повышения эффективности при проведении оценки социальных проектов и программ. Вот несколько способов:

• Автоматическая обработка данных: ИИ может обрабатывать большие объемы данных, собираемых в ходе реализации проекта, и анализировать их для получения инсайтов.
• Прогнозирование результатов: Используя алгоритмы машинного обучения, ИИ способен предсказывать возможные результаты проекта на основе исторических данных и текущих тенденций.
• Мониторинг и контроль: С помощью ИИ можно отслеживать выполнение задач и достижение целей проекта в реальном времени, что позволяет своевременно корректировать стратегию и бюджет.
• Интерактивная отчетность: Современные технологии ИИ позволяют создавать интерактивные отчеты, которые предоставляют информацию в удобном для восприятия формате, включая визуализацию данных и автоматическое генерирование рекомендаций.
• Персонализация: Использование ИИ позволяет адаптировать подход к оценке проекта в зависимости от индивидуальных особенностей и потребностей участников проекта.
• Диагностика проблем: Благодаря ИИ становится возможным обнаружить скрытые проблемы и слабые места в проекте, которые могут негативно сказаться на его успешности.
• Создание рекомендаций: На основе анализа данных ИИ может предложить рекомендации по улучшению текущих практик и стратегий в рамках проекта.
• Образование и обучение: Встроенные обучающие системы на базе ИИ могут помогать участникам проекта развивать новые навыки и компетенции, необходимые для достижения успеха.

Применение ИИ в оценке социальных проектов значительно повышает качество и скорость принятия решений, улучшает прогнозируемость результатов и способствует эффективному использованию ресурсов».