Оценка, готовая к будущему

Сегодня было объявлено о важном мероприятии в мире оценки, которое пройдет в конце мая 2025 года. Обратите внимание на название и на 7 целей "Конклава оценки 2025". Они отражают приоритеты международных организаций,  а также хозяев мероприятия - указанных ниже региональной и национальной ассоциаций. Кстати, слово "конклав" в своем основном значении относится к закрытому собранию кардиналов, которые выбирают нового папу римского. Однако, в более широком контексте, термин используется для значимых событий, особенно тех, которые связаны с важными решениями или выборами в закрытом кругу.

Сообщество оценщиков Южной Азии (CoE-SA) и Ассоциация оценки Бутана (EAB) в сотрудничестве с правительством Бутана проведут Конклав оценки 2025: "Оценка, готовая к будущему: интеграция голосов и локализация оценки для глобального воздействия" с 27 по 30 мая 2025 года в отеле Пемака, Тхимпху, Бутан. 

Ключевым моментом Конклава оценки станет Саммит будущего оценки, организованный в сотрудничестве с программой Eval4Action и ее сопредседателями: Независимым оценочным офисом Фонда народонаселения ООН (UNFPA), Глобальной сетью EvalYouth, Глобальным парламентским форумом по оценке (GPFE), а также Международной организацией по сотрудничеству в области оценки (IOCE).

Цели Конклава оценки 2025:

1. Увеличить разнообразие голосов и локализовать практики оценки для контекстуальной актуальности.
2. Способствовать справедливым и инклюзивным изменениям.
3. Исследовать будущее оценки через инновации и технологии.
4. Решать современные и вновь возникающие проблемы.
5. Укреплять потенциал в сфере оценки через образование и обучение.
6. Укреплять роль молодежи в оценке и адвокации.
7. Укреплять глобальное и региональное сотрудничество.

Результаты обсуждения использования ИИ в оценке

Только что завершилось 40-е заседание клуба PROОЦЕНКУ, посвященное использованию искусственного интеллекта. Как и обещал, делюсь основными результатами обсуждений в малых группах, которые обработаны с помощью нейросети PERPLEXITY.

Экспертная оценка

Нравится:

• Анализ данных: ИИ может анализировать фрагменты заявок и выделять важные элементы, которые могут быть упущены при традиционном анализе.
• Создание специализированных систем: Возможность разработки собственных обучающих моделей и алгоритмов.
• Снижение нагрузки: Уменьшение нагрузки на сотрудников НКО, что способствует экономии ресурсов.
• Обучение: Эксперты могут накапливать опыт использования ИИ, что улучшает качество экспертизы.

Беспокоит:

• Качество экспертизы: Сомнения в том, что ИИ сможет адекватно оценить заявки в целом.
• Неопределенность результатов: Возможность упустить важные нюансы и контекст.
• Этические вопросы: Проблемы с прозрачностью алгоритмов и ответственностью за результаты.
• Зависимость от технологий: Опасения по поводу недостатка опыта в использовании ИИ.

Эмпирическая оценка

Нравится:

• Обработка больших объемов данных: ИИ способен эффективно обрабатывать текстовые данные и аудиоинтервью.
• Анализ количественных данных: Возможность использования заданных алгоритмов для анализа данных.
• Скорость анализа: Быстрый анализ данных, что позволяет сократить время на обработку.

Беспокоит:

• Субъективность анализа: Неясные модели субъективности, которые могут влиять на результаты.
• Пропуски в данных: Возможность упустить важные аспекты или группы результатов.
• Проблемы с интерпретацией: Необходимость четкого формулирования вопросов для получения качественной информации.

Индикаторная оценка

Нравится:

• Разработка индикаторов: ИИ может разрабатывать индикаторы на основе описания результатов проектов.
• Доступ к базам данных: Возможность изучения спектра индикаторов для конкретных случаев.
• Снижение нагрузки на сотрудников: Упрощение процесса оценки с помощью автоматизации.

Беспокоит:

• Валидность индикаторов: Сомнения в точности и валидности разработанных индикаторов.
• Контекстуализация: Вопросы о том, как ИИ учитывает контекст проекта при разработке индикаторов.
• Формальный подход: Опасения по поводу издержек формального подхода к оценке, который может не учитывать качественные показатели.

Учебники по искусственному интеллекту для школьников

Завтра на клубе PROОЦЕНКУ будем обсуждать использование искусственного интеллекта. Можно еще зарегистрироваться, кстати. О результатах обсуждения напишу сразу же.

А сегодня такая вот новость: "В России выпустили первые учебные пособия "Искусственный интеллект" для 5-9 классов, которые включают цифровое дополнение с сервисами генеративного искусственного интеллекта GigaChat и Kandinsky и соответствуют федеральной рабочей программе одноимённого курса по внеурочной деятельности". Говорят, что в помощь учителям "Просвещение" готовит бесплатный мини-курс.

Как найти правильный баланс между онлайн и офлайн форматами проведения оценки

На ноябрьском заседании клуба PROОЦЕНКУ нам не хватило времени на обсуждение вопроса о том, что следует принимать во внимание, когда оказываешься перед выбором между онлайн и офлайн форматами проведения оценки либо их сочетанием.

На прошлой неделе на «Институте оценки», который проводился новосибирским ИнА-Центром в Москве в рамках проекта #Созвездия_оценки, мы обсудили этот вопрос. Привожу обобщенные результаты работы в малых группах в форме рекомендаций. 

1. Зависимость от целей оценки. Определите, какие именно цели вы хотите достичь с помощью оценки. Это поможет выбрать наиболее подходящий формат.
2. Целевая аудитория. Учитывайте доступность методов оценки для целевой аудитории. Проверьте, какие форматы предпочтительнее для участников и как они могут повлиять на результаты.
3. Контекст реализации проекта. Оцените, насколько важен контекст, в котором реализуется проект. В некоторых случаях офлайн-встречи могут дать больше информации о ситуации.
4. Безопасность участников. Убедитесь, что выбранный формат обеспечивает безопасность участников и хранения данных, особенно если речь идет о конфиденциальной информации.
5. Коммуникация и доверие. Обратите внимание на возможность коммуникации с участниками. Важно учитывать скорость установления доверительных отношений, особенно в онлайн-формате.
6. Ресурсы оценщика. Оцените свои ресурсы (время, деньги) и возможности для проведения оценки. Принимайте во внимание, в числе прочего, те компетенции, которые нужны для проведений оценки онлайн или офлайн. Это поможет определить, какой формат будет более целесообразным.
7. Креативность и новые инструменты. Развивайте креативные подходы и новые инструменты для оценки, которые могут быть применены как в онлайн, так и в офлайн формате.
8. Привычки информантов. Учитывайте привычки и предпочтения информантов, так как некоторые группы (например, чиновники) могут быть более ориентированы на офлайн-взаимодействие.
9. Метод наблюдения. Имейте в виду, что возможности использования метода наблюдения в онлайн-формате могут быть ограничены по сравнению с офлайн.

Я бы добавил, что не только цели оценки надо учитывать (см. п.1), но и вопросы, на которые надлежит ответить. Об этом Алена Богомолова говорила на заседании клуба. Думаю, что при оценке проектов, которые полностью были реализованы в онлайн-формате, онлайн-оценку использовать проще. Полностью согласен с тезисом насчет использования метода наблюдения (см. п.9) и замечу, что есть специфика и в использовании других методов при проведении оценки онлайн.