Оценка, готовая к будущему

Сегодня было объявлено о важном мероприятии в мире оценки, которое пройдет в конце мая 2025 года. Обратите внимание на название и на 7 целей "Конклава оценки 2025". Они отражают приоритеты международных организаций,  а также хозяев мероприятия - указанных ниже региональной и национальной ассоциаций. Кстати, слово "конклав" в своем основном значении относится к закрытому собранию кардиналов, которые выбирают нового папу римского. Однако, в более широком контексте, термин используется для значимых событий, особенно тех, которые связаны с важными решениями или выборами в закрытом кругу.

Сообщество оценщиков Южной Азии (CoE-SA) и Ассоциация оценки Бутана (EAB) в сотрудничестве с правительством Бутана проведут Конклав оценки 2025: "Оценка, готовая к будущему: интеграция голосов и локализация оценки для глобального воздействия" с 27 по 30 мая 2025 года в отеле Пемака, Тхимпху, Бутан. 

Ключевым моментом Конклава оценки станет Саммит будущего оценки, организованный в сотрудничестве с программой Eval4Action и ее сопредседателями: Независимым оценочным офисом Фонда народонаселения ООН (UNFPA), Глобальной сетью EvalYouth, Глобальным парламентским форумом по оценке (GPFE), а также Международной организацией по сотрудничеству в области оценки (IOCE).

Цели Конклава оценки 2025:

1. Увеличить разнообразие голосов и локализовать практики оценки для контекстуальной актуальности.
2. Способствовать справедливым и инклюзивным изменениям.
3. Исследовать будущее оценки через инновации и технологии.
4. Решать современные и вновь возникающие проблемы.
5. Укреплять потенциал в сфере оценки через образование и обучение.
6. Укреплять роль молодежи в оценке и адвокации.
7. Укреплять глобальное и региональное сотрудничество.

Результаты обсуждения использования ИИ в оценке

Только что завершилось 40-е заседание клуба PROОЦЕНКУ, посвященное использованию искусственного интеллекта. Как и обещал, делюсь основными результатами обсуждений в малых группах, которые обработаны с помощью нейросети PERPLEXITY.

Экспертная оценка

Нравится:

• Анализ данных: ИИ может анализировать фрагменты заявок и выделять важные элементы, которые могут быть упущены при традиционном анализе.
• Создание специализированных систем: Возможность разработки собственных обучающих моделей и алгоритмов.
• Снижение нагрузки: Уменьшение нагрузки на сотрудников НКО, что способствует экономии ресурсов.
• Обучение: Эксперты могут накапливать опыт использования ИИ, что улучшает качество экспертизы.

Беспокоит:

• Качество экспертизы: Сомнения в том, что ИИ сможет адекватно оценить заявки в целом.
• Неопределенность результатов: Возможность упустить важные нюансы и контекст.
• Этические вопросы: Проблемы с прозрачностью алгоритмов и ответственностью за результаты.
• Зависимость от технологий: Опасения по поводу недостатка опыта в использовании ИИ.

Эмпирическая оценка

Нравится:

• Обработка больших объемов данных: ИИ способен эффективно обрабатывать текстовые данные и аудиоинтервью.
• Анализ количественных данных: Возможность использования заданных алгоритмов для анализа данных.
• Скорость анализа: Быстрый анализ данных, что позволяет сократить время на обработку.

Беспокоит:

• Субъективность анализа: Неясные модели субъективности, которые могут влиять на результаты.
• Пропуски в данных: Возможность упустить важные аспекты или группы результатов.
• Проблемы с интерпретацией: Необходимость четкого формулирования вопросов для получения качественной информации.

Индикаторная оценка

Нравится:

• Разработка индикаторов: ИИ может разрабатывать индикаторы на основе описания результатов проектов.
• Доступ к базам данных: Возможность изучения спектра индикаторов для конкретных случаев.
• Снижение нагрузки на сотрудников: Упрощение процесса оценки с помощью автоматизации.

Беспокоит:

• Валидность индикаторов: Сомнения в точности и валидности разработанных индикаторов.
• Контекстуализация: Вопросы о том, как ИИ учитывает контекст проекта при разработке индикаторов.
• Формальный подход: Опасения по поводу издержек формального подхода к оценке, который может не учитывать качественные показатели.

Учебники по искусственному интеллекту для школьников

Завтра на клубе PROОЦЕНКУ будем обсуждать использование искусственного интеллекта. Можно еще зарегистрироваться, кстати. О результатах обсуждения напишу сразу же.

А сегодня такая вот новость: "В России выпустили первые учебные пособия "Искусственный интеллект" для 5-9 классов, которые включают цифровое дополнение с сервисами генеративного искусственного интеллекта GigaChat и Kandinsky и соответствуют федеральной рабочей программе одноимённого курса по внеурочной деятельности". Говорят, что в помощь учителям "Просвещение" готовит бесплатный мини-курс.

Как найти правильный баланс между онлайн и офлайн форматами проведения оценки

На ноябрьском заседании клуба PROОЦЕНКУ нам не хватило времени на обсуждение вопроса о том, что следует принимать во внимание, когда оказываешься перед выбором между онлайн и офлайн форматами проведения оценки либо их сочетанием.

На прошлой неделе на «Институте оценки», который проводился новосибирским ИнА-Центром в Москве в рамках проекта #Созвездия_оценки, мы обсудили этот вопрос. Привожу обобщенные результаты работы в малых группах в форме рекомендаций. 

1. Зависимость от целей оценки. Определите, какие именно цели вы хотите достичь с помощью оценки. Это поможет выбрать наиболее подходящий формат.
2. Целевая аудитория. Учитывайте доступность методов оценки для целевой аудитории. Проверьте, какие форматы предпочтительнее для участников и как они могут повлиять на результаты.
3. Контекст реализации проекта. Оцените, насколько важен контекст, в котором реализуется проект. В некоторых случаях офлайн-встречи могут дать больше информации о ситуации.
4. Безопасность участников. Убедитесь, что выбранный формат обеспечивает безопасность участников и хранения данных, особенно если речь идет о конфиденциальной информации.
5. Коммуникация и доверие. Обратите внимание на возможность коммуникации с участниками. Важно учитывать скорость установления доверительных отношений, особенно в онлайн-формате.
6. Ресурсы оценщика. Оцените свои ресурсы (время, деньги) и возможности для проведения оценки. Принимайте во внимание, в числе прочего, те компетенции, которые нужны для проведений оценки онлайн или офлайн. Это поможет определить, какой формат будет более целесообразным.
7. Креативность и новые инструменты. Развивайте креативные подходы и новые инструменты для оценки, которые могут быть применены как в онлайн, так и в офлайн формате.
8. Привычки информантов. Учитывайте привычки и предпочтения информантов, так как некоторые группы (например, чиновники) могут быть более ориентированы на офлайн-взаимодействие.
9. Метод наблюдения. Имейте в виду, что возможности использования метода наблюдения в онлайн-формате могут быть ограничены по сравнению с офлайн.

Я бы добавил, что не только цели оценки надо учитывать (см. п.1), но и вопросы, на которые надлежит ответить. Об этом Алена Богомолова говорила на заседании клуба. Думаю, что при оценке проектов, которые полностью были реализованы в онлайн-формате, онлайн-оценку использовать проще. Полностью согласен с тезисом насчет использования метода наблюдения (см. п.9) и замечу, что есть специфика и в использовании других методов при проведении оценки онлайн. 

Теория уязвимости

В «Благосфере» 4 декабря на форуме «Абсолютные возможности» Благотворительного фонда «Абсолют – Помощь» вместе со специалистами Фонда будем рассказывать про новые идеи, которые Фонд собирается внедрять в ближайшее время и в разработке которых мы принимаем участие. Речь пойдет о теории уязвимости, картах уязвимости и индексе уязвимости применительно к целевым группам Фонда – детям и молодым взрослым, которые в силу тех или иных причин оказались в уязвимом положении.

• Под уязвимостью человека мы понимаем подверженность воздействию, которое может причинить вред.
• Теория уязвимости показывает причинно-следственную связь между характеристиками ситуации; характеристиками человека, который находится в этой ситуации; и вредом, который может быть причинен человеку в данной ситуации.
• Карта уязвимости позволяет визуализировать теорию уязвимости.
• Индекс уязвимости характеризует степень уязвимости человека в определенной ситуации и вычисляется с учетом вероятности причинения вреда и степени серьезности последствий этого вреда.   

После Форума планируем с коллегами из Фонда написать обо всем этом подробно.

Само-оценивание онлайн

Продолжаем тему, о которой шла речь в предыдущей публикации. 

Если говорить об «уходе в онлайн», то, на мой взгляд, само-оценивание в этом плане выглядит намного перспективнее, чем внешняя оценка. Тому есть несколько причин:

1. При проведении само-оценивания снимается вопрос о понимании и ощущении контекста: авторы и исполнители проекта погружены в контекст изначально. Для внешнего консультанта, работающего онлайн, эта задача может оказаться нерешаемой.
2. У организации, проводящей само-оценивание, уже установлены достаточно доверительные отношения с различными заинтересованными сторонами. Для внешнего консультанта, работающего дистанционно, установление доверительных отношений может быть проблематичным.
3. В ситуации само-оценивания известно, с кем получится, а с кем не получится работать онлайн. Внешнему консультанту придется это выяснять отдельно, и могут быть неожиданности.
4. При проведении само-оценивания можно «уйти в онлайн» лишь частично, а остальное сделать офлайн. Причем такие решения можно принимать по ходу проведения работ. У внешнего консультанта такой возможности нет: онлайн-формат оговаривается в контракте. 

Все эти рассуждения, конечно, относятся к проектам, которые хотя бы отчасти выполняются офлайн. Внешняя оценка онлайн-проектов вполне реалистична, хотя первая и вторая из перечисленных выше проблем все равно будут иметь место. 

На месте финансирующей организации, которая по каким-то причинам собирается проводить внешнюю оценку онлайн, я бы рассмотрел вопрос о сочетании внешней оценки с само-оцениванием. Внешнему консультанту можно было бы поставить задачу, которую он сможет выполнить качественно, а оцениваемой организации можно поручить выполнить вторую часть работы самостоятельно.

Дистанционная оценка проекта: что можно, а чего нельзя оценить на расстоянии?

Эту тему вчера обсуждали на очередном заседании клуба PROОЦЕНКУ. Видеозапись и презентация уже доступны на сайте клуба. 

Хотел бы отметить несколько комментариев, которые есть на видео. Вероятно, не все будут его смотреть от начала до конца… 😊 Речь шла о том, как найти правильный баланс между онлайн и офлайн-форматами. 

Ирина Решта отметила несколько моментов: 

• "Следует всегда выбирать те методы, которые адекватны конкретной ситуации (онлайн или офлайн) и использовать именно те форматы работы, которые учитывают специфику целевых групп. 
• Онлайн-формат работы требует от тех, кто проводит оценку, особой подготовки по сравнению с привычным офлайн-форматом (сюда относятся и технические вопросы).
• Представители наших целевых групп могут оказаться в разной степени знакомы с онлайн-технологиями. Поэтому полный уход в онлайн может автоматически исключить часть целевой группы из выборки.
• При переходе в онлайн-формат может быть сложно понять и прочувствовать контекст, в котором реализуется проект. А это при проведении оценки очень важно".

Алёна Богомолова добавила следующее: 

"Разговор про перевод оценки онлайн-формат возвращает нас к очень важному этапу планирования и продумывания оценки. Нам надо прояснить: 

• На такие вопросы нам надо получить ответы?
• Какие данные нам надо для этого собрать? 
• Какими ресурсами мы располагаем?

Пока мы не ответим на эти три вопроса, мы не сможем определить, подходит нам онлайн-формат или не подходит, полностью мы можем уйти в онлайн или только частично. Но, конечно, отказываться априори от онлайн формата было бы просто глупо". 

В презентации, есть много интересных идей по поводу преимуществ и ограничений онлайн и офлайн форматов, а также по поводу особенностей проведения индивидуальных интервью и фокус-групп онлайн. 

BRICS и оценка

Сегодня открылся прием заявок на выступления на международной конференции, тему которой звучит примерно примерно так: «Многомерная оценка, ориентированная на влияние и трансформацию». Организаторы конференции – Ассоциация оценки международного развития (IDEAS) и (внимание!) Новый банк развития (НБР), ранее известный как Новый банк развития БРИКС (международная финансовая организация, которая создана странами-членами БРИКС - Бразилией, Россией, Индией, Китаем и ЮАР). Конференция пройдет с 4 по 6 марта 2025 года в Риме (Италия). Для всех докладчиков формат участия – офлайн. 

Программа конференции включает 6 тематических направлений: 

1. Актуальность и сложность оценки Целей устойчивого развития
2. Оценка трансформационных изменений 
3. Контекст оценки и культура
4. Гендер, права человека и равенство
5. Развитие потенциала оценки
6. Оценка устойчивого развития в странах БРИКС и других странах с развивающейся экономикой

Насколько мне известно, это первое событие глобального масштаба, где рассматривается тема оценки в странах BRICS. Можно предположить, что НБР не случайно стал со-организатором данной конференции, и что он продолжит поддержку инициатив, связанных с оценкой. Политика НБР в сфере оценки, принятая в 2022 году, подтверждает, что банк придает большое значение этому направлению деятельности. 

Сайт конференции здесь.

Интеграция инструментов искусственного интеллекта в процессы оценки

Вчера в городе Портленд (шт.Орегон) в конгресс-центре (на фото) открылась очередная конференция Американской ассоциации оценки. Одна из тем, которую коллеги будут обсуждать, конечно же, связана с использованием искусственного интеллекта. Я насчитал порядка 10 сессий, в названия которых включены слова «искусственный интеллект». Одна из них, например, называется так: «Призраки в оценочной машине: этика, защита данных, метаоценка и качество оценки в эпоху искусственного интеллекта»… Было бы интересно послушать 😊 Ну, это, "когда воротимся мы в Портленд", как поётся в известной песне. 

Мы готовимся обсудить вопросы практического использования ИИ в оценке на одной из сессий в рамках Института оценки, который пройдет в Москве в декабре. Заявки на участие в Институте принимаются до 5 ноября ЗДЕСЬ.

Пока же посмотрим, что зарубежные коллеги пишут о проблемах, связанных с использованием искусственного интеллекта (ИИ):

1. Проблемы конфиденциальности и безопасности данных. Использование ИИ в оценке часто подразумевает обработку больших объемов конфиденциальных данных, что вызывает серьезные проблемы. Неспособность должным образом защитить персонально идентифицируемую информацию может привести к юридическим последствиям и потере доверия.
2. Проблемы предвзятости. Системы ИИ могут наследовать и усиливать предвзятость, заложенную при их обучении, что, в свою очередь, может привести к несправедливым или даже дискриминационным результатам оценок. От специалистов по оценке потребуются сознательные усилия для того, чтобы этого избежать.
3. Закрытость процесса. Многие системы ИИ, особенно основанные на сложных алгоритмах, функционируют как «черные ящики», что затрудняет понимание того, как был получен тот или иной результат. Такое отсутствие прозрачности может подорвать доверие к результатам, полученным с помощью ИИ, и в целом усложнить обоснование результатов оценки. 
4. Интеграция с существующими процессами. Внедрение инструментов ИИ требует существенных изменений в устоявшихся процессах оценки. Удастся ли их органично соединить с новыми технологиями? 
5. Вопросы нормативного регулирования. Специалистам по оценке, использующим ИИ, может быть сложно ориентироваться в нормативно-правовом поле. Обеспечение соответствия систем ИИ правовым стандартам и этическим нормам может потребовать дополнительных усилий.
6. Развитие новых навыков. По мере развития технологий ИИ растет необходимость в приобретении оценщиками новых навыков, имеющих отношение к внедрению и использованию ИИ. Следовательно, нужны качественные специализированные программы обучения. Их пока явно недостаточно.

С Днем учителя!

В 1986 году в Россию приезжал Карл Роджерс – один из основателей гуманистической психологии. В то время я учился на факультете психологии МГУ и попал на его выступление в университете. Очень повезло! 

К чему это я? Вчера был День учителя. Хотел бы поздравить всех причастных к этой замечательной профессии и напомнить вопросы, которые Карл Роджерс задал бы себе, если бы был учителем (статья с этими вопросами здесь): 

1. Умею ли я входить во внутренний мир человека, который учится и взрослеет? Смог ли бы я отнестись к этому миру без предрассудков, без предвзятых оценок, смог ли бы я личностно, эмоционально откликнуться на этот мир?
2. Умею ли я позволить самому себе быть личностью и строить открытые, эмоционально насыщенные, неролевые взаимоотношения с моими учениками, отношения, в которых все участники учатся? Хватит ли у меня мужества разделить со своими учениками эту интенсивность наших взаимоотношений?
3. Сумею ли я обнаружить интересы каждого в моем классе и смогу ли позволить ему или ей следовать этим индивидуальным интересам, куда бы они ни вели?
4. Смогу ли помочь моим ученикам сохранить живой интерес, любопытство по отношению к самим себе, к миру, который их окружает, сохранить и поддержать самое дорогое, чем обладает человек?
5. В достаточной ли степени я сам творческий человек, который сможет столкнуть детей с людьми и с их внутренним миром, с книгами, всеми видами источников знаний – с тем, что действительно стимулирует любознательность и поддерживает интерес?
6. Смог ли бы я принимать и поддерживать нарождающиеся и в первый момент несовершенные идеи и творческие задумки моих учеников, этих посланников будущих творческих форм учения и активности? Смог ли бы я принять тех творческих детей, которые так часто выглядят беспокойными и не отвечают принятым стандартам в поведении?
7. Смог ли бы я помочь ребенку расти целостным человеком, чувства которого порождают идеи, а идеи – чувства?