"Не по бумагам"

РИА Новости сообщает, что сегодня на совещании с членами правительства Путин обсуждал нацпроекты. В частности, он сказал, что: 

(а) вся работа по нацпроектам должна быть ориентирована на реальный результат;

(б) работа по реализации нацпроектов должна идти по плану;

(в) результаты работы над нацпроектами будут оцениваться не "по бумагам", а исходя из реалий и влияния на жизнь людей.

Пункт (а) относится к дизайну проектов и к формулированию их целей. 

Пункт (б) предполагает осуществление мониторинга.

Для реализации пункта (в) понадобится каким-то образом понять реалии и влияние на жизнь людей. Очевидно, что здесь речь должна идти об эмпирической оценке. 

Такое вот начало года!

Самые популярные публикации в блоге в 2024 году и планы на 2025

Самыми популярными и получившими наибольшее число положительных реакций оказались следующие: 

• Системные изменения и их оценка 
• Теория уязвимости 
• Чек-лист для анкеты 

Все три темы планирую развивать в следующем году:

• С новосибирским ИнАЦентром готовим онлайновый семинар по системному мышлению. 
• С БФ «Абсолют-Помощь» продолжим обсуждать теорию уязвимости и возможные совместные публикации. Тема интересная и важная!
• Обязательно сделаю новый вариант чек-листа для анкеты.

Читателей блога от всей души поздравляю с наступающим Новым годом! Картинку сгенерировал с помощью нейросети «Шедеврум». 

Оценка, готовая к будущему

Сегодня было объявлено о важном мероприятии в мире оценки, которое пройдет в конце мая 2025 года. Обратите внимание на название и на 7 целей "Конклава оценки 2025". Они отражают приоритеты международных организаций,  а также хозяев мероприятия - указанных ниже региональной и национальной ассоциаций. Кстати, слово "конклав" в своем основном значении относится к закрытому собранию кардиналов, которые выбирают нового папу римского. Однако, в более широком контексте, термин используется для значимых событий, особенно тех, которые связаны с важными решениями или выборами в закрытом кругу.

Сообщество оценщиков Южной Азии (CoE-SA) и Ассоциация оценки Бутана (EAB) в сотрудничестве с правительством Бутана проведут Конклав оценки 2025: "Оценка, готовая к будущему: интеграция голосов и локализация оценки для глобального воздействия" с 27 по 30 мая 2025 года в отеле Пемака, Тхимпху, Бутан. 

Ключевым моментом Конклава оценки станет Саммит будущего оценки, организованный в сотрудничестве с программой Eval4Action и ее сопредседателями: Независимым оценочным офисом Фонда народонаселения ООН (UNFPA), Глобальной сетью EvalYouth, Глобальным парламентским форумом по оценке (GPFE), а также Международной организацией по сотрудничеству в области оценки (IOCE).

Цели Конклава оценки 2025:

1. Увеличить разнообразие голосов и локализовать практики оценки для контекстуальной актуальности.
2. Способствовать справедливым и инклюзивным изменениям.
3. Исследовать будущее оценки через инновации и технологии.
4. Решать современные и вновь возникающие проблемы.
5. Укреплять потенциал в сфере оценки через образование и обучение.
6. Укреплять роль молодежи в оценке и адвокации.
7. Укреплять глобальное и региональное сотрудничество.

Результаты обсуждения использования ИИ в оценке

Только что завершилось 40-е заседание клуба PROОЦЕНКУ, посвященное использованию искусственного интеллекта. Как и обещал, делюсь основными результатами обсуждений в малых группах, которые обработаны с помощью нейросети PERPLEXITY.

Экспертная оценка

Нравится:

• Анализ данных: ИИ может анализировать фрагменты заявок и выделять важные элементы, которые могут быть упущены при традиционном анализе.
• Создание специализированных систем: Возможность разработки собственных обучающих моделей и алгоритмов.
• Снижение нагрузки: Уменьшение нагрузки на сотрудников НКО, что способствует экономии ресурсов.
• Обучение: Эксперты могут накапливать опыт использования ИИ, что улучшает качество экспертизы.

Беспокоит:

• Качество экспертизы: Сомнения в том, что ИИ сможет адекватно оценить заявки в целом.
• Неопределенность результатов: Возможность упустить важные нюансы и контекст.
• Этические вопросы: Проблемы с прозрачностью алгоритмов и ответственностью за результаты.
• Зависимость от технологий: Опасения по поводу недостатка опыта в использовании ИИ.

Эмпирическая оценка

Нравится:

• Обработка больших объемов данных: ИИ способен эффективно обрабатывать текстовые данные и аудиоинтервью.
• Анализ количественных данных: Возможность использования заданных алгоритмов для анализа данных.
• Скорость анализа: Быстрый анализ данных, что позволяет сократить время на обработку.

Беспокоит:

• Субъективность анализа: Неясные модели субъективности, которые могут влиять на результаты.
• Пропуски в данных: Возможность упустить важные аспекты или группы результатов.
• Проблемы с интерпретацией: Необходимость четкого формулирования вопросов для получения качественной информации.

Индикаторная оценка

Нравится:

• Разработка индикаторов: ИИ может разрабатывать индикаторы на основе описания результатов проектов.
• Доступ к базам данных: Возможность изучения спектра индикаторов для конкретных случаев.
• Снижение нагрузки на сотрудников: Упрощение процесса оценки с помощью автоматизации.

Беспокоит:

• Валидность индикаторов: Сомнения в точности и валидности разработанных индикаторов.
• Контекстуализация: Вопросы о том, как ИИ учитывает контекст проекта при разработке индикаторов.
• Формальный подход: Опасения по поводу издержек формального подхода к оценке, который может не учитывать качественные показатели.

Учебники по искусственному интеллекту для школьников

Завтра на клубе PROОЦЕНКУ будем обсуждать использование искусственного интеллекта. Можно еще зарегистрироваться, кстати. О результатах обсуждения напишу сразу же.

А сегодня такая вот новость: "В России выпустили первые учебные пособия "Искусственный интеллект" для 5-9 классов, которые включают цифровое дополнение с сервисами генеративного искусственного интеллекта GigaChat и Kandinsky и соответствуют федеральной рабочей программе одноимённого курса по внеурочной деятельности". Говорят, что в помощь учителям "Просвещение" готовит бесплатный мини-курс.

Как найти правильный баланс между онлайн и офлайн форматами проведения оценки

На ноябрьском заседании клуба PROОЦЕНКУ нам не хватило времени на обсуждение вопроса о том, что следует принимать во внимание, когда оказываешься перед выбором между онлайн и офлайн форматами проведения оценки либо их сочетанием.

На прошлой неделе на «Институте оценки», который проводился новосибирским ИнА-Центром в Москве в рамках проекта #Созвездия_оценки, мы обсудили этот вопрос. Привожу обобщенные результаты работы в малых группах в форме рекомендаций. 

1. Зависимость от целей оценки. Определите, какие именно цели вы хотите достичь с помощью оценки. Это поможет выбрать наиболее подходящий формат.
2. Целевая аудитория. Учитывайте доступность методов оценки для целевой аудитории. Проверьте, какие форматы предпочтительнее для участников и как они могут повлиять на результаты.
3. Контекст реализации проекта. Оцените, насколько важен контекст, в котором реализуется проект. В некоторых случаях офлайн-встречи могут дать больше информации о ситуации.
4. Безопасность участников. Убедитесь, что выбранный формат обеспечивает безопасность участников и хранения данных, особенно если речь идет о конфиденциальной информации.
5. Коммуникация и доверие. Обратите внимание на возможность коммуникации с участниками. Важно учитывать скорость установления доверительных отношений, особенно в онлайн-формате.
6. Ресурсы оценщика. Оцените свои ресурсы (время, деньги) и возможности для проведения оценки. Принимайте во внимание, в числе прочего, те компетенции, которые нужны для проведений оценки онлайн или офлайн. Это поможет определить, какой формат будет более целесообразным.
7. Креативность и новые инструменты. Развивайте креативные подходы и новые инструменты для оценки, которые могут быть применены как в онлайн, так и в офлайн формате.
8. Привычки информантов. Учитывайте привычки и предпочтения информантов, так как некоторые группы (например, чиновники) могут быть более ориентированы на офлайн-взаимодействие.
9. Метод наблюдения. Имейте в виду, что возможности использования метода наблюдения в онлайн-формате могут быть ограничены по сравнению с офлайн.

Я бы добавил, что не только цели оценки надо учитывать (см. п.1), но и вопросы, на которые надлежит ответить. Об этом Алена Богомолова говорила на заседании клуба. Думаю, что при оценке проектов, которые полностью были реализованы в онлайн-формате, онлайн-оценку использовать проще. Полностью согласен с тезисом насчет использования метода наблюдения (см. п.9) и замечу, что есть специфика и в использовании других методов при проведении оценки онлайн. 

Теория уязвимости

В «Благосфере» 4 декабря на форуме «Абсолютные возможности» Благотворительного фонда «Абсолют – Помощь» вместе со специалистами Фонда будем рассказывать про новые идеи, которые Фонд собирается внедрять в ближайшее время и в разработке которых мы принимаем участие. Речь пойдет о теории уязвимости, картах уязвимости и индексе уязвимости применительно к целевым группам Фонда – детям и молодым взрослым, которые в силу тех или иных причин оказались в уязвимом положении.

• Под уязвимостью человека мы понимаем подверженность воздействию, которое может причинить вред.
• Теория уязвимости показывает причинно-следственную связь между характеристиками ситуации; характеристиками человека, который находится в этой ситуации; и вредом, который может быть причинен человеку в данной ситуации.
• Карта уязвимости позволяет визуализировать теорию уязвимости.
• Индекс уязвимости характеризует степень уязвимости человека в определенной ситуации и вычисляется с учетом вероятности причинения вреда и степени серьезности последствий этого вреда.   

После Форума планируем с коллегами из Фонда написать обо всем этом подробно.

Само-оценивание онлайн

Продолжаем тему, о которой шла речь в предыдущей публикации. 

Если говорить об «уходе в онлайн», то, на мой взгляд, само-оценивание в этом плане выглядит намного перспективнее, чем внешняя оценка. Тому есть несколько причин:

1. При проведении само-оценивания снимается вопрос о понимании и ощущении контекста: авторы и исполнители проекта погружены в контекст изначально. Для внешнего консультанта, работающего онлайн, эта задача может оказаться нерешаемой.
2. У организации, проводящей само-оценивание, уже установлены достаточно доверительные отношения с различными заинтересованными сторонами. Для внешнего консультанта, работающего дистанционно, установление доверительных отношений может быть проблематичным.
3. В ситуации само-оценивания известно, с кем получится, а с кем не получится работать онлайн. Внешнему консультанту придется это выяснять отдельно, и могут быть неожиданности.
4. При проведении само-оценивания можно «уйти в онлайн» лишь частично, а остальное сделать офлайн. Причем такие решения можно принимать по ходу проведения работ. У внешнего консультанта такой возможности нет: онлайн-формат оговаривается в контракте. 

Все эти рассуждения, конечно, относятся к проектам, которые хотя бы отчасти выполняются офлайн. Внешняя оценка онлайн-проектов вполне реалистична, хотя первая и вторая из перечисленных выше проблем все равно будут иметь место. 

На месте финансирующей организации, которая по каким-то причинам собирается проводить внешнюю оценку онлайн, я бы рассмотрел вопрос о сочетании внешней оценки с само-оцениванием. Внешнему консультанту можно было бы поставить задачу, которую он сможет выполнить качественно, а оцениваемой организации можно поручить выполнить вторую часть работы самостоятельно.

Дистанционная оценка проекта: что можно, а чего нельзя оценить на расстоянии?

Эту тему вчера обсуждали на очередном заседании клуба PROОЦЕНКУ. Видеозапись и презентация уже доступны на сайте клуба. 

Хотел бы отметить несколько комментариев, которые есть на видео. Вероятно, не все будут его смотреть от начала до конца… 😊 Речь шла о том, как найти правильный баланс между онлайн и офлайн-форматами. 

Ирина Решта отметила несколько моментов: 

• "Следует всегда выбирать те методы, которые адекватны конкретной ситуации (онлайн или офлайн) и использовать именно те форматы работы, которые учитывают специфику целевых групп. 
• Онлайн-формат работы требует от тех, кто проводит оценку, особой подготовки по сравнению с привычным офлайн-форматом (сюда относятся и технические вопросы).
• Представители наших целевых групп могут оказаться в разной степени знакомы с онлайн-технологиями. Поэтому полный уход в онлайн может автоматически исключить часть целевой группы из выборки.
• При переходе в онлайн-формат может быть сложно понять и прочувствовать контекст, в котором реализуется проект. А это при проведении оценки очень важно".

Алёна Богомолова добавила следующее: 

"Разговор про перевод оценки онлайн-формат возвращает нас к очень важному этапу планирования и продумывания оценки. Нам надо прояснить: 

• На такие вопросы нам надо получить ответы?
• Какие данные нам надо для этого собрать? 
• Какими ресурсами мы располагаем?

Пока мы не ответим на эти три вопроса, мы не сможем определить, подходит нам онлайн-формат или не подходит, полностью мы можем уйти в онлайн или только частично. Но, конечно, отказываться априори от онлайн формата было бы просто глупо". 

В презентации, есть много интересных идей по поводу преимуществ и ограничений онлайн и офлайн форматов, а также по поводу особенностей проведения индивидуальных интервью и фокус-групп онлайн. 

BRICS и оценка

Сегодня открылся прием заявок на выступления на международной конференции, тему которой звучит примерно примерно так: «Многомерная оценка, ориентированная на влияние и трансформацию». Организаторы конференции – Ассоциация оценки международного развития (IDEAS) и (внимание!) Новый банк развития (НБР), ранее известный как Новый банк развития БРИКС (международная финансовая организация, которая создана странами-членами БРИКС - Бразилией, Россией, Индией, Китаем и ЮАР). Конференция пройдет с 4 по 6 марта 2025 года в Риме (Италия). Для всех докладчиков формат участия – офлайн. 

Программа конференции включает 6 тематических направлений: 

1. Актуальность и сложность оценки Целей устойчивого развития
2. Оценка трансформационных изменений 
3. Контекст оценки и культура
4. Гендер, права человека и равенство
5. Развитие потенциала оценки
6. Оценка устойчивого развития в странах БРИКС и других странах с развивающейся экономикой

Насколько мне известно, это первое событие глобального масштаба, где рассматривается тема оценки в странах BRICS. Можно предположить, что НБР не случайно стал со-организатором данной конференции, и что он продолжит поддержку инициатив, связанных с оценкой. Политика НБР в сфере оценки, принятая в 2022 году, подтверждает, что банк придает большое значение этому направлению деятельности. 

Сайт конференции здесь.