Экспертиза заявок: какие сложности возникают у грантодающих организаций и операторов грантовых конкурсов

Сегодня прошло очередное заседание клуба PROОЦЕНКУ, посвященное проблемам экспертной оценки заявок. С материалами заседания можно ознакомиться на сайте клуба Было интересно и, конечно же, многое обсудить не успели. Вероятно, к этой теме нужно будет еще вернуться. Пока хотел бы кратко представить те проблемные области, которые выделили представители грантодающих организаций и операторы грантовых конкурсов.

Качество работы экспертов. Качество оценки заявки не всегда высокое. Причины могут быть разными, включая перегрузку экспертов. Есть проблема субъективизма и личных предпочтений относительно темы заявки, предлагаемых в ней подходов. Иногда отношение эксперта к организации-заявителю играет решающую роль в оценке заявки. Не всем экспертам удается сохранить непредвзятость: бывают среди них «добрые» и «злые», и оценки получаются крайние - либо «супер», либо «никуда не годится». Не всегда экспертам хватает специфических знаний, необходимых для комплексной оценки заявки по всем критериям (например, для оценки бизнес-процессов). 

Качество экспертных заключений. Не всегда из комментариев можно понять обоснование оценки и логику вынесения суждения по заявке. При этом комментарии могут быть и слишком короткие, и слишком пространные. Иногда эксперты грешат многократным использованием шаблонных фраз.

Со-настройка экспертов и организаторов конкурса. Не всегда и не всем экспертам удается уловить и принять во внимание приоритеты конкурса и ценности донора. Бывает, что они опираются на опыт своей работы в других конкурсах с другими донорами. Иногда невнимательно относятся к рекомендациям, не приходят на обучение или организационные встречи.

Критерии оценки. Разработка критериев оценки заявок – сложная и ресурсоемкая задача. Не всегда организаторам грантового конкурса удается ее решить безупречно. Бывают случаи, когда критерии оценки допускают множественные интерпретации. Бывает, что при, казалось бы, хорошо проработанных критериях и шкалах комментарии экспертов близки, а оценки сильно отличаются. Формальные критерии не всегда позволяют отсеивать «красивые» заявки, которые соответствуют всем формальным требованиям, но за которыми де-факто нет содержания.

Этика работы экспертов. Не всегда комментарии формулируются корректно и профессионально. Редко, но бывает, что эксперты не сообщают о конфликте интересов, и это очень сложно отследить. Некоторые эксперты допускают информирование знакомых заявителей о том, кто что сказал про их заявки на экспертном совете. Иногда эксперты избегают важных содержательных комментариев, которые могут раскрыть их личность для заявителя. 

Деловая культура экспертов. Случаются проявления необязательности: несоблюдение сроков, небрежное отношение к оформлению документов (включая договоры), задержки в коммуникации.

Подбор экспертов. Найти достаточное количество квалифицированных экспертов непросто. Особенно, если такая необходимость возникает неожиданно (число заявок оказывается значительно больше, чем ожидалось). Особенно большая проблема с поиском экспертов в малых городах. Проблема осложняется необходимостью ротации экспертов. Период ротации – отдельная важная тема.

Организационно-технические вопросы. Контроль работы экспертов (сложно организовать). Оплата экспертов (бюджет ограничен). Технические проблемы – интерфейс, устойчивость связи.

Степень проработанности замысла конкурса и конкурсной документации (это замечание от оператора грантовых конкурсов). Шаблоны заявок не всегда соотносятся со спецификой конкурса и его целями. Не всегда понятна цель конкретного конкурса.

Кодекс этики в сфере ИИ

Альянс в сфере искусственного интеллекта (далее – Альянс) опубликовал Кодекс этики в сфере ИИ. На сайте Альянса также доступна Национальная стратегия развития ИИ до 2030 года. 

Альянс объединяет ведущие технологические компании для совместного развития их компетенций и ускоренного внедрения искусственного интеллекта в образовании, научных исследованиях и в практической деятельности бизнеса. Миссия Альянса: «Быть центром развития искусственного интеллекта в России и обес­печивать технологическое лидерство нашей страны и компаний­участников Альянса на глобальном технологическом рынке».

Основные положения (разделы) Кодекса:

1. Главный приоритет развития технологий ии в защите интересов и прав людей и отдельного человека.
2. Необходимо осознавать ответственность при создании и использовании ИИ.
3. Ответственность за последствия применения систем ИИ всегда несет человек.
4. Технологии ИИ нужно применять по назначению и внедрять там, где это принесёт пользу людям.
5. Интересы развития технологий ИИ выше интересов конкуренции.
6. Важна максимальная прозрачность и правдивость в информировании об уровне развития технологий ИИ, их возможностях и рисках.

В Кодексе также содержатся положения, регламентирующие его применение. 

Полагаю, специалистам по оценке проектов и программ следует принимать во внимание этот важный документ в свете активного внедрения ИИ в практику оценки.

Принципы андрагогики и оценка обучающих программ

Андрагогикой называют  раздел теории обучения, раскрывающий специфические закономерности освоения знаний и умений взрослыми учащимися, а также особенности руководства этой деятельностью со стороны профессионального педагога. Несмотря на то, что понятие «андрагогика» было введено в научный обиход в первой половине 19 века, наиболее цитируемым автором и главным популяризатором андрагогики сегодня чаще всего называют Малкольма Ноулза (Malcolm Knowles). Его публикации появились в 70-е и 80-е годы 20 века.  

Ниже приведены базовые положения андрагогики, которые, конечно же, можно принимать во внимание при оценке программ и проектов, включающих обучение взрослых, а также при планировании и проведении обучения оценке. 

• Обучающемуся принадлежит ведущая роль в процессе своего обучения (потому он обучающийся, а не обучаемый).
• Взрослый обучающийся стремится к самореализации, к самостоятельности, к самоуправлению и осознаёт себя таковым.
• Взрослый обучающийся обладает жизненным (бытовым, социальным, профессиональным) опытом, который может быть использован в качестве важного источника обучения как его самого, так и его коллег.
• Взрослый человек обучается для решения важной жизненной проблемы и достижения конкретной цели.
• Взрослый обучающийся рассчитывает на безотлагательное применение полученных в ходе обучения умений, навыков, знаний и качеств.
• Учебная деятельность взрослого обучающегося в значительной степени определяется временными, пространственными, бытовыми, профессиональными, социальными факторами, которые либо ограничивают, либо способствуют процессу обучения.
• Процесс обучения взрослого обучающегося организован в виде совместной деятельности обучающегося и обучающего на всех его этапах: планирования, реализации, оценивания и, в определённой мере, коррекции.

Русскоязычных публикаций по андрагогике на русском языке много. Среди них не только блоги и электронные статьи, но и книги, обложки которых использованы в качестве иллюстрации к данной публикации. 

"Не по бумагам"

РИА Новости сообщает, что сегодня на совещании с членами правительства Путин обсуждал нацпроекты. В частности, он сказал, что: 

(а) вся работа по нацпроектам должна быть ориентирована на реальный результат;

(б) работа по реализации нацпроектов должна идти по плану;

(в) результаты работы над нацпроектами будут оцениваться не "по бумагам", а исходя из реалий и влияния на жизнь людей.

Пункт (а) относится к дизайну проектов и к формулированию их целей. 

Пункт (б) предполагает осуществление мониторинга.

Для реализации пункта (в) понадобится каким-то образом понять реалии и влияние на жизнь людей. Очевидно, что здесь речь должна идти об эмпирической оценке. 

Такое вот начало года!

Самые популярные публикации в блоге в 2024 году и планы на 2025

Самыми популярными и получившими наибольшее число положительных реакций оказались следующие: 

• Системные изменения и их оценка 
• Теория уязвимости 
• Чек-лист для анкеты 

Все три темы планирую развивать в следующем году:

• С новосибирским ИнАЦентром готовим онлайновый семинар по системному мышлению. 
• С БФ «Абсолют-Помощь» продолжим обсуждать теорию уязвимости и возможные совместные публикации. Тема интересная и важная!
• Обязательно сделаю новый вариант чек-листа для анкеты.

Читателей блога от всей души поздравляю с наступающим Новым годом! Картинку сгенерировал с помощью нейросети «Шедеврум». 

Оценка, готовая к будущему

Сегодня было объявлено о важном мероприятии в мире оценки, которое пройдет в конце мая 2025 года. Обратите внимание на название и на 7 целей "Конклава оценки 2025". Они отражают приоритеты международных организаций,  а также хозяев мероприятия - указанных ниже региональной и национальной ассоциаций. Кстати, слово "конклав" в своем основном значении относится к закрытому собранию кардиналов, которые выбирают нового папу римского. Однако, в более широком контексте, термин используется для значимых событий, особенно тех, которые связаны с важными решениями или выборами в закрытом кругу.

Сообщество оценщиков Южной Азии (CoE-SA) и Ассоциация оценки Бутана (EAB) в сотрудничестве с правительством Бутана проведут Конклав оценки 2025: "Оценка, готовая к будущему: интеграция голосов и локализация оценки для глобального воздействия" с 27 по 30 мая 2025 года в отеле Пемака, Тхимпху, Бутан. 

Ключевым моментом Конклава оценки станет Саммит будущего оценки, организованный в сотрудничестве с программой Eval4Action и ее сопредседателями: Независимым оценочным офисом Фонда народонаселения ООН (UNFPA), Глобальной сетью EvalYouth, Глобальным парламентским форумом по оценке (GPFE), а также Международной организацией по сотрудничеству в области оценки (IOCE).

Цели Конклава оценки 2025:

1. Увеличить разнообразие голосов и локализовать практики оценки для контекстуальной актуальности.
2. Способствовать справедливым и инклюзивным изменениям.
3. Исследовать будущее оценки через инновации и технологии.
4. Решать современные и вновь возникающие проблемы.
5. Укреплять потенциал в сфере оценки через образование и обучение.
6. Укреплять роль молодежи в оценке и адвокации.
7. Укреплять глобальное и региональное сотрудничество.

Результаты обсуждения использования ИИ в оценке

Только что завершилось 40-е заседание клуба PROОЦЕНКУ, посвященное использованию искусственного интеллекта. Как и обещал, делюсь основными результатами обсуждений в малых группах, которые обработаны с помощью нейросети PERPLEXITY.

Экспертная оценка

Нравится:

• Анализ данных: ИИ может анализировать фрагменты заявок и выделять важные элементы, которые могут быть упущены при традиционном анализе.
• Создание специализированных систем: Возможность разработки собственных обучающих моделей и алгоритмов.
• Снижение нагрузки: Уменьшение нагрузки на сотрудников НКО, что способствует экономии ресурсов.
• Обучение: Эксперты могут накапливать опыт использования ИИ, что улучшает качество экспертизы.

Беспокоит:

• Качество экспертизы: Сомнения в том, что ИИ сможет адекватно оценить заявки в целом.
• Неопределенность результатов: Возможность упустить важные нюансы и контекст.
• Этические вопросы: Проблемы с прозрачностью алгоритмов и ответственностью за результаты.
• Зависимость от технологий: Опасения по поводу недостатка опыта в использовании ИИ.

Эмпирическая оценка

Нравится:

• Обработка больших объемов данных: ИИ способен эффективно обрабатывать текстовые данные и аудиоинтервью.
• Анализ количественных данных: Возможность использования заданных алгоритмов для анализа данных.
• Скорость анализа: Быстрый анализ данных, что позволяет сократить время на обработку.

Беспокоит:

• Субъективность анализа: Неясные модели субъективности, которые могут влиять на результаты.
• Пропуски в данных: Возможность упустить важные аспекты или группы результатов.
• Проблемы с интерпретацией: Необходимость четкого формулирования вопросов для получения качественной информации.

Индикаторная оценка

Нравится:

• Разработка индикаторов: ИИ может разрабатывать индикаторы на основе описания результатов проектов.
• Доступ к базам данных: Возможность изучения спектра индикаторов для конкретных случаев.
• Снижение нагрузки на сотрудников: Упрощение процесса оценки с помощью автоматизации.

Беспокоит:

• Валидность индикаторов: Сомнения в точности и валидности разработанных индикаторов.
• Контекстуализация: Вопросы о том, как ИИ учитывает контекст проекта при разработке индикаторов.
• Формальный подход: Опасения по поводу издержек формального подхода к оценке, который может не учитывать качественные показатели.

Учебники по искусственному интеллекту для школьников

Завтра на клубе PROОЦЕНКУ будем обсуждать использование искусственного интеллекта. Можно еще зарегистрироваться, кстати. О результатах обсуждения напишу сразу же.

А сегодня такая вот новость: "В России выпустили первые учебные пособия "Искусственный интеллект" для 5-9 классов, которые включают цифровое дополнение с сервисами генеративного искусственного интеллекта GigaChat и Kandinsky и соответствуют федеральной рабочей программе одноимённого курса по внеурочной деятельности". Говорят, что в помощь учителям "Просвещение" готовит бесплатный мини-курс.

Как найти правильный баланс между онлайн и офлайн форматами проведения оценки

На ноябрьском заседании клуба PROОЦЕНКУ нам не хватило времени на обсуждение вопроса о том, что следует принимать во внимание, когда оказываешься перед выбором между онлайн и офлайн форматами проведения оценки либо их сочетанием.

На прошлой неделе на «Институте оценки», который проводился новосибирским ИнА-Центром в Москве в рамках проекта #Созвездия_оценки, мы обсудили этот вопрос. Привожу обобщенные результаты работы в малых группах в форме рекомендаций. 

1. Зависимость от целей оценки. Определите, какие именно цели вы хотите достичь с помощью оценки. Это поможет выбрать наиболее подходящий формат.
2. Целевая аудитория. Учитывайте доступность методов оценки для целевой аудитории. Проверьте, какие форматы предпочтительнее для участников и как они могут повлиять на результаты.
3. Контекст реализации проекта. Оцените, насколько важен контекст, в котором реализуется проект. В некоторых случаях офлайн-встречи могут дать больше информации о ситуации.
4. Безопасность участников. Убедитесь, что выбранный формат обеспечивает безопасность участников и хранения данных, особенно если речь идет о конфиденциальной информации.
5. Коммуникация и доверие. Обратите внимание на возможность коммуникации с участниками. Важно учитывать скорость установления доверительных отношений, особенно в онлайн-формате.
6. Ресурсы оценщика. Оцените свои ресурсы (время, деньги) и возможности для проведения оценки. Принимайте во внимание, в числе прочего, те компетенции, которые нужны для проведений оценки онлайн или офлайн. Это поможет определить, какой формат будет более целесообразным.
7. Креативность и новые инструменты. Развивайте креативные подходы и новые инструменты для оценки, которые могут быть применены как в онлайн, так и в офлайн формате.
8. Привычки информантов. Учитывайте привычки и предпочтения информантов, так как некоторые группы (например, чиновники) могут быть более ориентированы на офлайн-взаимодействие.
9. Метод наблюдения. Имейте в виду, что возможности использования метода наблюдения в онлайн-формате могут быть ограничены по сравнению с офлайн.

Я бы добавил, что не только цели оценки надо учитывать (см. п.1), но и вопросы, на которые надлежит ответить. Об этом Алена Богомолова говорила на заседании клуба. Думаю, что при оценке проектов, которые полностью были реализованы в онлайн-формате, онлайн-оценку использовать проще. Полностью согласен с тезисом насчет использования метода наблюдения (см. п.9) и замечу, что есть специфика и в использовании других методов при проведении оценки онлайн. 

Теория уязвимости

В «Благосфере» 4 декабря на форуме «Абсолютные возможности» Благотворительного фонда «Абсолют – Помощь» вместе со специалистами Фонда будем рассказывать про новые идеи, которые Фонд собирается внедрять в ближайшее время и в разработке которых мы принимаем участие. Речь пойдет о теории уязвимости, картах уязвимости и индексе уязвимости применительно к целевым группам Фонда – детям и молодым взрослым, которые в силу тех или иных причин оказались в уязвимом положении.

• Под уязвимостью человека мы понимаем подверженность воздействию, которое может причинить вред.
• Теория уязвимости показывает причинно-следственную связь между характеристиками ситуации; характеристиками человека, который находится в этой ситуации; и вредом, который может быть причинен человеку в данной ситуации.
• Карта уязвимости позволяет визуализировать теорию уязвимости.
• Индекс уязвимости характеризует степень уязвимости человека в определенной ситуации и вычисляется с учетом вероятности причинения вреда и степени серьезности последствий этого вреда.   

После Форума планируем с коллегами из Фонда написать обо всем этом подробно.