Экспертиза заявок: какие сложности возникают у грантодающих организаций и операторов грантовых конкурсов

Сегодня прошло очередное заседание клуба PROОЦЕНКУ, посвященное проблемам экспертной оценки заявок. С материалами заседания можно ознакомиться на сайте клуба Было интересно и, конечно же, многое обсудить не успели. Вероятно, к этой теме нужно будет еще вернуться. Пока хотел бы кратко представить те проблемные области, которые выделили представители грантодающих организаций и операторы грантовых конкурсов.

Качество работы экспертов. Качество оценки заявки не всегда высокое. Причины могут быть разными, включая перегрузку экспертов. Есть проблема субъективизма и личных предпочтений относительно темы заявки, предлагаемых в ней подходов. Иногда отношение эксперта к организации-заявителю играет решающую роль в оценке заявки. Не всем экспертам удается сохранить непредвзятость: бывают среди них «добрые» и «злые», и оценки получаются крайние - либо «супер», либо «никуда не годится». Не всегда экспертам хватает специфических знаний, необходимых для комплексной оценки заявки по всем критериям (например, для оценки бизнес-процессов). 

Качество экспертных заключений. Не всегда из комментариев можно понять обоснование оценки и логику вынесения суждения по заявке. При этом комментарии могут быть и слишком короткие, и слишком пространные. Иногда эксперты грешат многократным использованием шаблонных фраз.

Со-настройка экспертов и организаторов конкурса. Не всегда и не всем экспертам удается уловить и принять во внимание приоритеты конкурса и ценности донора. Бывает, что они опираются на опыт своей работы в других конкурсах с другими донорами. Иногда невнимательно относятся к рекомендациям, не приходят на обучение или организационные встречи.

Критерии оценки. Разработка критериев оценки заявок – сложная и ресурсоемкая задача. Не всегда организаторам грантового конкурса удается ее решить безупречно. Бывают случаи, когда критерии оценки допускают множественные интерпретации. Бывает, что при, казалось бы, хорошо проработанных критериях и шкалах комментарии экспертов близки, а оценки сильно отличаются. Формальные критерии не всегда позволяют отсеивать «красивые» заявки, которые соответствуют всем формальным требованиям, но за которыми де-факто нет содержания.

Этика работы экспертов. Не всегда комментарии формулируются корректно и профессионально. Редко, но бывает, что эксперты не сообщают о конфликте интересов, и это очень сложно отследить. Некоторые эксперты допускают информирование знакомых заявителей о том, кто что сказал про их заявки на экспертном совете. Иногда эксперты избегают важных содержательных комментариев, которые могут раскрыть их личность для заявителя. 

Деловая культура экспертов. Случаются проявления необязательности: несоблюдение сроков, небрежное отношение к оформлению документов (включая договоры), задержки в коммуникации.

Подбор экспертов. Найти достаточное количество квалифицированных экспертов непросто. Особенно, если такая необходимость возникает неожиданно (число заявок оказывается значительно больше, чем ожидалось). Особенно большая проблема с поиском экспертов в малых городах. Проблема осложняется необходимостью ротации экспертов. Период ротации – отдельная важная тема.

Организационно-технические вопросы. Контроль работы экспертов (сложно организовать). Оплата экспертов (бюджет ограничен). Технические проблемы – интерфейс, устойчивость связи.

Степень проработанности замысла конкурса и конкурсной документации (это замечание от оператора грантовых конкурсов). Шаблоны заявок не всегда соотносятся со спецификой конкурса и его целями. Не всегда понятна цель конкретного конкурса.

Кодекс этики в сфере ИИ

Альянс в сфере искусственного интеллекта (далее – Альянс) опубликовал Кодекс этики в сфере ИИ. На сайте Альянса также доступна Национальная стратегия развития ИИ до 2030 года. 

Альянс объединяет ведущие технологические компании для совместного развития их компетенций и ускоренного внедрения искусственного интеллекта в образовании, научных исследованиях и в практической деятельности бизнеса. Миссия Альянса: «Быть центром развития искусственного интеллекта в России и обес­печивать технологическое лидерство нашей страны и компаний­участников Альянса на глобальном технологическом рынке».

Основные положения (разделы) Кодекса:

1. Главный приоритет развития технологий ии в защите интересов и прав людей и отдельного человека.
2. Необходимо осознавать ответственность при создании и использовании ИИ.
3. Ответственность за последствия применения систем ИИ всегда несет человек.
4. Технологии ИИ нужно применять по назначению и внедрять там, где это принесёт пользу людям.
5. Интересы развития технологий ИИ выше интересов конкуренции.
6. Важна максимальная прозрачность и правдивость в информировании об уровне развития технологий ИИ, их возможностях и рисках.

В Кодексе также содержатся положения, регламентирующие его применение. 

Полагаю, специалистам по оценке проектов и программ следует принимать во внимание этот важный документ в свете активного внедрения ИИ в практику оценки.

Принципы андрагогики и оценка обучающих программ

Андрагогикой называют  раздел теории обучения, раскрывающий специфические закономерности освоения знаний и умений взрослыми учащимися, а также особенности руководства этой деятельностью со стороны профессионального педагога. Несмотря на то, что понятие «андрагогика» было введено в научный обиход в первой половине 19 века, наиболее цитируемым автором и главным популяризатором андрагогики сегодня чаще всего называют Малкольма Ноулза (Malcolm Knowles). Его публикации появились в 70-е и 80-е годы 20 века.  

Ниже приведены базовые положения андрагогики, которые, конечно же, можно принимать во внимание при оценке программ и проектов, включающих обучение взрослых, а также при планировании и проведении обучения оценке. 

• Обучающемуся принадлежит ведущая роль в процессе своего обучения (потому он обучающийся, а не обучаемый).
• Взрослый обучающийся стремится к самореализации, к самостоятельности, к самоуправлению и осознаёт себя таковым.
• Взрослый обучающийся обладает жизненным (бытовым, социальным, профессиональным) опытом, который может быть использован в качестве важного источника обучения как его самого, так и его коллег.
• Взрослый человек обучается для решения важной жизненной проблемы и достижения конкретной цели.
• Взрослый обучающийся рассчитывает на безотлагательное применение полученных в ходе обучения умений, навыков, знаний и качеств.
• Учебная деятельность взрослого обучающегося в значительной степени определяется временными, пространственными, бытовыми, профессиональными, социальными факторами, которые либо ограничивают, либо способствуют процессу обучения.
• Процесс обучения взрослого обучающегося организован в виде совместной деятельности обучающегося и обучающего на всех его этапах: планирования, реализации, оценивания и, в определённой мере, коррекции.

Русскоязычных публикаций по андрагогике на русском языке много. Среди них не только блоги и электронные статьи, но и книги, обложки которых использованы в качестве иллюстрации к данной публикации. 

"Не по бумагам"

РИА Новости сообщает, что сегодня на совещании с членами правительства Путин обсуждал нацпроекты. В частности, он сказал, что: 

(а) вся работа по нацпроектам должна быть ориентирована на реальный результат;

(б) работа по реализации нацпроектов должна идти по плану;

(в) результаты работы над нацпроектами будут оцениваться не "по бумагам", а исходя из реалий и влияния на жизнь людей.

Пункт (а) относится к дизайну проектов и к формулированию их целей. 

Пункт (б) предполагает осуществление мониторинга.

Для реализации пункта (в) понадобится каким-то образом понять реалии и влияние на жизнь людей. Очевидно, что здесь речь должна идти об эмпирической оценке. 

Такое вот начало года!