Экспертиза заявок: какие сложности возникают у грантодающих организаций и операторов грантовых конкурсов

Сегодня прошло очередное заседание клуба PROОЦЕНКУ, посвященное проблемам экспертной оценки заявок. С материалами заседания можно ознакомиться на сайте клуба Было интересно и, конечно же, многое обсудить не успели. Вероятно, к этой теме нужно будет еще вернуться. Пока хотел бы кратко представить те проблемные области, которые выделили представители грантодающих организаций и операторы грантовых конкурсов.

Качество работы экспертов. Качество оценки заявки не всегда высокое. Причины могут быть разными, включая перегрузку экспертов. Есть проблема субъективизма и личных предпочтений относительно темы заявки, предлагаемых в ней подходов. Иногда отношение эксперта к организации-заявителю играет решающую роль в оценке заявки. Не всем экспертам удается сохранить непредвзятость: бывают среди них «добрые» и «злые», и оценки получаются крайние - либо «супер», либо «никуда не годится». Не всегда экспертам хватает специфических знаний, необходимых для комплексной оценки заявки по всем критериям (например, для оценки бизнес-процессов). 

Качество экспертных заключений. Не всегда из комментариев можно понять обоснование оценки и логику вынесения суждения по заявке. При этом комментарии могут быть и слишком короткие, и слишком пространные. Иногда эксперты грешат многократным использованием шаблонных фраз.

Со-настройка экспертов и организаторов конкурса. Не всегда и не всем экспертам удается уловить и принять во внимание приоритеты конкурса и ценности донора. Бывает, что они опираются на опыт своей работы в других конкурсах с другими донорами. Иногда невнимательно относятся к рекомендациям, не приходят на обучение или организационные встречи.

Критерии оценки. Разработка критериев оценки заявок – сложная и ресурсоемкая задача. Не всегда организаторам грантового конкурса удается ее решить безупречно. Бывают случаи, когда критерии оценки допускают множественные интерпретации. Бывает, что при, казалось бы, хорошо проработанных критериях и шкалах комментарии экспертов близки, а оценки сильно отличаются. Формальные критерии не всегда позволяют отсеивать «красивые» заявки, которые соответствуют всем формальным требованиям, но за которыми де-факто нет содержания.

Этика работы экспертов. Не всегда комментарии формулируются корректно и профессионально. Редко, но бывает, что эксперты не сообщают о конфликте интересов, и это очень сложно отследить. Некоторые эксперты допускают информирование знакомых заявителей о том, кто что сказал про их заявки на экспертном совете. Иногда эксперты избегают важных содержательных комментариев, которые могут раскрыть их личность для заявителя. 

Деловая культура экспертов. Случаются проявления необязательности: несоблюдение сроков, небрежное отношение к оформлению документов (включая договоры), задержки в коммуникации.

Подбор экспертов. Найти достаточное количество квалифицированных экспертов непросто. Особенно, если такая необходимость возникает неожиданно (число заявок оказывается значительно больше, чем ожидалось). Особенно большая проблема с поиском экспертов в малых городах. Проблема осложняется необходимостью ротации экспертов. Период ротации – отдельная важная тема.

Организационно-технические вопросы. Контроль работы экспертов (сложно организовать). Оплата экспертов (бюджет ограничен). Технические проблемы – интерфейс, устойчивость связи.

Степень проработанности замысла конкурса и конкурсной документации (это замечание от оператора грантовых конкурсов). Шаблоны заявок не всегда соотносятся со спецификой конкурса и его целями. Не всегда понятна цель конкретного конкурса.