"Плесните колдовства в хрустальный мрак бокала..."

Неожиданно для себя наткнулся на термин evidence-based evaluation, который можно перевести как оценка, основанная на данных или на доказательствах. Google даёт на этот термин около 800 тыс. ссылок, то есть довольно много. Вот, к примеру, публикация от инновационно-исследовательской программы Евросоюза (2020), предлагающая обзор такого подхода к оценке. Следуя сложившейся традиции, такую оценку можно было бы назвать «доказательной» - по аналогии с доказательной медициной, доказательным менеджментом и т.д.

Цитата из упомянутого выше пособия: "Доказательную оценку можно отличить от субъективной оценки и оценки по жестко заданным шаблонам. В то время как субъективная оценка опирается на интуицию, устоявшиеся традиции или личные знания, доказательная оценка строится на строгом анализе наилучших доступных данных. С другой стороны, оценка по жестким шаблонам обычно предопределена заранее и основывается преимущественно на взглядах самого оценщика, тогда как доказательная оценка учитывает предпочтения, потребности, ценности и особенности контекста заинтересованных сторон".

Термины "доказательная оценка" или "оценка, основанная на данных" кажутся мне избыточными. Указанные выше отличия от "субъективной оценки" и "оценки по жестко заданным шаблонам" выглядят крайне неубедительно. Если авторы имели в виду экспертную оценку, то это вполне легитимный подход, когда суждение основывается не на «взглядах», а на экспертизе, глубоком знании предмета. "Оценка по шаблонам" для меня вообще непонятна. 

Вот часто цитируемое определение Майкла Пэттона: «Оценка программы — это систематический сбор информации о деятельности в рамках программы, её характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить её эффективность и/или разработать планы на будущее». 

Таким образом, оценка, не основанная на данных – это не оценка, если оставаться в профессиональном поле. 

Моя гипотеза: возможно, введение термина "доказательная оценка" было призвано добавить академизма. Отсюда - название сегодняшней публикации, заимствованное из известного романса "Напрасные слова" Давида Тухманова (музыка) и Ларисы Рубальской (стихи)  :)  На фото - Александр Малинин и Елена Темникова за исполнением этого произведения.

Экспертиза заявок: какие сложности возникают у грантодающих организаций и операторов грантовых конкурсов

Сегодня прошло очередное заседание клуба PROОЦЕНКУ, посвященное проблемам экспертной оценки заявок. С материалами заседания можно ознакомиться на сайте клуба Было интересно и, конечно же, многое обсудить не успели. Вероятно, к этой теме нужно будет еще вернуться. Пока хотел бы кратко представить те проблемные области, которые выделили представители грантодающих организаций и операторы грантовых конкурсов.

Качество работы экспертов. Качество оценки заявки не всегда высокое. Причины могут быть разными, включая перегрузку экспертов. Есть проблема субъективизма и личных предпочтений относительно темы заявки, предлагаемых в ней подходов. Иногда отношение эксперта к организации-заявителю играет решающую роль в оценке заявки. Не всем экспертам удается сохранить непредвзятость: бывают среди них «добрые» и «злые», и оценки получаются крайние - либо «супер», либо «никуда не годится». Не всегда экспертам хватает специфических знаний, необходимых для комплексной оценки заявки по всем критериям (например, для оценки бизнес-процессов). 

Качество экспертных заключений. Не всегда из комментариев можно понять обоснование оценки и логику вынесения суждения по заявке. При этом комментарии могут быть и слишком короткие, и слишком пространные. Иногда эксперты грешат многократным использованием шаблонных фраз.

Со-настройка экспертов и организаторов конкурса. Не всегда и не всем экспертам удается уловить и принять во внимание приоритеты конкурса и ценности донора. Бывает, что они опираются на опыт своей работы в других конкурсах с другими донорами. Иногда невнимательно относятся к рекомендациям, не приходят на обучение или организационные встречи.

Критерии оценки. Разработка критериев оценки заявок – сложная и ресурсоемкая задача. Не всегда организаторам грантового конкурса удается ее решить безупречно. Бывают случаи, когда критерии оценки допускают множественные интерпретации. Бывает, что при, казалось бы, хорошо проработанных критериях и шкалах комментарии экспертов близки, а оценки сильно отличаются. Формальные критерии не всегда позволяют отсеивать «красивые» заявки, которые соответствуют всем формальным требованиям, но за которыми де-факто нет содержания.

Этика работы экспертов. Не всегда комментарии формулируются корректно и профессионально. Редко, но бывает, что эксперты не сообщают о конфликте интересов, и это очень сложно отследить. Некоторые эксперты допускают информирование знакомых заявителей о том, кто что сказал про их заявки на экспертном совете. Иногда эксперты избегают важных содержательных комментариев, которые могут раскрыть их личность для заявителя. 

Деловая культура экспертов. Случаются проявления необязательности: несоблюдение сроков, небрежное отношение к оформлению документов (включая договоры), задержки в коммуникации.

Подбор экспертов. Найти достаточное количество квалифицированных экспертов непросто. Особенно, если такая необходимость возникает неожиданно (число заявок оказывается значительно больше, чем ожидалось). Особенно большая проблема с поиском экспертов в малых городах. Проблема осложняется необходимостью ротации экспертов. Период ротации – отдельная важная тема.

Организационно-технические вопросы. Контроль работы экспертов (сложно организовать). Оплата экспертов (бюджет ограничен). Технические проблемы – интерфейс, устойчивость связи.

Степень проработанности замысла конкурса и конкурсной документации (это замечание от оператора грантовых конкурсов). Шаблоны заявок не всегда соотносятся со спецификой конкурса и его целями. Не всегда понятна цель конкретного конкурса.

Участники заседания клуба PROОЦЕНКУ голосуют за кодекс эксперта

Обсуждение на вчерашнем заседании клуба было оживленным и интересным (видеозапись, презентация). Судя по всему, тема оказалась актуальной. После обсуждения аргументов «за» и «против» разработки кодекса для эксперта грантовых конкурсов мы предложили участникам ответить на два вопроса. Результаты голосования – на диаграммах. Ответили 23 человека из 32 присутствовавших на заседании.

Таким образом, три четверти опрошенных (17 человек) сочли, что кодекс нужен. Не согласны с этим только 13% (3 человека).

Если принять во внимание первый из ответов на открытый вопрос («кому-то ещё») насчет потенциальных разработчиков кодекса, то можно констатировать, что на первом месте (12 голосов) оказалось сообщество экспертов грантовых конкурсов, а на втором (10 голосов) – сами грантодающие организации. Довольно много голосов (по 8, 3 место) набрали Форум Доноров и АСОПП. Идею разработки кодекса госструктурой федерального уровня поддержали только 2 участника.

В предыдущей публикации я написал, что у нас нет сообщества экспертов грантовых конкурсов. Имел в виду формальное (как АСОПП) или неформальное объединение таких экспертов на национальном уровне. В ходе обсуждения на клубе это подтвердилось, но выяснилось также, что на региональном уровне у нас в стране есть устойчивые неформальные сообщества экспертов грантовых конкурсов. Сложились сообщества экспертов и вокруг некоторых грантодающих организаций. Такие сообщества могли бы предложить проект Кодекса эксперта для региональных грантовых конкурсов либо для конкретной грантодающей организации. 

Не знаю, в какой мере разработка такого кодекса находится в сфере интересов АСОПП и Форума доноров. На заседании клуба были представители обеих организаций. Посмотрим...

На мой взгляд, самым реалистичным является на данный момент разработка кодексов самими грантодающими организациями с участием экспертов. Требование соблюдать такой кодекс может быть в таком случае включено в контракт грантодателя с экспертом, а ознакомление с кодексом может войти в программу обучения экспертов.

Экспертиза заявок и принятие решений о финансировании

Общепринятый подход к экспертизе заявок на получение гранта предполагает, что каждая заявка оценивается специально подобранными экспертами по ряду критериев, предложенных финансирующей организацией. Для оценки заявок эксперты пользуются шкалами, которые позволяют выразить их мнение о степени соответствия заявки тому или иному критерию: по каждому критерию эксперт выставляет определенный балл.  Зачастую по результатам оценки каждой заявки эксперту также предлагается сделать вывод о качестве замысла проекта в целом и целесообразности его финансирования, например, «проект хороший и рекомендуется к поддержке» или «проект неудачный и не рекомендуется к поддержке». Встречается также вариант, в котором эксперт может указать на то, что в замысле проекта есть недочеты, которые не позволяют однозначно рекомендовать поддержать либо отвергнуть его. Значение оценки эксперта по заявке, как правило, рассчитывается автоматически: общая сумма баллов, присвоенных заявке по каждому критерию, умножается на коэффициент значимости этого критерия. После этого вычисляется общая сумма баллов, которую получила заявка.

Предлагаю к обсуждению 2 вопроса: 

• Чем должна заканчиваться работа эксперта: вынесением суждения или выставлением баллов? 
• Что должен содержать вывод эксперта по заявке? 

Вероятно, ни у кого не вызовет возражений утверждение о том, что зона ответственности эксперта грантового конкурса заканчивается вынесением суждения о проекте. Это суждение основывается на знаниях и практическом опыте эксперта и выносится на основании внимательного изучения замысла проекта (заявки). Соответственно, главный вопрос к эксперту состоит не в том, сколько баллов он выставляет, скажем,  по критерию «Актуальность», а в том, насколько актуален проект с его точки зрения. Это означает, что эксперту должна быть предложена шкала, каждое деление которой имеет развернутое описание. Эксперт соотносит свое мнение о проекте с этими описаниями и выбирает то, которое точнее всего соответствует его позиции. Если таких описаний не будет, а эксперту будет просто предложено оценить заявку по 9-балльной шкале, каждый эксперт будет трактовать отличия, скажем, оценки 6 от оценки 7 по своему усмотрению, и результаты экспертизы, проведенной разными людьми, окажутся не вполне совместимыми. Более того, в этом случае мнение эксперта весьма сложно обсудить либо оспорить, т.к. оценка будет основана на его видении шкалы.

Если шкала содержит соответствующие описания, то возникает следующий вопрос: нужны ли эксперту числа? Ведь числа – это формальный шаг, который позволяет автоматически «оцифровать» содержательное суждение. Задача эксперта – вынести такое суждение. Задача финансирующей организации – оцифровать его. Нужно ли эксперту знать, по какой формуле происходит «оцифровка» и сколько баллов в итоге наберет проект, который он оценивает? 

Теперь об общем выводе, который делает эксперт. Он должен касаться качества замысла проекта и вероятности его успешной реализации. Рекомендация о том, следует ли финансирующей организации поддержать проект, лежит за пределами зоны ответственности эксперта. Другими словами, работа эксперта должна завершаться суждением о том, что «проект – хороший» или не вполне. Наделять же эксперта полномочиями, связанными с решением о финансировании, на мой взгляд, не вполне корректно. Представьте себе на секунду, что приглашенный в судебное заседание эксперт-психолог после представления психологического портрета подсудимого, даст рекомендацию присяжным относительно их вердикта.

Хорошие вопросы

Один из самых ценных и важных моментов для меня как для преподавателя - это вопросы слушателей. Во-первых, эти вопросы показывают, насколько люди включились в осмысление предложенной темы. Во-вторых, вопросы помогают понять, что можно было бы рассказать по-другому, точнее, нагляднее и - по возможности - исправиться, а также учесть это на будущее. В третьих, вопросы слушателей предоставляют преподавателю возможность для творчества в реальном времени, поскольку часто заранее заготовленного ответа может и не быть.

Предлагаю уважаемым читателям этого блога подумать над ответами на следующие вопросы, заданные слушателями в ходе недавнего (естественно, онлайнового) обзорного курса по оценке проектов и программ. Вопросы касаются экспертной и индикаторной оценки (здесь пост про виды оценки).

• Может ли специалист по оценке, основываясь на своем сугубо личном положительном опыте, сделать заключение об эффективности проекта?
• Какова мера ответственности экспертов, оценивавших замысел проекта, за наступление (или ненаступление) прогнозируемого результата проекта? 
• Для проведения экспертной оценки привлекаются опытные люди. При этом эксперт с 20-летним стажем может быть ярым противником новых методов и подходов, но его мнение окажется "весомее" мнения молодого новатора. Как быть?  
• Чем регламентирована ответственность эксперта за результаты проведенной им оценки? Что можно было бы предусмотреть в договоре с экспертом в плане его ответственности в целом (не по сути экспертной оценки)? 
• Есть ли какая-то зависимость между тем, какой вид оценки применялся на этапе проектирования, и какой вид оценки используется на этапе реализации проекта? 
• Следует ли установить существенные критерии/индикаторы для оценки проектов в определенных предметных областях? 
• Как определить наиболее значимые (весомые) индикаторы?
• В каких ситуациях целесообразно применять индикаторную оценку, чтобы получить максимальный эффект? 
• Каким образом можно выявить "пустой" индикатор (индикатор, значение которого ни о чем важном не говорит)? 
• Как давать оценку индикаторам, целевые значения которых были изначально занижены? Как обосновать свое суждение в этом случае? 
• Как оценить качество индикаторов? 

Критерии хорошего экспертного суждения

Интересный перечень критериев, описывающих хорошее экспертное суждение от Chan (1982): Expert Judgments under Uncertainty: Some Evidence and Suggestions. Social Science Quarterly 63, pp. 428

• Непротиворечивость (coherence), то есть суждение не содержит внутренних противоречий, не противоречит само себе.
• Калибровка (сalibration), то есть суждение предсказывает события с определенной статистической вероятностью.
• Однозначность (resolution), то есть суждение является как можно более однозначным и не допускает различных толкований. 
• Надежность (reliability), т.е. другое суждение того же эксперта приведет к тем же прогнозам, если будет основано на тех же фактах.

На всякий случай привожу английские термины из оригинала. Я старался не точно слова перевести, а смысл отразить. Естественно, калибровка в социальных науках (в частности, в качественном сравнительном анализе/Qualitative Comparative Analysis) - не то же самое, что калибровка в метрологии. 

Семинар по видам оценки

23 апреля утром (с 10 до 12) буду проводить семинар в рамках инициативы "Оценка проектов и программ в сфере детства". Планирую подробно рассказать о классификации видов оценки программ и проектов, которую мы с коллегами предложили несколько лет тому назад и находим очень полезной. Речь идет об экспертном, индикаторном и эмпирическом подходах. На семинаре мы будем ориентироваться именно на практическое использование данной классификации, рассмотрим много примеров. Этот семинар - вводный. Мы договорились с нашими партнерами из Фонда "Культура детства" о проведении до лета еще трех семинаров - по одному на каждый из видов оценки.

Регистрация на семинар здесь. Он пройдет на Сретенке в здании МГППУ,

Само-оценивание предпринимательского потенциала университета в режиме онлайн

Под эгидой Еврокомиссии и ОЭСР (OECD) создан интернет-ресурс, помогающий провести само-оценивание предпринимательского потенциала университета. Оценка производится по 7 критериям:

• Лидерство и управление
• Организационный потенциал, люди и стимулы
• Предпринимательское развитие в сфере преподавания и научения
• Возможности карьеры для предпринимателей
• Обмен знаниями между университетом и бизнесом
• Предпринимательский университет как международный институт
• Измерение влияния предпринимательского университета

Критерии эти были выработаны в ходе работы международной группы специально отобранных экспертов. Теперь можно зарегистрироваться на сайте и самостоятельно оценить свой (или чужой) университет. Просто для себя. Мне кажется, особенно полезен данный инструмент может быть при работе в команде - как подспорье в обсуждении. 

Как избежать конфликта интересов при проведении экспертной оценки

Сегодня Газета.ру опубликовала заявление академика Валерия Рубакова о том, что оценку эффективности научных организаций следует проводить с участием зарубежных экспертов. Обязательным требованием при этом, по мнению Рубакова, является отсутствие у экспертов конфликта интересов. Говорят, что предложения по методике оценки направлены в Федеральное агентство научных организаций.
Наш опыт показывает, что при попытке привлечь лучших специалистов к проведению экспертной оценки очень часто оказывается, что все лучшие имеют потенциальный конфликт интересов. Очевидно, например, что лучшие эксперты по работе научных учреждений находятся именно в научных учреждениях. Поэтому использование внешних (в данном случае - зарубежных) экспертов вполне оправдано, на мой взгляд.