Экспертиза заявок и принятие решений о финансировании

Общепринятый подход к экспертизе заявок на получение гранта предполагает, что каждая заявка оценивается специально подобранными экспертами по ряду критериев, предложенных финансирующей организацией. Для оценки заявок эксперты пользуются шкалами, которые позволяют выразить их мнение о степени соответствия заявки тому или иному критерию: по каждому критерию эксперт выставляет определенный балл.  Зачастую по результатам оценки каждой заявки эксперту также предлагается сделать вывод о качестве замысла проекта в целом и целесообразности его финансирования, например, «проект хороший и рекомендуется к поддержке» или «проект неудачный и не рекомендуется к поддержке». Встречается также вариант, в котором эксперт может указать на то, что в замысле проекта есть недочеты, которые не позволяют однозначно рекомендовать поддержать либо отвергнуть его. Значение оценки эксперта по заявке, как правило, рассчитывается автоматически: общая сумма баллов, присвоенных заявке по каждому критерию, умножается на коэффициент значимости этого критерия. После этого вычисляется общая сумма баллов, которую получила заявка.

Предлагаю к обсуждению 2 вопроса: 

• Чем должна заканчиваться работа эксперта: вынесением суждения или выставлением баллов? 
• Что должен содержать вывод эксперта по заявке? 

Вероятно, ни у кого не вызовет возражений утверждение о том, что зона ответственности эксперта грантового конкурса заканчивается вынесением суждения о проекте. Это суждение основывается на знаниях и практическом опыте эксперта и выносится на основании внимательного изучения замысла проекта (заявки). Соответственно, главный вопрос к эксперту состоит не в том, сколько баллов он выставляет, скажем,  по критерию «Актуальность», а в том, насколько актуален проект с его точки зрения. Это означает, что эксперту должна быть предложена шкала, каждое деление которой имеет развернутое описание. Эксперт соотносит свое мнение о проекте с этими описаниями и выбирает то, которое точнее всего соответствует его позиции. Если таких описаний не будет, а эксперту будет просто предложено оценить заявку по 9-балльной шкале, каждый эксперт будет трактовать отличия, скажем, оценки 6 от оценки 7 по своему усмотрению, и результаты экспертизы, проведенной разными людьми, окажутся не вполне совместимыми. Более того, в этом случае мнение эксперта весьма сложно обсудить либо оспорить, т.к. оценка будет основана на его видении шкалы.

Если шкала содержит соответствующие описания, то возникает следующий вопрос: нужны ли эксперту числа? Ведь числа – это формальный шаг, который позволяет автоматически «оцифровать» содержательное суждение. Задача эксперта – вынести такое суждение. Задача финансирующей организации – оцифровать его. Нужно ли эксперту знать, по какой формуле происходит «оцифровка» и сколько баллов в итоге наберет проект, который он оценивает? 

Теперь об общем выводе, который делает эксперт. Он должен касаться качества замысла проекта и вероятности его успешной реализации. Рекомендация о том, следует ли финансирующей организации поддержать проект, лежит за пределами зоны ответственности эксперта. Другими словами, работа эксперта должна завершаться суждением о том, что «проект – хороший» или не вполне. Наделять же эксперта полномочиями, связанными с решением о финансировании, на мой взгляд, не вполне корректно. Представьте себе на секунду, что приглашенный в судебное заседание эксперт-психолог после представления психологического портрета подсудимого, даст рекомендацию присяжным относительно их вердикта.

Независимая оценка

Вчера на вебинаре Майкл Пэттон поделился мыслями о т.н. "независимой оценке". Дело в том, что многие крупные организации создают подразделения с такими названиями (см., например, Группу независимой оценки Всемирного банка). Считается, что придание независимого статуса повышает доверие к результатам проводимой такими подразделениями оценки и достоверность этих результатов. 

Пэттон считает, что все, что даёт независимость - это отсутствие зависимости :), дистанцирование. По его мнению, это никак не повышает ни доверия к результатам, ни их достоверности. Напротив, взаимозависимость (interdependence) может существенно повысить доверие к результатам оценки, которую проводят не те, кто дистанцирован от проекта и никак от него не зависят, а те, кто действительно заботятся о проекте, связаны с проектом и кому проект небезразличен. 

Я к этому хотел бы добавить, что независимой оценки не бывает, в принципе. Люди, проводящие оценку всегда от кого-то и от чего-то зависят. Например, от тех, кто им платит деньги. 

Принципы само-оценивания

Принципы, регламентирующие ту или иную сферу профессиональной деятельности, определяют поведение представителей профессии в значимых повторяющихся ситуациях. Такие принципы формируются на основе живого опыта как результат достижения согласия между представителями профессии по поводу того, как следует себя вести в ситуациях сложного выбора. 

В нашей стране существуют Принципы оценки программ и политик, разработанные Ассоциацией специалистов по оценке программ и политик (АСОПП) и опубликованные в 2017 году. В числе этих принципов:  

1. Ориентация на практическое использование результатов оценки
2. Компетентность исполнителей 
3. Корректность методологии 
4. Открытость 
5. Безопасность 
6. Адаптивность

Принципы разработаны с учетом того, что в оценке – в общем случае – могут принимать участие три стороны:

• Заказчик – представитель организации, которая инициирует оценку, ставит задачу на ее проведение и будет основным пользователем ее результатов.
• Специалист по оценке – человек, который привлекается Заказчиком для проведения оценки.
• Участники оценки – люди, которые в ходе оценки предоставляют информацию, и зачастую являются сотрудниками или руководителями программ, являющихся объектом оценки.

Соответственно, каждый принцип сопровождается рекомендациями для каждой из трех перечисленных выше сторон. Это, по мнению разработчиков, позволяет сделать принципы полезными для всех сторон, включенных в проведение оценки программ и политик.

Но как быть в случае, когда проводится само-оценивание, самый распространенный вид оценки проектов и программ? Ведь именно в такой ситуации чаще всего находятся некоммерческие организации. 

Вот лишь несколько особенностей само-оценивания: 

• Заказчиками и исполнителями оценки в этом случае являются сами сотрудники организации. Более того, зачастую они окажутся и в числе участников оценки, обладающих необходимой информацией о проекте. Естественно, они же будут использовать результаты оценки. 
• Имеет ли в таком случае смысл делать особый акцент на ориентации на практическое использование результатов оценки? Вряд ли кто-то станет тратить время и силы на проведение работ, результаты которых никому в организации не нужны. Или все-таки нужно изначально подумать о практическом использовании результатов?
• Среди сотрудников организации чаще всего не окажется людей, являющихся экспертами в сфере оценки. Какие требования в таком случае можно предъявлять к компетентности исполнителей и корректности методологии? С другой стороны, если методология не вполне корректна, результатам оцени нельзя доверять. 
• Принцип безопасности гласит: «Оценка должна проводиться с уважением достоинства всех ее участников независимо от их роли, социального статуса и индивидуальных особенностей. При проведении оценки следует учитывать возможные негативные последствия, которые она может иметь как для отдельных людей, так и для организаций. Риск возможных негативных последствий должен быть сведен к минимуму, а участники оценки должны быть о них проинформированы». Замените здесь «оценку» на «само-оценивание». О каких негативных последствиях может идти речь? Кого предупреждать о рисках – самих себя? Или все же риски имеются? 

В общем, здесь есть, что обсудить. Именно поэтому на ближайшем заседании клуба PROОЦЕНКУ будем говорить о практическом применении принципов оценки в ситуации само-оценивания. Заседание пройдет онлайн в четверг 9 июня с 11.00 до 12.30 мск. Участие бесплатное. Регистрация участников здесь. Приходите! Интересная беседа в хорошей компании, как всегда, гарантируется 😊

О пользе теорий в оценке программ

Отличия оценки программ от исследования хорошо известны: методы используются одни и те же, но это разные жанры. Исследования ориентированы на получение нового знания, а оценка – на поддержку принятия решений. При этом результаты некоторых исследований могут очень пригодиться при проведении оценки. 

Рассмотрим пример. 

Допустим, вы проводите оценку программы, связанной с развитием взаимодействий между людьми или организациями. Анализ взаимодействий показал (использована  методика Social Network Analysis), что существует группа, взаимодействия внутри которой намного интенсивнее, чем взаимодействия между остальными участниками данной социальной сети – как показано на рисунке. Вероятно, на основе полученных данных вы сможете объяснить, почему так получилось в данном случае. Но хорошо это или плохо? Можно ли что-то сказать о перспективах развития данной социальной сети? Здесь на помощь может прийти теория развития социальных сетей, предложенная Кребсом и Холи (Krebs, Valdis & Holley, June. (2006). Building smart communities through network weaving. Appalachian Center for Economic Networks.). Данная теория говорит о том, что конфигурация «ядро – периферия», представленная на рисунке, является признаком высокого уровня развития социальной сети и свидетельствует о её устойчивости. 

Точно так же результаты исследований в сфере внедрения инноваций могут оказаться полезными при оценке инновационных программ (см. здесь), результаты исследований в сфере организационного развития – при оценке программ развития организаций, результаты психологических исследований – при оценке программ психологической помощи и т.д. Научное знание может быть полезно для осмысления результатов оценки конкретной программы.