Институт оценки и "оценочное мышление"

На прошлой неделе мы вместе с новосибирским ИнА-Центром провели в Москве двухдневный семинар, который в проекте "5 элемент" назывался "Институтом оценки". Такое название было придумано, чтобы подчеркнуть, что это мероприятие ориентировано на тех, кто имеет опыт проведения оценки - в отличие от "Школы оценки", на которую приглашают новичков.

Программа "Института" включала 8 тем: 

1. "Развитие оценочного мышления"
2. "Использование критериев в оценке"
3. "Оценка потребностей"
4. "Оценка социального эффекта и оценка влияния"
5. "Наука о системах и оценка"
6. "Использование моделей в оценке"
7. "Оценка услуг"
8. "Само-оценивание"

При выборе тем команда проекта руководствовалась несколькими критериями, включая  актуальность; новизну; наличие новых теоретических разработок; дискуссионность. Мы также учитывали опыт Клуба PROоценку, где некоторые из перечисленных тем затрагивались. На обсуждение каждой темы было отведено 1,5 часа.

Итоговое анкетирование  показало, что в материалах, представленных на сессии по оценочному мышлению, почти все было новым для 35% и многое было новым для 65% участников. "Коэффициент новизны" для нашей аудитории здесь оказался самым высоким. Предположу, что и для читателей этого блога данная тема тоже достаточно новая. По крайней мере, публикации на русском языке об оценочном мышлении пока крайне редки. Потому предложу вашему вниманию модель оценочного мышления, основанную на статье Майкла Пэттона (Patton, M. Q. (2018). A historical perspective on the evolution of evaluative thinking. In A. T. Vo & T. Archibald (Eds.), Evaluative Thinking. New Directions for Evaluation. 158, 11–28.) и принципы оценочного мышления, описанные в той же статье. 

Хотел бы особо подчеркнуть, что Пэттон предложил свое определение оценочного мышления (evaluative thinking) как сочетания критического, творческого, логического и практического мышления. Графический образ оценочного мышления в виде четверной спирали (см. ниже) - наша интерпретация определения Пэттона. Он с ней пока не знаком :)

В таблице ниже приведены принципы оценочного мышления от Пэттона (перевод мой).  

Дата

Сегодня Компании "Процесс Консалтинг" исполняется 30 лет!

По этому случаю хочется сказать слова благодарности... 

...Нашим клиентам за доверие, которое мы очень ценим и стараемся оправдывать; за сотрудничество, без которого у нас бы точно ничего не получилось; за возможность учиться у них и вместе с ними.

...Нашим партнерам, на которых всегда можно положиться и вместе с которыми можно находить решения самых сложных проблем. 

...Нашим зарубежным коллегам, которые на протяжении многих лет щедро делятся с нами своими знаниями и опытом. Мы обязаны им очень многим. 

...Нашим семьям, за веру в успех нашего дела и постоянную поддержку. 

Встречаем юбилей в работе, которую делаем с удовольствием. 

Искренне ваши,

Оценка потребностей: всё непросто

Завтра на очередном заседании клуба PROОЦЕНКУ будем обсуждать оценку потребностей. Любопытно, что этот вид оценивания трактуется специалистами по-разному. Многое зависит от того, как мы определяем, что такое  "потребность". В психологии принято считать, что это "состояние индивида, создаваемое испытываемой им нуждой в объектах, необходимых для его существования и развития, и выступающее источником его активности". В принципе, это может быть отнесено и к группе. В литературе по менеджменту широко распространено такое определение: "Потребность в самом простом смысле — это измеримый разрыв между двумя состояниями — тем, что есть сейчас, и тем, что должно быть". Все соглашаются, что потребности имеют разную степень значимости, то есть существует некая иерархия потребностей. При этом в литературе по менеджменту предлагается определять приоритетность потребностей путем сравнения (а) затрат, связанных с удовлетворением потребностей (или устранением разрыва между желаемым и действительным), и (б) затрат в ситуации неудовлетворения потребностей (или сохранения этого разрыва). Очевидно, такой подход не вполне коррелирует с известной пирамидой потребностей Маслоу (говорят, что он никогда про пирамиду не писал, кстати).

Соответственно, оценка потребностей в одних случаях выглядит как комплексный анализ проблемной ситуации, а в других как выявление несоответствий между желаемым и действительным. А ведь еще бывают осознаваемые и неосознаваемые потребности... Как с этим быть? В общем, разговор завтра обещает быть интересным. 

Еще можно зарегистрироваться для участия в заседании по этой ссылке.

Мониторинговый визит

Из самого названия визита понятно, что он проводится в рамках мониторинга программы или проекта. Мониторинг предполагает регулярное отслеживание и фиксацию того, что происходит в проекте. Другими словами, это процесс регулярного и систематического сбора информации по всем ключевым аспектам проекта. 

Важная традиционная составляющая мониторинга - это сбор информации о значениях заранее выбранных показателей для обеспечения руководителей программы (проекта) и других заинтересованных сторон сведениями о том, насколько успешно выполняются программа (проект) в целом и ее (его) отдельные компоненты, в какой мере достигаются поставленные цели, и как используются ресурсы. Можно ли считать, что мониторинг - это исключительно про показатели? Если система мониторинга предполагает проведение мониторинговых визитов, то точно нельзя, поскольку мониторинговый визит - это точно не про показатели. Конечно, во время таких визитов происходит сбор информации о ходе и результатах проектов и программ, а также об организациях-исполнителях. Но собираемые данные носят преимущественно описательный характер и никак не сводятся к значениями показателей. Мы проводим мониторинговый визит, чтобы своими глазами увидеть, как идут дела, чтобы поговорить с исполнителями проекта и благополучателями. 

Таким образом, мониторинговый визит является не чем иным как эмпирической оценкой, он дополняет сведения о значениях показателей результатами наблюдения и интервью. Это значит, что планировать и проводить мониторинговый визит следует по правилам эмпирической оценки (не индикаторной!): сформулировать вопросы, на которые необходимо получить ответы; определить источники и методы получения необходимой для этого информации; подготовить соответствующие инструменты; собрать и проанализировать данные; подготовить отчет. Если этим правилам не следовать, то есть риск не узнать то, что нужно, и результаты мониторингового визита окажутся не столь полезными, как могли бы.

Экспертиза заявок и принятие решений о финансировании

Общепринятый подход к экспертизе заявок на получение гранта предполагает, что каждая заявка оценивается специально подобранными экспертами по ряду критериев, предложенных финансирующей организацией. Для оценки заявок эксперты пользуются шкалами, которые позволяют выразить их мнение о степени соответствия заявки тому или иному критерию: по каждому критерию эксперт выставляет определенный балл.  Зачастую по результатам оценки каждой заявки эксперту также предлагается сделать вывод о качестве замысла проекта в целом и целесообразности его финансирования, например, «проект хороший и рекомендуется к поддержке» или «проект неудачный и не рекомендуется к поддержке». Встречается также вариант, в котором эксперт может указать на то, что в замысле проекта есть недочеты, которые не позволяют однозначно рекомендовать поддержать либо отвергнуть его. Значение оценки эксперта по заявке, как правило, рассчитывается автоматически: общая сумма баллов, присвоенных заявке по каждому критерию, умножается на коэффициент значимости этого критерия. После этого вычисляется общая сумма баллов, которую получила заявка.

Предлагаю к обсуждению 2 вопроса: 

• Чем должна заканчиваться работа эксперта: вынесением суждения или выставлением баллов? 
• Что должен содержать вывод эксперта по заявке? 

Вероятно, ни у кого не вызовет возражений утверждение о том, что зона ответственности эксперта грантового конкурса заканчивается вынесением суждения о проекте. Это суждение основывается на знаниях и практическом опыте эксперта и выносится на основании внимательного изучения замысла проекта (заявки). Соответственно, главный вопрос к эксперту состоит не в том, сколько баллов он выставляет, скажем,  по критерию «Актуальность», а в том, насколько актуален проект с его точки зрения. Это означает, что эксперту должна быть предложена шкала, каждое деление которой имеет развернутое описание. Эксперт соотносит свое мнение о проекте с этими описаниями и выбирает то, которое точнее всего соответствует его позиции. Если таких описаний не будет, а эксперту будет просто предложено оценить заявку по 9-балльной шкале, каждый эксперт будет трактовать отличия, скажем, оценки 6 от оценки 7 по своему усмотрению, и результаты экспертизы, проведенной разными людьми, окажутся не вполне совместимыми. Более того, в этом случае мнение эксперта весьма сложно обсудить либо оспорить, т.к. оценка будет основана на его видении шкалы.

Если шкала содержит соответствующие описания, то возникает следующий вопрос: нужны ли эксперту числа? Ведь числа – это формальный шаг, который позволяет автоматически «оцифровать» содержательное суждение. Задача эксперта – вынести такое суждение. Задача финансирующей организации – оцифровать его. Нужно ли эксперту знать, по какой формуле происходит «оцифровка» и сколько баллов в итоге наберет проект, который он оценивает? 

Теперь об общем выводе, который делает эксперт. Он должен касаться качества замысла проекта и вероятности его успешной реализации. Рекомендация о том, следует ли финансирующей организации поддержать проект, лежит за пределами зоны ответственности эксперта. Другими словами, работа эксперта должна завершаться суждением о том, что «проект – хороший» или не вполне. Наделять же эксперта полномочиями, связанными с решением о финансировании, на мой взгляд, не вполне корректно. Представьте себе на секунду, что приглашенный в судебное заседание эксперт-психолог после представления психологического портрета подсудимого, даст рекомендацию присяжным относительно их вердикта.

Независимая оценка

Вчера на вебинаре Майкл Пэттон поделился мыслями о т.н. "независимой оценке". Дело в том, что многие крупные организации создают подразделения с такими названиями (см., например, Группу независимой оценки Всемирного банка). Считается, что придание независимого статуса повышает доверие к результатам проводимой такими подразделениями оценки и достоверность этих результатов. 

Пэттон считает, что все, что даёт независимость - это отсутствие зависимости :), дистанцирование. По его мнению, это никак не повышает ни доверия к результатам, ни их достоверности. Напротив, взаимозависимость (interdependence) может существенно повысить доверие к результатам оценки, которую проводят не те, кто дистанцирован от проекта и никак от него не зависят, а те, кто действительно заботятся о проекте, связаны с проектом и кому проект небезразличен. 

Я к этому хотел бы добавить, что независимой оценки не бывает, в принципе. Люди, проводящие оценку всегда от кого-то и от чего-то зависят. Например, от тех, кто им платит деньги. 

Принципы само-оценивания

Принципы, регламентирующие ту или иную сферу профессиональной деятельности, определяют поведение представителей профессии в значимых повторяющихся ситуациях. Такие принципы формируются на основе живого опыта как результат достижения согласия между представителями профессии по поводу того, как следует себя вести в ситуациях сложного выбора. 

В нашей стране существуют Принципы оценки программ и политик, разработанные Ассоциацией специалистов по оценке программ и политик (АСОПП) и опубликованные в 2017 году. В числе этих принципов:  

1. Ориентация на практическое использование результатов оценки
2. Компетентность исполнителей 
3. Корректность методологии 
4. Открытость 
5. Безопасность 
6. Адаптивность

Принципы разработаны с учетом того, что в оценке – в общем случае – могут принимать участие три стороны:

• Заказчик – представитель организации, которая инициирует оценку, ставит задачу на ее проведение и будет основным пользователем ее результатов.
• Специалист по оценке – человек, который привлекается Заказчиком для проведения оценки.
• Участники оценки – люди, которые в ходе оценки предоставляют информацию, и зачастую являются сотрудниками или руководителями программ, являющихся объектом оценки.

Соответственно, каждый принцип сопровождается рекомендациями для каждой из трех перечисленных выше сторон. Это, по мнению разработчиков, позволяет сделать принципы полезными для всех сторон, включенных в проведение оценки программ и политик.

Но как быть в случае, когда проводится само-оценивание, самый распространенный вид оценки проектов и программ? Ведь именно в такой ситуации чаще всего находятся некоммерческие организации. 

Вот лишь несколько особенностей само-оценивания: 

• Заказчиками и исполнителями оценки в этом случае являются сами сотрудники организации. Более того, зачастую они окажутся и в числе участников оценки, обладающих необходимой информацией о проекте. Естественно, они же будут использовать результаты оценки. 
• Имеет ли в таком случае смысл делать особый акцент на ориентации на практическое использование результатов оценки? Вряд ли кто-то станет тратить время и силы на проведение работ, результаты которых никому в организации не нужны. Или все-таки нужно изначально подумать о практическом использовании результатов?
• Среди сотрудников организации чаще всего не окажется людей, являющихся экспертами в сфере оценки. Какие требования в таком случае можно предъявлять к компетентности исполнителей и корректности методологии? С другой стороны, если методология не вполне корректна, результатам оцени нельзя доверять. 
• Принцип безопасности гласит: «Оценка должна проводиться с уважением достоинства всех ее участников независимо от их роли, социального статуса и индивидуальных особенностей. При проведении оценки следует учитывать возможные негативные последствия, которые она может иметь как для отдельных людей, так и для организаций. Риск возможных негативных последствий должен быть сведен к минимуму, а участники оценки должны быть о них проинформированы». Замените здесь «оценку» на «само-оценивание». О каких негативных последствиях может идти речь? Кого предупреждать о рисках – самих себя? Или все же риски имеются? 

В общем, здесь есть, что обсудить. Именно поэтому на ближайшем заседании клуба PROОЦЕНКУ будем говорить о практическом применении принципов оценки в ситуации само-оценивания. Заседание пройдет онлайн в четверг 9 июня с 11.00 до 12.30 мск. Участие бесплатное. Регистрация участников здесь. Приходите! Интересная беседа в хорошей компании, как всегда, гарантируется 😊

О пользе теорий в оценке программ

Отличия оценки программ от исследования хорошо известны: методы используются одни и те же, но это разные жанры. Исследования ориентированы на получение нового знания, а оценка – на поддержку принятия решений. При этом результаты некоторых исследований могут очень пригодиться при проведении оценки. 

Рассмотрим пример. 

Допустим, вы проводите оценку программы, связанной с развитием взаимодействий между людьми или организациями. Анализ взаимодействий показал (использована  методика Social Network Analysis), что существует группа, взаимодействия внутри которой намного интенсивнее, чем взаимодействия между остальными участниками данной социальной сети – как показано на рисунке. Вероятно, на основе полученных данных вы сможете объяснить, почему так получилось в данном случае. Но хорошо это или плохо? Можно ли что-то сказать о перспективах развития данной социальной сети? Здесь на помощь может прийти теория развития социальных сетей, предложенная Кребсом и Холи (Krebs, Valdis & Holley, June. (2006). Building smart communities through network weaving. Appalachian Center for Economic Networks.). Данная теория говорит о том, что конфигурация «ядро – периферия», представленная на рисунке, является признаком высокого уровня развития социальной сети и свидетельствует о её устойчивости. 

Точно так же результаты исследований в сфере внедрения инноваций могут оказаться полезными при оценке инновационных программ (см. здесь), результаты исследований в сфере организационного развития – при оценке программ развития организаций, результаты психологических исследований – при оценке программ психологической помощи и т.д. Научное знание может быть полезно для осмысления результатов оценки конкретной программы. 

Оценочное мышление

Вообще-то, психологи говорят, что нам всем надо учиться безоценочному мышлению… Например, бизнес-тренер и life-коуч Александр Печерский считает, что «есть «оценочное мышление» и есть «безоценочное мышление». Первое – сужает наши представления, ограничивает, обедняет нашу жизнь, второе – расширяет и обогащает». 

В то же время специалисты по оценке уже давно говорят о том, что для успешного внедрения оценки в деятельность организаций необходимо формировать у сотрудников оценочное мышление. А как же психология? 

Кажущееся противоречие связано с тем, что в первом случае понятия «оценочный» и «безоценочный» являются переводом английских слов judgmental и non-judgmental. Буквально их можно еще перевести как «осуждающий, склонный к осуждению» и, наоборот, «не склонный судить либо осуждать». 

Во втором же случае «оценочное мышление» является переводом английского evaluative thinking. Корень слова «оценочный» (evaluative) в данном случае – «ценность» (value). Точно так же и оценку (evaluation)  проектов и программ следует понимать, скорее, как «определение их ценности». 

Одно из наиболее часто используемых определений оценочного мышления выглядит так: 

"Оценочное мышление — это критическое мышление, применяемое в контексте оценки и обусловленное любознательностью и верой в ценность доказательств. Оценочное мышление включает выявление предположений и допущений, вдумчивую постановку вопросов, стремление к более глубокому пониманию через рефлексию и анализ с разных позиций, а также обоснование решений при подготовке к действиям." (Buckley, J., Archibald, T., Hargraves, M., & Trochim, W. M. (2015). Defining and teaching evaluative thinking: Insights from research on critical thinking. American Journal of Evaluation, 36(3), 375-388.)

"Критическое мышление (critical thinking) — это интеллектуально дисциплинированный процесс активного и умелого осмысления, применения, анализа, синтеза и/или оценки информации, собранной или полученной в результате наблюдения, приобретения живого опыта, размышлений, рассуждений или общения, в качестве основания для формирования убеждений либо руководства к действию. В своей образцовой форме критическое мышление основано на универсальных интеллектуальных ценностях: ясность, точность, четкость, последовательность, актуальность, веские доказательства, веские причины, глубина, широта и справедливость." 

Размышления по итогам вчерашнего заседания клуба PROОЦЕНКУ

Вчера на клубе говорили об оценке с участием заинтересованных сторон. Наметилось несколько тем для дальнейшего размышления. 

• В основе оценки с участием лежит признание субъектности представителей заинтересованных сторон, т.е. признание их активности, способности к развитию и интеграции, самоопределению, саморегуляции, самодвижению и самосовершенствованию (по определению С.Л.Рубинштейна). Путь к такому признанию может оказаться непростым, а последствия его – не вполне предсказуемыми.
• Очевидно, что степень участия заинтересованных сторон может быть разной. То есть получается такой континуум: от полной ответственности группы представителей заинтересованных сторон за проведение всех этапов оценки (это 100% оценка с участием) до полной ответственности внешнего консультанта за проведение всех этапов оценки с использованием представителей некоторых заинтересованных сторон лишь в качестве источников информации (это 100% «традиционная» внешняя оценка). В общем случае оценка будет где-то между этими полюсами. 
• Использование внешним консультантом избранных представителей заинтересованных сторон лишь в качестве источников информации не является в данном контексте «участием» заинтересованных сторон в оценке. При этом включение некоторых категорий заинтересованных сторон даже в качестве источников информации может, конечно, оказаться достаточно революционным шагом, если речь, например, идет о детях или людях с ментальными особенностями.
• Судя по всему, участие заинтересованных сторон зачастую происходит на этапе анализа данных. Это помогает, как минимум, найти правильные интерпретации полученных данных. Существует много техник коллективного анализа данных, которые делают это процесс эффективным и увлекательным для всех участников. С примерами таких техник можно познакомиться в этом пособии (англ.). 
• Если внешний консультант предполагает использовать элементы оценки с участием, например, привлечь представителей заинтересованных сторон к анализу данных, то это необходимо прежде согласовать с заказчиком оценки. Такой шаг для некоторых заказчиков может серьезно скомпрометировать результаты оценки.
• Оценка с участием органично переходит в планирование действий. Если люди сами оценивают программу, то они же и решают, что и как делать по результатам оценки. В связи с этим они должны быть наделены соответствующими полномочиями и понимать свою ответственность за принимаемые решения.