четверг, 26 мая 2022 г.

Оценочное мышление

Вообще-то, психологи говорят, что нам всем надо учиться безоценочному мышлению… Например, бизнес-тренер и life-коуч Александр Печерский считает, что «есть «оценочное мышление» и есть «безоценочное мышление». Первое – сужает наши представления, ограничивает, обедняет нашу жизнь, второе – расширяет и обогащает». 
В то же время специалисты по оценке уже давно говорят о том, что для успешного внедрения оценки в деятельность организаций необходимо формировать у сотрудников оценочное мышление. А как же психология? 
Кажущееся противоречие связано с тем, что в первом случае понятия «оценочный» и «безоценочный» являются переводом английских слов judgmental и non-judgmental. Буквально их можно еще перевести как «осуждающий, склонный к осуждению» и, наоборот, «не склонный судить либо осуждать». 
Во втором же случае «оценочное мышление» является переводом английского evaluative thinking. Корень слова «оценочный» (evaluative) в данном случае – «ценность» (value). Точно так же и оценку (evaluation)  проектов и программ следует понимать, скорее, как «определение их ценности». 
Одно из наиболее часто используемых определений оценочного мышления выглядит так: 
"Оценочное мышление — это критическое мышление, применяемое в контексте оценки и обусловленное любознательностью и верой в ценность доказательств. Оценочное мышление включает выявление предположений и допущений, вдумчивую постановку вопросов, стремление к более глубокому пониманию через рефлексию и анализ с разных позиций, а также обоснование решений при подготовке к действиям." (Buckley, J., Archibald, T., Hargraves, M., & Trochim, W. M. (2015). Defining and teaching evaluative thinking: Insights from research on critical thinking. American Journal of Evaluation, 36(3), 375-388.)
"Критическое мышление (critical thinking) — это интеллектуально дисциплинированный процесс активного и умелого осмысления, применения, анализа, синтеза и/или оценки информации, собранной или полученной в результате наблюдения, приобретения живого опыта, размышлений, рассуждений или общения, в качестве основания для формирования убеждений либо руководства к действию. В своей образцовой форме критическое мышление основано на универсальных интеллектуальных ценностях: ясность, точность, четкость, последовательность, актуальность, веские доказательства, веские причины, глубина, широта и справедливость." 

среда, 18 мая 2022 г.

Размышления по итогам вчерашнего заседания клуба PROОЦЕНКУ

Вчера на клубе говорили об оценке с участием заинтересованных сторон. Наметилось несколько тем для дальнейшего размышления. 

  • В основе оценки с участием лежит признание субъектности представителей заинтересованных сторон, т.е. признание их активности, способности к развитию и интеграции, самоопределению, саморегуляции, самодвижению и самосовершенствованию (по определению С.Л.Рубинштейна). Путь к такому признанию может оказаться непростым, а последствия его – не вполне предсказуемыми.
  • Очевидно, что степень участия заинтересованных сторон может быть разной. То есть получается такой континуум: от полной ответственности группы представителей заинтересованных сторон за проведение всех этапов оценки (это 100% оценка с участием) до полной ответственности внешнего консультанта за проведение всех этапов оценки с использованием представителей некоторых заинтересованных сторон лишь в качестве источников информации (это 100% «традиционная» внешняя оценка). В общем случае оценка будет где-то между этими полюсами. 
  • Использование внешним консультантом избранных представителей заинтересованных сторон лишь в качестве источников информации не является в данном контексте «участием» заинтересованных сторон в оценке. При этом включение некоторых категорий заинтересованных сторон даже в качестве источников информации может, конечно, оказаться достаточно революционным шагом, если речь, например, идет о детях или людях с ментальными особенностями.
  • Судя по всему, участие заинтересованных сторон зачастую происходит на этапе анализа данных. Это помогает, как минимум, найти правильные интерпретации полученных данных. Существует много техник коллективного анализа данных, которые делают это процесс эффективным и увлекательным для всех участников. С примерами таких техник можно познакомиться в этом пособии (англ.). 
  • Если внешний консультант предполагает использовать элементы оценки с участием, например, привлечь представителей заинтересованных сторон к анализу данных, то это необходимо прежде согласовать с заказчиком оценки. Такой шаг для некоторых заказчиков может серьезно скомпрометировать результаты оценки.
  • Оценка с участием органично переходит в планирование действий. Если люди сами оценивают программу, то они же и решают, что и как делать по результатам оценки. В связи с этим они должны быть наделены соответствующими полномочиями и понимать свою ответственность за принимаемые решения. 

среда, 4 мая 2022 г.

Оценка с участием заинтересованных сторон

Идея этого подхода заключается в том, чтобы в проведение оценки программы или проекта – от начала и до конца – были вовлечены представители всех сторон, заинтересованных в программе или проекте. Под началом понимается постановка задачи на проведение оценки, включающая формулирование вопросов, на которые необходимо ответить. И далее – поэтапно – дизайн оценки, сбор данных, анализ данных, подготовка отчета по результатам. Заинтересованные стороны – это благополучатели, исполнители программы, представители местного сообщества и т.д. Проведение оценки с участием (participatory evaluation) зачастую завершается переходом к практическим действиям – немедленному использованию полученных результатов теми, кто оценку проводил. 

Говорят, что традиции оценки с участием были заложены исследователями еще в 19 веке. Среди исследователей, имевших отношение к формированию философских основ оценки с участием, называют, в частности, К.Маркса и Ф.Энгельса. Активное развитие оценки с участием как инструмента началось во второй половине прошлого века в рамках инициатив по совершенствованию организаций и для налаживания взаимодействия между менеджментом и работниками. Таким образом, к моменту выделения оценки программ как отдельной дисциплины и сферы практической деятельности, оценка с участием уже была известна в сфере организационного развития (Brisolara, S., 1998. The history of participatory evaluation and current debates in the field. New Directions for Evaluation 1998, 25–41.. doi:10.1002/ev.1115). 

К концу прошлого века оценка программ с участием заинтересованных сторон стала широко известным подходом и приобрела много сторонников. Тем не менее, дискуссии вокруг возможностей ее использования, ее преимуществах и ограничениях продолжаются и по сей день. 

Критики, например, говорят о том, что оценка проводится людьми, не имеющими должной подготовки и предвзято относящимися к объекту оценки. Доходит даже до того, что оценку с участием называют «замаскированной под оценку инициативой по развитию местного сообщества», что (по мнению критиков подхода) в корне неприемлемо, т.к. оценка должна быть лишь источником информации, давать объективную картину происходящего – не более. 

Радикально настроенные сторонники подхода продвигают идею вовлечения в оценку любых целевых групп, включая, например, детей или людей с ментальными особенностями. Для того, чтобы процесс оценки с участием проходил организованно, предлагается использовать внешнего консультанта, который является для исполнителей оценки и источником знаний, и фасилитатором.

На следующем заседании клуба PROОЦЕНКУ планируется поговорить об оценке с участием. Заседание пройдет онлайн во вторник 17 мая с 11.00 до 12.30 мск. Объявление о регистрации участников будет размещено в телеграмм-каналах «Проектирование и оценка в социальной сфере» и «5 элемент» в ближайшие дни.