четверг, 6 октября 2022 г.

Институт оценки и "оценочное мышление"

На прошлой неделе мы вместе с новосибирским ИнА-Центром провели в Москве двухдневный семинар, который в проекте "5 элемент" назывался "Институтом оценки". Такое название было придумано, чтобы подчеркнуть, что это мероприятие ориентировано на тех, кто имеет опыт проведения оценки - в отличие от "Школы оценки", на которую приглашают новичков.

Программа "Института" включала 8 тем: 

  1. "Развитие оценочного мышления"
  2. "Использование критериев в оценке"
  3. "Оценка потребностей"
  4. "Оценка социального эффекта и оценка влияния"
  5. "Наука о системах и оценка"
  6. "Использование моделей в оценке"
  7. "Оценка услуг"
  8. "Само-оценивание"

При выборе тем команда проекта руководствовалась несколькими критериями, включая  актуальность; новизну; наличие новых теоретических разработок; дискуссионность. Мы также учитывали опыт Клуба PROоценку, где некоторые из перечисленных тем затрагивались. На обсуждение каждой темы было отведено 1,5 часа.

Итоговое анкетирование  показало, что в материалах, представленных на сессии по оценочному мышлению, почти все было новым для 35% и многое было новым для 65% участников. "Коэффициент новизны" для нашей аудитории здесь оказался самым высоким. Предположу, что и для читателей этого блога данная тема тоже достаточно новая. По крайней мере, публикации на русском языке об оценочном мышлении пока крайне редки. Потому предложу вашему вниманию модель оценочного мышления, основанную на статье Майкла Пэттона (Patton, M. Q. (2018). A historical perspective on the evolution of evaluative thinking. In A. T. Vo & T. Archibald (Eds.), Evaluative Thinking. New Directions for Evaluation. 158, 11–28.) и принципы оценочного мышления, описанные в той же статье. 

Хотел бы особо подчеркнуть, что Пэттон предложил свое определение оценочного мышления (evaluative thinking) как сочетания критического, творческого, логического и практического мышления. Графический образ оценочного мышления в виде четверной спирали (см. ниже) - наша интерпретация определения Пэттона. Он с ней пока не знаком :)


В таблице ниже приведены принципы оценочного мышления от Пэттона (перевод мой).  

среда, 14 сентября 2022 г.

Дата

Сегодня Компании "Процесс Консалтинг" исполняется 30 лет!

По этому случаю хочется сказать слова благодарности... 

...Нашим клиентам за доверие, которое мы очень ценим и стараемся оправдывать; за сотрудничество, без которого у нас бы точно ничего не получилось; за возможность учиться у них и вместе с ними.

...Нашим партнерам, на которых всегда можно положиться и вместе с которыми можно находить решения самых сложных проблем. 

...Нашим зарубежным коллегам, которые на протяжении многих лет щедро делятся с нами своими знаниями и опытом. Мы обязаны им очень многим. 

...Нашим семьям, за веру в успех нашего дела и постоянную поддержку. 

Встречаем юбилей в работе, которую делаем с удовольствием. 

Искренне ваши,

среда, 7 сентября 2022 г.

Оценка потребностей: всё непросто

Завтра на очередном заседании клуба PROОЦЕНКУ будем обсуждать оценку потребностей. Любопытно, что этот вид оценивания трактуется специалистами по-разному. Многое зависит от того, как мы определяем, что такое  "потребность". В психологии принято считать, что это "состояние индивида, создаваемое испытываемой им нуждой в объектах, необходимых для его существования и развития, и выступающее источником его активности". В принципе, это может быть отнесено и к группе. В литературе по менеджменту широко распространено такое определение: "Потребность в самом простом смысле — это измеримый разрыв между двумя состояниями — тем, что есть сейчас, и тем, что должно быть". Все соглашаются, что потребности имеют разную степень значимости, то есть существует некая иерархия потребностей. При этом в литературе по менеджменту предлагается определять приоритетность потребностей путем сравнения (а) затрат, связанных с удовлетворением потребностей (или устранением разрыва между желаемым и действительным), и (б) затрат в ситуации неудовлетворения потребностей (или сохранения этого разрыва). Очевидно, такой подход не вполне коррелирует с известной пирамидой потребностей Маслоу (говорят, что он никогда про пирамиду не писал, кстати).
Соответственно, оценка потребностей в одних случаях выглядит как комплексный анализ проблемной ситуации, а в других как выявление несоответствий между желаемым и действительным. А ведь еще бывают осознаваемые и неосознаваемые потребности... Как с этим быть? В общем, разговор завтра обещает быть интересным. 
Еще можно зарегистрироваться для участия в заседании по этой ссылке.

понедельник, 11 июля 2022 г.

Мониторинговый визит

Из самого названия визита понятно, что он проводится в рамках мониторинга программы или проекта. Мониторинг предполагает регулярное отслеживание и фиксацию того, что происходит в проекте. Другими словами, это процесс регулярного и систематического сбора информации по всем ключевым аспектам проекта. 

Важная традиционная составляющая мониторинга - это сбор информации о значениях заранее выбранных показателей для обеспечения руководителей программы (проекта) и других заинтересованных сторон сведениями о том, насколько успешно выполняются программа (проект) в целом и ее (его) отдельные компоненты, в какой мере достигаются поставленные цели, и как используются ресурсы. Можно ли считать, что мониторинг - это исключительно про показатели? Если система мониторинга предполагает проведение мониторинговых визитов, то точно нельзя, поскольку мониторинговый визит - это точно не про показатели. Конечно, во время таких визитов происходит сбор информации о ходе и результатах проектов и программ, а также об организациях-исполнителях. Но собираемые данные носят преимущественно описательный характер и никак не сводятся к значениями показателей. Мы проводим мониторинговый визит, чтобы своими глазами увидеть, как идут дела, чтобы поговорить с исполнителями проекта и благополучателями. 

Таким образом, мониторинговый визит является не чем иным как эмпирической оценкой, он дополняет сведения о значениях показателей результатами наблюдения и интервью. Это значит, что планировать и проводить мониторинговый визит следует по правилам эмпирической оценки (не индикаторной!): сформулировать вопросы, на которые необходимо получить ответы; определить источники и методы получения необходимой для этого информации; подготовить соответствующие инструменты; собрать и проанализировать данные; подготовить отчет. Если этим правилам не следовать, то есть риск не узнать то, что нужно, и результаты мониторингового визита окажутся не столь полезными, как могли бы.

понедельник, 27 июня 2022 г.

Экспертиза заявок и принятие решений о финансировании

Общепринятый подход к экспертизе заявок на получение гранта предполагает, что каждая заявка оценивается специально подобранными экспертами по ряду критериев, предложенных финансирующей организацией. Для оценки заявок эксперты пользуются шкалами, которые позволяют выразить их мнение о степени соответствия заявки тому или иному критерию: по каждому критерию эксперт выставляет определенный балл.  Зачастую по результатам оценки каждой заявки эксперту также предлагается сделать вывод о качестве замысла проекта в целом и целесообразности его финансирования, например, «проект хороший и рекомендуется к поддержке» или «проект неудачный и не рекомендуется к поддержке». Встречается также вариант, в котором эксперт может указать на то, что в замысле проекта есть недочеты, которые не позволяют однозначно рекомендовать поддержать либо отвергнуть его. Значение оценки эксперта по заявке, как правило, рассчитывается автоматически: общая сумма баллов, присвоенных заявке по каждому критерию, умножается на коэффициент значимости этого критерия. После этого вычисляется общая сумма баллов, которую получила заявка.

Предлагаю к обсуждению 2 вопроса: 

  • Чем должна заканчиваться работа эксперта: вынесением суждения или выставлением баллов? 
  • Что должен содержать вывод эксперта по заявке? 

Вероятно, ни у кого не вызовет возражений утверждение о том, что зона ответственности эксперта грантового конкурса заканчивается вынесением суждения о проекте. Это суждение основывается на знаниях и практическом опыте эксперта и выносится на основании внимательного изучения замысла проекта (заявки). Соответственно, главный вопрос к эксперту состоит не в том, сколько баллов он выставляет, скажем,  по критерию «Актуальность», а в том, насколько актуален проект с его точки зрения. Это означает, что эксперту должна быть предложена шкала, каждое деление которой имеет развернутое описание. Эксперт соотносит свое мнение о проекте с этими описаниями и выбирает то, которое точнее всего соответствует его позиции. Если таких описаний не будет, а эксперту будет просто предложено оценить заявку по 9-балльной шкале, каждый эксперт будет трактовать отличия, скажем, оценки 6 от оценки 7 по своему усмотрению, и результаты экспертизы, проведенной разными людьми, окажутся не вполне совместимыми. Более того, в этом случае мнение эксперта весьма сложно обсудить либо оспорить, т.к. оценка будет основана на его видении шкалы.

Если шкала содержит соответствующие описания, то возникает следующий вопрос: нужны ли эксперту числа? Ведь числа – это формальный шаг, который позволяет автоматически «оцифровать» содержательное суждение. Задача эксперта – вынести такое суждение. Задача финансирующей организации – оцифровать его. Нужно ли эксперту знать, по какой формуле происходит «оцифровка» и сколько баллов в итоге наберет проект, который он оценивает? 

Теперь об общем выводе, который делает эксперт. Он должен касаться качества замысла проекта и вероятности его успешной реализации. Рекомендация о том, следует ли финансирующей организации поддержать проект, лежит за пределами зоны ответственности эксперта. Другими словами, работа эксперта должна завершаться суждением о том, что «проект – хороший» или не вполне. Наделять же эксперта полномочиями, связанными с решением о финансировании, на мой взгляд, не вполне корректно. Представьте себе на секунду, что приглашенный в судебное заседание эксперт-психолог после представления психологического портрета подсудимого, даст рекомендацию присяжным относительно их вердикта.

четверг, 16 июня 2022 г.

Независимая оценка

Вчера на вебинаре Майкл Пэттон поделился мыслями о т.н. "независимой оценке". Дело в том, что многие крупные организации создают подразделения с такими названиями (см., например, Группу независимой оценки Всемирного банка). Считается, что придание независимого статуса повышает доверие к результатам проводимой такими подразделениями оценки и достоверность этих результатов. 

Пэттон считает, что все, что даёт независимость - это отсутствие зависимости :), дистанцирование. По его мнению, это никак не повышает ни доверия к результатам, ни их достоверности. Напротив, взаимозависимость (interdependence) может существенно повысить доверие к результатам оценки, которую проводят не те, кто дистанцирован от проекта и никак от него не зависят, а те, кто действительно заботятся о проекте, связаны с проектом и кому проект небезразличен. 

Я к этому хотел бы добавить, что независимой оценки не бывает, в принципе. Люди, проводящие оценку всегда от кого-то и от чего-то зависят. Например, от тех, кто им платит деньги. 

вторник, 7 июня 2022 г.

Принципы само-оценивания

Принципы, регламентирующие ту или иную сферу профессиональной деятельности, определяют поведение представителей профессии в значимых повторяющихся ситуациях. Такие принципы формируются на основе живого опыта как результат достижения согласия между представителями профессии по поводу того, как следует себя вести в ситуациях сложного выбора. 

В нашей стране существуют Принципы оценки программ и политик, разработанные Ассоциацией специалистов по оценке программ и политик (АСОПП) и опубликованные в 2017 году. В числе этих принципов:  

  1. Ориентация на практическое использование результатов оценки
  2. Компетентность исполнителей 
  3. Корректность методологии 
  4. Открытость 
  5. Безопасность 
  6. Адаптивность

Принципы разработаны с учетом того, что в оценке – в общем случае – могут принимать участие три стороны:

  • Заказчик – представитель организации, которая инициирует оценку, ставит задачу на ее проведение и будет основным пользователем ее результатов.
  • Специалист по оценке – человек, который привлекается Заказчиком для проведения оценки.
  • Участники оценки – люди, которые в ходе оценки предоставляют информацию, и зачастую являются сотрудниками или руководителями программ, являющихся объектом оценки.

Соответственно, каждый принцип сопровождается рекомендациями для каждой из трех перечисленных выше сторон. Это, по мнению разработчиков, позволяет сделать принципы полезными для всех сторон, включенных в проведение оценки программ и политик.

Но как быть в случае, когда проводится само-оценивание, самый распространенный вид оценки проектов и программ? Ведь именно в такой ситуации чаще всего находятся некоммерческие организации. 

Вот лишь несколько особенностей само-оценивания: 

  • Заказчиками и исполнителями оценки в этом случае являются сами сотрудники организации. Более того, зачастую они окажутся и в числе участников оценки, обладающих необходимой информацией о проекте. Естественно, они же будут использовать результаты оценки. 
  • Имеет ли в таком случае смысл делать особый акцент на ориентации на практическое использование результатов оценки? Вряд ли кто-то станет тратить время и силы на проведение работ, результаты которых никому в организации не нужны. Или все-таки нужно изначально подумать о практическом использовании результатов?
  • Среди сотрудников организации чаще всего не окажется людей, являющихся экспертами в сфере оценки. Какие требования в таком случае можно предъявлять к компетентности исполнителей и корректности методологии? С другой стороны, если методология не вполне корректна, результатам оцени нельзя доверять. 
  • Принцип безопасности гласит: «Оценка должна проводиться с уважением достоинства всех ее участников независимо от их роли, социального статуса и индивидуальных особенностей. При проведении оценки следует учитывать возможные негативные последствия, которые она может иметь как для отдельных людей, так и для организаций. Риск возможных негативных последствий должен быть сведен к минимуму, а участники оценки должны быть о них проинформированы». Замените здесь «оценку» на «само-оценивание». О каких негативных последствиях может идти речь? Кого предупреждать о рисках – самих себя? Или все же риски имеются? 

В общем, здесь есть, что обсудить. Именно поэтому на ближайшем заседании клуба PROОЦЕНКУ будем говорить о практическом применении принципов оценки в ситуации само-оценивания. Заседание пройдет онлайн в четверг 9 июня с 11.00 до 12.30 мск. Участие бесплатное. Регистрация участников здесь. Приходите! Интересная беседа в хорошей компании, как всегда, гарантируется 😊

четверг, 2 июня 2022 г.

О пользе теорий в оценке программ

Отличия оценки программ от исследования хорошо известны: методы используются одни и те же, но это разные жанры. Исследования ориентированы на получение нового знания, а оценка – на поддержку принятия решений. При этом результаты некоторых исследований могут очень пригодиться при проведении оценки. 
Рассмотрим пример. 
Допустим, вы проводите оценку программы, связанной с развитием взаимодействий между людьми или организациями. Анализ взаимодействий показал (использована  методика Social Network Analysis), что существует группа, взаимодействия внутри которой намного интенсивнее, чем взаимодействия между остальными участниками данной социальной сети – как показано на рисунке. Вероятно, на основе полученных данных вы сможете объяснить, почему так получилось в данном случае. Но хорошо это или плохо? Можно ли что-то сказать о перспективах развития данной социальной сети? Здесь на помощь может прийти теория развития социальных сетей, предложенная Кребсом и Холи (Krebs, Valdis & Holley, June. (2006). Building smart communities through network weaving. Appalachian Center for Economic Networks.). Данная теория говорит о том, что конфигурация «ядро – периферия», представленная на рисунке, является признаком высокого уровня развития социальной сети и свидетельствует о её устойчивости. 
Точно так же результаты исследований в сфере внедрения инноваций могут оказаться полезными при оценке инновационных программ (см. здесь), результаты исследований в сфере организационного развития – при оценке программ развития организаций, результаты психологических исследований – при оценке программ психологической помощи и т.д. Научное знание может быть полезно для осмысления результатов оценки конкретной программы. 

четверг, 26 мая 2022 г.

Оценочное мышление

Вообще-то, психологи говорят, что нам всем надо учиться безоценочному мышлению… Например, бизнес-тренер и life-коуч Александр Печерский считает, что «есть «оценочное мышление» и есть «безоценочное мышление». Первое – сужает наши представления, ограничивает, обедняет нашу жизнь, второе – расширяет и обогащает». 
В то же время специалисты по оценке уже давно говорят о том, что для успешного внедрения оценки в деятельность организаций необходимо формировать у сотрудников оценочное мышление. А как же психология? 
Кажущееся противоречие связано с тем, что в первом случае понятия «оценочный» и «безоценочный» являются переводом английских слов judgmental и non-judgmental. Буквально их можно еще перевести как «осуждающий, склонный к осуждению» и, наоборот, «не склонный судить либо осуждать». 
Во втором же случае «оценочное мышление» является переводом английского evaluative thinking. Корень слова «оценочный» (evaluative) в данном случае – «ценность» (value). Точно так же и оценку (evaluation)  проектов и программ следует понимать, скорее, как «определение их ценности». 
Одно из наиболее часто используемых определений оценочного мышления выглядит так: 
"Оценочное мышление — это критическое мышление, применяемое в контексте оценки и обусловленное любознательностью и верой в ценность доказательств. Оценочное мышление включает выявление предположений и допущений, вдумчивую постановку вопросов, стремление к более глубокому пониманию через рефлексию и анализ с разных позиций, а также обоснование решений при подготовке к действиям." (Buckley, J., Archibald, T., Hargraves, M., & Trochim, W. M. (2015). Defining and teaching evaluative thinking: Insights from research on critical thinking. American Journal of Evaluation, 36(3), 375-388.)
"Критическое мышление (critical thinking) — это интеллектуально дисциплинированный процесс активного и умелого осмысления, применения, анализа, синтеза и/или оценки информации, собранной или полученной в результате наблюдения, приобретения живого опыта, размышлений, рассуждений или общения, в качестве основания для формирования убеждений либо руководства к действию. В своей образцовой форме критическое мышление основано на универсальных интеллектуальных ценностях: ясность, точность, четкость, последовательность, актуальность, веские доказательства, веские причины, глубина, широта и справедливость." 

среда, 18 мая 2022 г.

Размышления по итогам вчерашнего заседания клуба PROОЦЕНКУ

Вчера на клубе говорили об оценке с участием заинтересованных сторон. Наметилось несколько тем для дальнейшего размышления. 

  • В основе оценки с участием лежит признание субъектности представителей заинтересованных сторон, т.е. признание их активности, способности к развитию и интеграции, самоопределению, саморегуляции, самодвижению и самосовершенствованию (по определению С.Л.Рубинштейна). Путь к такому признанию может оказаться непростым, а последствия его – не вполне предсказуемыми.
  • Очевидно, что степень участия заинтересованных сторон может быть разной. То есть получается такой континуум: от полной ответственности группы представителей заинтересованных сторон за проведение всех этапов оценки (это 100% оценка с участием) до полной ответственности внешнего консультанта за проведение всех этапов оценки с использованием представителей некоторых заинтересованных сторон лишь в качестве источников информации (это 100% «традиционная» внешняя оценка). В общем случае оценка будет где-то между этими полюсами. 
  • Использование внешним консультантом избранных представителей заинтересованных сторон лишь в качестве источников информации не является в данном контексте «участием» заинтересованных сторон в оценке. При этом включение некоторых категорий заинтересованных сторон даже в качестве источников информации может, конечно, оказаться достаточно революционным шагом, если речь, например, идет о детях или людях с ментальными особенностями.
  • Судя по всему, участие заинтересованных сторон зачастую происходит на этапе анализа данных. Это помогает, как минимум, найти правильные интерпретации полученных данных. Существует много техник коллективного анализа данных, которые делают это процесс эффективным и увлекательным для всех участников. С примерами таких техник можно познакомиться в этом пособии (англ.). 
  • Если внешний консультант предполагает использовать элементы оценки с участием, например, привлечь представителей заинтересованных сторон к анализу данных, то это необходимо прежде согласовать с заказчиком оценки. Такой шаг для некоторых заказчиков может серьезно скомпрометировать результаты оценки.
  • Оценка с участием органично переходит в планирование действий. Если люди сами оценивают программу, то они же и решают, что и как делать по результатам оценки. В связи с этим они должны быть наделены соответствующими полномочиями и понимать свою ответственность за принимаемые решения. 

среда, 4 мая 2022 г.

Оценка с участием заинтересованных сторон

Идея этого подхода заключается в том, чтобы в проведение оценки программы или проекта – от начала и до конца – были вовлечены представители всех сторон, заинтересованных в программе или проекте. Под началом понимается постановка задачи на проведение оценки, включающая формулирование вопросов, на которые необходимо ответить. И далее – поэтапно – дизайн оценки, сбор данных, анализ данных, подготовка отчета по результатам. Заинтересованные стороны – это благополучатели, исполнители программы, представители местного сообщества и т.д. Проведение оценки с участием (participatory evaluation) зачастую завершается переходом к практическим действиям – немедленному использованию полученных результатов теми, кто оценку проводил. 

Говорят, что традиции оценки с участием были заложены исследователями еще в 19 веке. Среди исследователей, имевших отношение к формированию философских основ оценки с участием, называют, в частности, К.Маркса и Ф.Энгельса. Активное развитие оценки с участием как инструмента началось во второй половине прошлого века в рамках инициатив по совершенствованию организаций и для налаживания взаимодействия между менеджментом и работниками. Таким образом, к моменту выделения оценки программ как отдельной дисциплины и сферы практической деятельности, оценка с участием уже была известна в сфере организационного развития (Brisolara, S., 1998. The history of participatory evaluation and current debates in the field. New Directions for Evaluation 1998, 25–41.. doi:10.1002/ev.1115). 

К концу прошлого века оценка программ с участием заинтересованных сторон стала широко известным подходом и приобрела много сторонников. Тем не менее, дискуссии вокруг возможностей ее использования, ее преимуществах и ограничениях продолжаются и по сей день. 

Критики, например, говорят о том, что оценка проводится людьми, не имеющими должной подготовки и предвзято относящимися к объекту оценки. Доходит даже до того, что оценку с участием называют «замаскированной под оценку инициативой по развитию местного сообщества», что (по мнению критиков подхода) в корне неприемлемо, т.к. оценка должна быть лишь источником информации, давать объективную картину происходящего – не более. 

Радикально настроенные сторонники подхода продвигают идею вовлечения в оценку любых целевых групп, включая, например, детей или людей с ментальными особенностями. Для того, чтобы процесс оценки с участием проходил организованно, предлагается использовать внешнего консультанта, который является для исполнителей оценки и источником знаний, и фасилитатором.

На следующем заседании клуба PROОЦЕНКУ планируется поговорить об оценке с участием. Заседание пройдет онлайн во вторник 17 мая с 11.00 до 12.30 мск. Объявление о регистрации участников будет размещено в телеграмм-каналах «Проектирование и оценка в социальной сфере» и «5 элемент» в ближайшие дни. 

вторник, 26 апреля 2022 г.

Карта результатов и карта бизнес-процессов

«Цепочка ожидаемых результатов» и «карта ожидаемых результатов» - широко известные способы представления замысла проекта. Карта результатов – неотъемлемая часть теории изменений, лежащей в основе замысла проекта. Цепочка или карта результатов показывают, каким образом действия в рамках проекта приводят к достижению стратегической цели проекта. 

С более подробным описанием карты результатов социально-ориентированного проекта можно ознакомиться по приведенной выше ссылке и во многих других русскоязычных и зарубежных публикациях. 

Вот так может выглядеть карта результатов для программы повышения качества обслуживания. 



Составление карт бизнес-процессов применительно к НКО и к социально-ориентированным проектам обсуждается гораздо реже. Оговоримся сразу, что, если «бизнес» понимать как «дело», любое ДЕЛО, то не существует никаких противопоказаний к использованию инструментария из сферы управления бизнес-процессами в НКО.

Бизнес-процесс – это полная совокупность действий, приводящая к достижению ценного, с точки зрения заказчика, результата или предоставлению услуги. Внешнее сходство с определением «карты результатов» очевидно. Есть даже такое понятие как «карта бизнес-процессов», которая  «крупными мазками» показывает, как работает бизнес. Точно так же, как «карта результатов» показывает, как работает та или иная социальная инициатива. 

Но между картой процессов и картой результатов есть, конечно, целый ряд принципиальных отличий. Начнем с того, что в одном случае акцент делается на цепочки результатов, а в другом – на цепочки действий. Важно также отметить, что в «карте результатов» предполагается, что совершение некой совокупности действий «запускает» цепочки результатов. Аналогия - костяшки домино, расставленные в определенном порядке, которые начинают последовательно падать, если толкнуть первую. 

Еще одно существенное отличие: карта результатов формируется в отношении достижения главного результата, того, что в управлении бизнес-процессами называют ценностью для клиента. Это ценность создается так называемыми «основными процессами». При описании же бизнес-процессов кроме основных принято отдельно рассматривать:  

  • вспомогательные (или обеспечивающие) процессы, которые предназначены для поддержки основных, обычно через управление ресурсами и/или инфраструктурой, необходимых основным процессам. Разница между основными и вспомогательными процессами в том, что вспомогательные процессы непосредственно не создают ценность для потребителя. 
  • процессы управления, которые предназначены для измерения, мониторинга и контроля деятельности.

Вот так может выглядеть карта процессов торговой компании 

Управление бизнес-процессами (Business Process Management, BPM) – это концепция управления, увязывающая стратегию и цели организации с ожиданиями и потребностями клиентов путем соответствующей организации сквозных процессов. Наверное, можно сказать, что карта результатов ближе к стратегии (теории ДЕЛА, как говаривал гуру менеджмента Питер Друкер), а карта бизнес-процессов к тому, как это ДЕЛО работает. 

В любом случае тут есть, о чем поразмышлять. 

В этой публикации использованы материалы из «Свода знаний по управлению бизнес-процессами» , который я рекомендую как базовую публикацию для всех интересующихся. 

среда, 20 апреля 2022 г.

Самое сложное в оценке

Вчера в Telegram-канале проекта «5 элемент»  был открыт онлайновый опрос подписчиков. Предлагается ответить лишь на один вопрос: «Что Вы считаете в оценке самым сложным?».

Я решил провести небольшое исследование, чтобы посмотреть, что называют самым сложным в англоязычных публикациях по оценке программ и проектов. Использовал Google и рассмотрел первые 17 результатов поиска (первые две страницы). Обнаружил следующее: 

  1. В нескольких публикациях речь идет об атрибуции. То есть самым сложным в оценке называют определение ценности программы на фоне других факторов, повлиявших на ситуацию. Другими словами, это обоснование причинно-следственной связи между программой и произошедшими позитивными изменениями либо предотвращенными негативными изменениями. Пример
  2. В одном случае самым сложным назвали стоимостной анализ эффективности услуг, монетизацию социальных эффектов. Ссылка.  
  3. И еще в одном случае утверждается, что самое сложное в оценке – это решить, что измерять и каким образом. Ссылка.

Интересно, что во всех случаях утверждение о том, что именно является самым сложным в оценке, предваряет достаточно подробные рекомендации по преодолению этой сложности. И это, конечно, отличная новость 😉

пятница, 15 апреля 2022 г.

О пользе процесса

Когда идет речь о полезной оценке проектов и программ, в первую очередь говорят, конечно, об использовании результатов оценки. Между тем, и процесс оценки может быть весьма полезен во многих отношениях. 

На вчерашнем заседании клуба PROОЦЕНКУ в числе прочего обсуждали возможность взаимодействия между экспертами, оценивающими проектную заявку, и заявителями, которые эту заявку составили. Все знают, что возможности такого взаимодействия, как правило, очень ограничены – по вполне понятным причинам. Однако, если бы общение между экспертом и заявителями  было возможно, это могло бы способствовать развитию потенциала заявителей. Скажем, эксперт мог бы пояснить, как он оценивал заявку и почему выставил те или иные оценки. Можно даже представить, что эксперт по ходу оценки мог бы обращаться к заявителям с вопросами. Подобное общение в процессе оценки сделало бы этот процесс более полезным для заявителей. 

При проведении эмпирической оценки возможности получения пользы от процесса (по-английски process use of evaluation) существенно больше. В частности, в ходе оценки могут быть прояснены многие вопросы и достигнуто лучшее взаимопонимание между членами команды проекта. Например, в процессе группового интервью, которое проводится внешним консультантом в рамках сбора информации о проекте, могут уточняться приоритеты проекта и связь проекта со стратегией организации. Таким образом, разговор с командой проекта, с одной стороны, поможет получить нужные сведения, а с другой стороны, поможет самим участникам проекта прояснить важные вещи. 

Если оценка проводится с активным участием команды проекта (participatory evaluation), процесс оценки позволит команде проекта научиться чему-то новому, повысить свой потенциал в сфере оценки. 

В списке контрольных вопросов, относящихся к оценке, ориентированной на практическое использование (Utilization-Focused Evaluation Checklist), Майкл Пэттон предлагает рассмотреть возможности использования процесса оценки уже на стадии планирования и предусмотреть такое использование, если обстоятельства позволят. Отличная идея! 

среда, 6 апреля 2022 г.

Нужно ли давать рекомендации по результатам оценки проекта или программы?

По этому поводу существуют две противоположные позиции. Они связаны с пониманием сущности оценки и границ жанра. Обе позиции достаточно широко известны, поскольку связаны с именами двух гуру оценки Майкла Скривена и Майкла Пэттона.

Позиция Пэттона: оценка должна быть ориентирована на использование, на действие. Поэтому по итогам оценки - в общем случае - должны быть даны рекомендации. Это своего рода мостик к действиям. Важно при этом соблюдать схему: данные – интерпретации – выводы – рекомендации. То есть рекомендации обязательно должны основываться на выводах по результатам оценки.

Позиция Скривена: оценка заканчивается выводами. Рекомендации нужны в оценке «как рыбе велосипед». Оценка направлена на вынесение суждений, основанных на эмпирических данных. Эти суждения могут использоваться, в том числе, при планировании деятельности. Но предложения о том, какие действия следует предпринять по результатам оценки (это, собственно, и есть рекомендации), должен вырабатывать не тот, кто проводит оценку. Для выработки рекомендаций нужно обладать компетенциями, которые выходят за рамки компетенций специалиста по оценке. 

Опытные менеджеры категоричны: рекомендации, которые поступают от человека с ограниченными опытом и знаниями в сфере управления, а также слабо понимающего организационный контекст, не стоят ломаного гроша. Боб Вильямс из Новой Зеландии считает, что требование включить рекомендации в отчет по результатам оценки зачастую связано с манипуляцией, со стремлением переложить ответственность за определенные решения на внешнего консультанта.

Соглашусь с тем, что не стоит давать рекомендации, не имея должного опыта, знаний и понимания контекста. Не здорово и превращаться в инструмент для чьих-то манипуляций. Не надо давать рекомендации, когда об этом не просят. Неправильно, когда рекомендации не особенно связаны с результатами оценки, а являются продуктом свободного творчества внешних консультантов. Но…

Можно привести много примеров, когда рекомендации, сформулированные по итогам оценки, не просто приветствовались, но активно внедрялись. Это чаще всего имеет место, когда оценка проводится с активным участием тех, кто будет пользоваться ее результатами. В этом случае  рекомендации формируются совместно. А уж в само-оценивании рекомендации абсолютно органичны и необходимы: провели само-оценивание и приняли решения о том, что дальше делать.

четверг, 31 марта 2022 г.

Каково идеальное число показателей для оценки проекта?

Вопрос непростой и отнюдь не праздный. Если показателей будет недостаточно, вы не сможете узнать то, что нужно для принятия решений или, скажем, для отчетности по проекту. Если показателей будет слишком много, вы будете тратить свои ресурсы на получение информации, которая ни вам, ни кому-то другому не пригодится. То есть, другими словами, будете тратить ресурсы попусту.

Простого ответа на вопрос об идеальном числе показателей не существует. Но есть несколько важных соображений, которые следует принимать во внимание, чтобы ответить на него. 

  • Начнем с главного: кто и что именно хочет узнать с помощью показателей? Если мы хотим, чтобы показатели были полезными, надо определить пользователей и их информационные потребности. Далее надо обязательно определить, как именно эти люди собираются использовать полученные данные о значениях показателей. То есть здесь мы должны следовать принципам оценки, ориентированной на практическое использование. Естественно, имеется в виду, что показатели используются в рамках подхода, который мы называем индикаторной оценкой. 
  • Любой показатель относится к какому-то определенному компоненту проекта, например, к ресурсам, процессу реализации проекта, результатам проекта и т.д. Поэтому перед формулированием показателей необходимо описать теорию изменений или логическую модель проекта. Тогда будет проще понять, что именно мы измеряем с помощью тех или иных показателей. Помним о базовой формуле индикаторной оценки: «реальность-модель-показатели».  
  • Следует стремиться к минимизации количества показателей, поскольку замер их значений предполагает создание целой системы. Каждый новый показатель – это деньги, время, энергия людей. 
  • Следует помнить, что не все информационные потребности можно удовлетворить с помощью индикаторной оценки. Возможно, у будущих пользователей результатов оценки появятся такие вопросы, ответы на которые целесообразнее будет получить с помощью эмпирической или экспертной оценки. Это, кстати, один из способов минимизации числа показателей. 

В заключение предлагаю подумать над рекомендацией известных американских специалистов Кусек и Рист, приведенной в книге «10 шагов к системе мониторинга и оценки, основанной на результатах» (англ.): «Каково идеальное число показателей для какого-либо результата программы или проекта? Минимальное число, позволяющее ответить на вопрос о том, достигнут ли этот результат».

вторник, 22 марта 2022 г.

Международная академия оценки

Международная академия оценки (International Evaluation Academy) объявила о начале своей деятельности. Академия зарегистрирована как благотворительная организация в Англии и Уэльсе.  Это глобальное движение добровольцев, стремящихся к повышению влияния оценки на принятие значимых решений, профессионализации и преобразующему воздействию. 

Академия ориентирована на инновации: "Мы поощряем новаторские изменения в способах разработки и использования оценки для решения сложных задач экономической, социальной и экологической устойчивости" (цитата с сайта).

"Академия охватывает широкий спектр подходов, моделей и методов оценки. Она соблюдает принцип субсидиарности в своей работе; мобилизует энергию и навыки добровольцев на местном, национальном, региональном и глобальном уровнях; организует информационные сообщества стипендиатов («хабы») для решения разнообразных тематических, региональных и местных задач; обращается к партнерам через государственные и междисциплинарные границы, привлекая к сотрудничеству государственные структуры, бизнес-организации и гражданское общество" (цитата с сайта). 

Полагаю, это важное событие в мире оценки. Теперь будем следить и за "академическими" новостями. 

пятница, 11 марта 2022 г.

Не профессия

Вчера на 10-м заседании клуба PROОЦЕНКУ обсуждали оценивание организаций. Видеозапись заседания доступна здесь. Несколько мыслей по итогам… 

  • Оценку организаций по-английски чаще называют ассесментом (assessment) или диагностикой (diagnostics). Термин evaluation (корень value – ценность) применительно к оценке организаций используется значительно реже, чем к оценке программ. Google дает 35 000 000 ссылок на словосочетание «program evaluation» и всего 58 000 ссылок на словосочетание «organizational evaluation».
  • Оценка организаций появилась в контексте развития знаний и практики, связанных с организационным развитием и управлением организациями. Организационное развитие (Organization Development) – это область знаний и практической деятельности, ориентированная на изучение и повышение потенциала организаций для обеспечения их эффективности и жизнеспособности. 
  • В традиции организационного развития оценка (диагностика) организации встроена в процесс изменений. После диагностики организации ставятся цели и разрабатывается план изменений, затем осуществляются эти изменения, а по итогам реализации плана проводится оценка – все ли получилось так, как хотели. Вот это де-факто оценка программы – программы организационных изменений. 
  • Оценка организаций не выделилась как отдельная профессия – в отличие от оценки программ и проектов. Соответственно, не существует перечней компетенций для «специалиста по оценке организаций» и профессиональных объединений, ориентированных исключительно на оценку организаций. 

  • На рисунке показаны 4 подхода к оценке организаций. Есть вариант оценки, основанный на использовании модели. Это своего рода чек-лист, который предписывает вынести суждения по заранее заданным параметрам. Часто в подобных методиках предлагаются шкалы, позволяющие получить численные значения по каждому из параметров. С примером использования такого подхода можно ознакомиться в исследовании Центра оценки общественных инициатив Института прикладных политических исследований НИУ ВШЭ. Такой подход ближе к индикаторной оценке. 
  • Другой вариант оценки предполагает формулирование вопроса, на который нужно ответить, а затем - планирование и проведение специального оценочного исследования для получения данных, на основании которых можно получить ответ на тот самый вопрос. Такой подход ближе к традиции эмпирической оценки.  
В заключение хотел бы отметить, что в ближайшие полтора года деятельность клуба PROОЦЕНКУ будет осуществляться под эгидой проекта «Поддержка развития оценки и развитие оценочного мышления. Пятый элемент», который выполняется Ассоциацией ИнА-Центр в партнерстве с Фондом СЦПОИ, Компанией "Процесс Консалтинг" и Группой НКО "Гарант" при поддержке Фонда президентских грантов.

суббота, 5 марта 2022 г.

Про оценку организаций

Ближайшее заседание клуба PROОЦЕНКУ будет посвящено оцениванию организаций. Один из вопросов, которые планируется обсудить, относится к сфере компетенций. Нужны ли для оценки организаций какие-то особые компетенции, отличные от тех, которые требуются для оценки программ и проектов? На мой взгляд, нужны. Хотя бы потому, что человек, проводящий оценку, должен хорошо понимать, что собой представляет объект оценки: по каким законам он формируется, функционирует, развивается. Другими словами, для оценки проектов и программ надо хорошо разбираться в проектах и программах, а для оценки организаций, надо хорошо понимать организации. 
При этом... Тот, кто оценивает проекты, должен в какой-то мере понимать организации, поскольку они реализуют проекты и являются значимым для проектов контекстом. А тот, кто оценивает организации, должен иметь представление о проектах, поскольку эта форма деятельности повсеместно используется организациями.
Если принять во внимание, что методы, которые используются при оценке проектов, программ и организаций - одни и те же (анкетирование, наблюдение, интервью и т.д.), то нам точно будет, о чем поговорить на клубе :) 
Регистрация участников здесь. Заседание пройдет 10 марта онлайн с 11 до 12.30 мск.  

среда, 2 марта 2022 г.

Книга из блога

К онлайновым сервисам привыкаешь настолько, что перестаешь задумываться о том, не следует ли сохранить информацию где-то у себя. Так произошло у меня с блогом, куда пишу в последние годы почти каждую неделю. Текст набираю в онлайне, копии не сохраняю. За 14 лет накопилось довольно много публикаций. Сегодня обнаружил целый ряд онлайновых сервисов, позволяющих за считаные минуты и небольшие деньги конвертировать блог в книгу в формате PDF. Теперь у меня такая книжка есть, вернее даже две книжки, поскольку в период с 2008 по 2011 я пользовался платформой LiveJournal, а затем "переехал" на Blogger. Все публикации за период с 2008 по 2011 уместились на 180 страницах с картинками и ссылками, а за период с 2012 по 2022 - на 420 страницах. Естественно, это я для себя сделал, в первую очередь. Но, если вдруг кому-то такая книга интересна, дайте знать. 

С удовольствием рекомендую сервис, которым я воспользовался. Он называется BlogBooker. На картинке - платформы, с которыми он работает. 

среда, 16 февраля 2022 г.

17000 KPIs

KPI (key performance indicators) по-русски называют ключевыми показателями эффективности. В книжке, обложку которой вы видите, представлено 17000 таких показателей. Книга называется "Мега-библиотека KPI". Масштабы, конечно, впечатляют. Но давайте зададимся следующим вопросом: вам в вашей организации нужно столько показателей? Предполагаю, что ответ будет отрицательным. Другой вопрос: сможете ли вы найти среди 17000 тот единственный показатель, который вам нужен? Тоже не факт. 

Как ни парадоксально, разработать небольшое число показателей, позволяющих получить действительно полезную для вас информацию, намного сложнее чем "сгенерировать" тысячу показателей без особой привязки к деятельности вашей организации и потребностям лиц, принимающих решения. 

Почему так получается? 

Дело в том, что начинать разработку показателей нужно с "теории изменений" (ТИ), лежащей в основе вашей программы или проекта. Когда ТИ сформирована, то есть, показано, как деятельность в рамках проекта приведет к желаемым результатам, можно приступить к разработке показателей. Главные вопросы при этом: Что именно мы хотим узнать? и Зачем нам это нужно? (то есть, как станем использовать полученное знание). Если мы хотим узнать что-либо, связанное с мероприятиями в рамках проекта, то показатель будет относиться к деятельности. Это может быть, к примеру, охват целевой аудитории. Если же нас интересует, в какой мере нам удастся достичь запланированных результатов, то показатели должны относиться к результатам соответствующего уровня в ТИ. Это могут быть непосредственные результаты нашей деятельности, например, изменение знаний слушателей по результатам семинара. Нас могут интересовать и результаты более высокого уровня, например, использование полученных знаний слушателями на практике после окончания семинара. 

Здесь-то и начинается самое сложное и интересное: надо разработать МИНИМАЛЬНОЕ число показателей, которые ДЕЙСТВИТЕЛЬНО позволят узнать о ВАШЕМ проекте именно то, что ВАМ НУЖНО. 

Есть такая хорошая поговорка: "От избытка овса конь слабеет". Это я насчет количества показателей :) 

четверг, 10 февраля 2022 г.

Ценности или принципы?

Интересное обсуждение работы с ценностями и принципами в социальном проектировании и в оценке программ и проектов состоялось сегодня на очередном заседании клуба PROОЦЕНКУ. В частности, поговорили о том, отличаются ли ценности от принципов. Дело в том, что эти термины нередко используют как синонимы. На сайтах многих организаций можно найти раздел "Ценности и принципы". Есть такой раздел, к примеру, на сайтах двух крупнейших российских частных фондов - Фонда Потанина и и Фонда Тимченко (см. рисунки). Соответственно, один вариант - это принять как данность, что граница между ценностями и принципами настолько размыта, что разделять их не следует.
Другой вариант предлагает Майкл Пэттон. Он говорит, что ценность - это, во что мы верим, что для нас является особенно значимым, а принцип - это руководство к действию, основанное на ценности. Скажем, наша ценность - творчество, а принцип, предписывающий, как нам следует действовать с учетом этой ценности, может звучать так: "Мы строим учебный процесс на основе выполнения творческих заданий".  
Если исходить из такого понимания принципов, то может быть интересно проанализировать значимые для организации перечни ценностей и принципов. И тогда принципы могут получиться направляющими, полезными, воодушевляющими, адаптивными и оцениваемыми - как предлагает Майкл Пэттон в своей концепции оценки, ориентированной на принципы (Principles Focused Evaluation). Здесь можно узнать об этой концепции (видео на английском языке).

среда, 2 февраля 2022 г.

Как работать с ценностями при проведении оценки

Эта тема будет обсуждаться на очередном заседании клуба PROОЦЕНКУ, которое пройдет онлайн 10 февраля. Более подробная информация и регистрация участников здесь
Что представляют собой ценности отдельного человека? Группы людей? Проекта? Программы? Организации? 
Один из ведущих российских специалистов по управлению и организационному развитию А.И.Пригожин предлагает такое определение: «Ценности есть представления о должном, о лучшем, о самом важном, ради чего стоит трудиться, жертвовать временем, силами и чем-то еще. Представления о совершенстве в разных сферах жизни». 
В знаменитой модели 7S (McKinsey & Company) разделяемые всеми сотрудниками организации ценности - в центре (см. рисунок). Они являются связующим звеном для всех компонентов организации как системы, ключевой составляющей организационной культуры. 
В основе реализуемых организацией проектов и программ тоже лежат ценности. Однако сегодня довольно проблематично найти модель проекта или программы, в которой они бы присутствовали в явном виде. Попытку создать такую модель предприняли в 2015 году американские специалисты Гаргани и Доналдсон. В их концепцию социального проектирования "под ключ" входят 5 компонентов: дизайн ценностей, дизайн воздействия, дизайн процессов, дизайн бизнеса и дизайн оценки. Давно обещанная авторами книга пока так и не вышла (Gargani, J., & Donaldson, S. I. (2015). Theory-driven program design and redesign: A practical guide to achieving social impact. Newbury Park, CA: Sage). 
Поскольку ценности являются важным фактором в социальном проектировании, было бы логично принимать их во внимание и при проведении оценки проектов и программ. Отсюда - тема следующего заседания клуба PROОЦЕНКУ. Вот некоторые вопросы, которые там планируется обсудить:  
  • Что такое ценности применительно к проектной деятельности?
  • Чьи ценности и принципы следует принимать во внимание и почему?
  • Как выявить истинные, а не декларируемые ценности и принципы?

четверг, 27 января 2022 г.

Сколько стоит членство в зарубежной профессиональной ассоциации

Вчера Американская ассоциация оценки объявила о повышении размера ежегодного членского взноса с 1 марта 2022 года на 50$. Это приведет к тому, что членство в данной ассоциации станет самым дорогим. До сих пор оно было самым недорогим, если сравнивать с другими ведущими ассоциациями (данные приводятся в рублях по курсу ЦБ РФ на 27.01.22) : 

Отметим, что членство в профессиональных ассоциациях помимо традиционных преимуществ (доступ к профессиональным журналам, скидки на участие в конференциях, возможности профессионального развития и т.д.) может также иметь непривычные для нас бонусы. Так, например, члены Канадского общества оценки получают существенные скидки на аренду автомобилей и на проезд по железной дороге. Кроме того, надо иметь в виду, что при вступлении в две или более ведущих ассоциаций, размер ежегодного взноса в каждой из них снижается. 

В любом случае для нашего региона стоимость членства в зарубежной профессиональной ассоциации достаточно высока. Например, для россиян вступление в Американскую ассоциацию оценки обойдется в четверть среднемесячного заработка (по состоянию на 2021 год он составлял 54687 рублей). 

четверг, 20 января 2022 г.

Качественный анализ «затраты-выгоды»

Принято считать, что анализ "затраты-выгоды" можно провести, если выгоды имеют денежное выражение. Об этом есть подробнее в предыдущей публикации. Зиллер и Фиббс предлагают альтернативу: качественный анализ "затраты-выгоды" с участием заинтересованных сторон (Alison Ziller & Peter Phibbs (2003) Integrating social impacts into cost-benefit analysis: a participative method: case study: the NSW area assistance scheme, Impact Assessment and Project Appraisal, 21:2, 141-146, DOI: 10.3152/147154603781766365). Эта статья (англ.) находится в открытом доступе
Авторы разработали интерактивный метод анализа "затраты-выгоды". Метод предполагает заполнение матрицы (см. рисунок), объединяющей поддающиеся количественной оценке и трудно поддающиеся количественной оценке затраты и выгоды. 

Матрица ставит социальные вопросы в один ряд с финансовыми соображениями. Матрица заполняется путем включения мнений заинтересованных сторон, а также результатов исследований. Заполнение матрицы может осуществляться постепенно (по мере сбора мнений от заинтересованных сторон через индивидуальные либо групповые интервью) или в один подход (на специально организованной для этого рабочей встрече). После заполнения матрицы баланс затрат и выгод оценивается дискурсивно (путем логических умозаключений) в ходе группового обсуждения , а не сводится формулой к соотношению. В статье описывается применение данного подхода  к оценке программы грантов. С другим примером использования этого подхода при оценке реализации стратегии можно ознакомиться в статье "Качественный анализ "затраты-выгоды" (англ.). 

среда, 12 января 2022 г.

Виды анализа эффективности затрат

Анализ эффективности затрат в социальных программах и оценка  экономической эффективности последних активно обсуждаются в профессиональном сообществе на протяжении нескольких десятилетий. В нашей стране эта тема оказалась в центре внимания в последние 10 лет.  

Публикаций на русском языке уже достаточно много. В качестве примеров можно привести: 

- Книгу  "Рекомендации по оценке социально-экономической эффективности социальных программ"

- Материалы вебинара «Стоимостные подходы к оценке социальных программ. Оценка социально-экономической эффективности»

- Материалы в группе "Оценка социального воздействия НКО - обсуждаем импакт вместе!"

Я хотел бы сегодня кратко рассказать о классификации видов анализа эффективности затрат в контексте оценки образовательных программ, предложенной в книге Левин и МакЭван (Levin, H. M., & McEwan, P. J. (2001). Cost-effectiveness analysis: methods and applications (2nd ed.). Thousand Oaks, Calif.: Sage Publications), обложка которой размещена выше в качестве иллюстрации.