четверг, 16 июня 2022 г.

Независимая оценка

Вчера на вебинаре Майкл Пэттон поделился мыслями о т.н. "независимой оценке". Дело в том, что многие крупные организации создают подразделения с такими названиями (см., например, Группу независимой оценки Всемирного банка). Считается, что придание независимого статуса повышает доверие к результатам проводимой такими подразделениями оценки и достоверность этих результатов. 

Пэттон считает, что все, что даёт независимость - это отсутствие зависимости :), дистанцирование. По его мнению, это никак не повышает ни доверия к результатам, ни их достоверности. Напротив, взаимозависимость (interdependence) может существенно повысить доверие к результатам оценки, которую проводят не те, кто дистанцирован от проекта и никак от него не зависят, а те, кто действительно заботятся о проекте, связаны с проектом и кому проект небезразличен. 

Я к этому хотел бы добавить, что независимой оценки не бывает, в принципе. Люди, проводящие оценку всегда от кого-то и от чего-то зависят. Например, от тех, кто им платит деньги. 

вторник, 7 июня 2022 г.

Принципы само-оценивания

Принципы, регламентирующие ту или иную сферу профессиональной деятельности, определяют поведение представителей профессии в значимых повторяющихся ситуациях. Такие принципы формируются на основе живого опыта как результат достижения согласия между представителями профессии по поводу того, как следует себя вести в ситуациях сложного выбора. 

В нашей стране существуют Принципы оценки программ и политик, разработанные Ассоциацией специалистов по оценке программ и политик (АСОПП) и опубликованные в 2017 году. В числе этих принципов:  

  1. Ориентация на практическое использование результатов оценки
  2. Компетентность исполнителей 
  3. Корректность методологии 
  4. Открытость 
  5. Безопасность 
  6. Адаптивность

Принципы разработаны с учетом того, что в оценке – в общем случае – могут принимать участие три стороны:

  • Заказчик – представитель организации, которая инициирует оценку, ставит задачу на ее проведение и будет основным пользователем ее результатов.
  • Специалист по оценке – человек, который привлекается Заказчиком для проведения оценки.
  • Участники оценки – люди, которые в ходе оценки предоставляют информацию, и зачастую являются сотрудниками или руководителями программ, являющихся объектом оценки.

Соответственно, каждый принцип сопровождается рекомендациями для каждой из трех перечисленных выше сторон. Это, по мнению разработчиков, позволяет сделать принципы полезными для всех сторон, включенных в проведение оценки программ и политик.

Но как быть в случае, когда проводится само-оценивание, самый распространенный вид оценки проектов и программ? Ведь именно в такой ситуации чаще всего находятся некоммерческие организации. 

Вот лишь несколько особенностей само-оценивания: 

  • Заказчиками и исполнителями оценки в этом случае являются сами сотрудники организации. Более того, зачастую они окажутся и в числе участников оценки, обладающих необходимой информацией о проекте. Естественно, они же будут использовать результаты оценки. 
  • Имеет ли в таком случае смысл делать особый акцент на ориентации на практическое использование результатов оценки? Вряд ли кто-то станет тратить время и силы на проведение работ, результаты которых никому в организации не нужны. Или все-таки нужно изначально подумать о практическом использовании результатов?
  • Среди сотрудников организации чаще всего не окажется людей, являющихся экспертами в сфере оценки. Какие требования в таком случае можно предъявлять к компетентности исполнителей и корректности методологии? С другой стороны, если методология не вполне корректна, результатам оцени нельзя доверять. 
  • Принцип безопасности гласит: «Оценка должна проводиться с уважением достоинства всех ее участников независимо от их роли, социального статуса и индивидуальных особенностей. При проведении оценки следует учитывать возможные негативные последствия, которые она может иметь как для отдельных людей, так и для организаций. Риск возможных негативных последствий должен быть сведен к минимуму, а участники оценки должны быть о них проинформированы». Замените здесь «оценку» на «само-оценивание». О каких негативных последствиях может идти речь? Кого предупреждать о рисках – самих себя? Или все же риски имеются? 

В общем, здесь есть, что обсудить. Именно поэтому на ближайшем заседании клуба PROОЦЕНКУ будем говорить о практическом применении принципов оценки в ситуации само-оценивания. Заседание пройдет онлайн в четверг 9 июня с 11.00 до 12.30 мск. Участие бесплатное. Регистрация участников здесь. Приходите! Интересная беседа в хорошей компании, как всегда, гарантируется 😊

четверг, 2 июня 2022 г.

О пользе теорий в оценке программ

Отличия оценки программ от исследования хорошо известны: методы используются одни и те же, но это разные жанры. Исследования ориентированы на получение нового знания, а оценка – на поддержку принятия решений. При этом результаты некоторых исследований могут очень пригодиться при проведении оценки. 
Рассмотрим пример. 
Допустим, вы проводите оценку программы, связанной с развитием взаимодействий между людьми или организациями. Анализ взаимодействий показал (использована  методика Social Network Analysis), что существует группа, взаимодействия внутри которой намного интенсивнее, чем взаимодействия между остальными участниками данной социальной сети – как показано на рисунке. Вероятно, на основе полученных данных вы сможете объяснить, почему так получилось в данном случае. Но хорошо это или плохо? Можно ли что-то сказать о перспективах развития данной социальной сети? Здесь на помощь может прийти теория развития социальных сетей, предложенная Кребсом и Холи (Krebs, Valdis & Holley, June. (2006). Building smart communities through network weaving. Appalachian Center for Economic Networks.). Данная теория говорит о том, что конфигурация «ядро – периферия», представленная на рисунке, является признаком высокого уровня развития социальной сети и свидетельствует о её устойчивости. 
Точно так же результаты исследований в сфере внедрения инноваций могут оказаться полезными при оценке инновационных программ (см. здесь), результаты исследований в сфере организационного развития – при оценке программ развития организаций, результаты психологических исследований – при оценке программ психологической помощи и т.д. Научное знание может быть полезно для осмысления результатов оценки конкретной программы.