Оценка, ориентированная на принципы (Principles Focused Evaluation)

Такой подход к оценке предложил Майкл Пэттон (Michael Quinn Patton). 

На основании принципов мы принимаем значимые решения. Мы руководствуемся принципами в ситуациях выбора. Принципы формируются на основании опыта, экспертизы и ценностей. Принципы непосредственно связаны с ценностями: они позволяют трансформировать ценности в действия. В оценке, ориентированной на принципы, последние становятся объектом оценки.

Хороший принцип должен быть направляющим, полезным, воодушевляющим, адаптивным и оцениваемым. 

Вопросы, на которые надлежит ответить по результатам такой оценки:

1. Каковы базовые принципы программы? В случае, когда принципы в явном виде не сформулированы, начинать оценку следует с формулирования принципов.
2. Являются ли принципы ясными, значимыми и действенными?
3. Соблюдаются ли принципы на практике?
4. Корректировались ли принципы с учетом внешних обстоятельств? 
5. Если да, то как? Какой это имело эффект?
6. Приводит ли следование принципам к желаемым результатам?

Активы-Потенциал-Доверие

На сайте КАФ опубликован отчет об оценке роли фондов местных сообществ (ФМС) в развитии местной филантропии. Интерес представляют не только результаты оценки, но и использованная для проведения оценки модель ACT (Assets-Capacity-Trust – «Активы-Потенциал-Доверие»), разработанная Глобальным фондом поддержки ФМС. Авторы публикации - Барри Найт (CENTRIS, Великобритания) и Лариса Аврорина (КАФ, Россия).

Влияние особенностей организационной культуры на выбор подхода к оценке

Организационная культура - это совокупность уникальных социально-психологических характеристик организации, своего рода "личность" организации - по аналогии с личностью человека. На семинаре, посвященном стратегии НКО, в Новосибирске мы обсуждали, как  особенности организационной культуры могут повлиять на выбор оптимального для данной организации подхода к разработке стратегии. На самом деле, особенности организационной культуры следует принимать во внимание и при выборе подхода к проведению оценки проекта, программы или стратегии организации. Сообщение на эту тему я делал в 2009 году на конференции Американской ассоциации оценки Evaluation'2009. То, что изложено ниже,  основано на материалах того выступления, поэтому при необходимости можно ссылаться либо на данную публикацию в блоге, либо на мое выступление в США: Kuzmin, A. (2009). Organizational Paradigms and Evaluation. Paper presented at the Evaluation’2009 (Annual conference of the American Evaluation Association), Orlando, FL, USA. 

Есть разные подходы к типологизации организационных культур. В данном случае мы обратимся к модели Л.Константина (Constantine, Larry L. 1993 Work Organization: Paradigms for Project Management and Organization. Communications of the ACM 36: 35–43), в которой рассматриваются 4 типа "организационных парадигм": случайная, открытая, закрытая и синхронная. Автор определяет организационную парадигму как "совокупность положений, лежащих в основе структуры и функционирования организации". Достаточно подробное описание модели Л.Константина на русском языке можно найти в публикации Сергея Липатова (Липатов С.А. Опросник «Шкалы организационных парадигм» Л.Л. Константина // Журнал практического психолога, 2005, № 2, с. 186-198).

Оценка стратегии НКО

Тему эту обсуждали на днях на семинаре в Новосибирске. 

Отмечу несколько важных моментов: 

1. 
   Оценивать стратегию можно и нужно на разных стадиях цикла стратегического управления, а не только по итогам её реализации. Например, оценка стратегического плана до начала его реализации может оказаться очень полезной.
2. Ни одна стратегия не может быть реализована в полном соответствии с планом. Что-то наверняка не получится, а что-то новое возникнет по ходу реализации стратегии . Это следует учитывать при оценке стратегии.  
3. С точки зрения оценки своей стратегии НКО следует ориентироваться на само-оценивание. Это означает, что НКО нужны соответствующие организационные системы и компетенции в этой сфере. 
4. При оценке стратегии можно использовать различные критерии. В частности, (а) критерии оценки стратегии в целом, (б) критерии оценки взаимоотношений между отдельными элементами стратегии, (в) критерии оценки подхода организации к разработке и реализации стратегии, (г) критерии оценки реализации стратегии. Эти 4 группы критериев предложены в статье Patrizi, P. A. (2010). Strategy evaluation: Emerging processes and methods. In P. A. Patrizi & M. Q. Patton (Eds.), Evaluating strategy. New Directions for Evaluation.
   

Добавляю в блоге ярлык "Оценка стратегии". Думаю, что тема интересная, и обсуждение продолжится. 

Рождественская версия модели Кеневин

Модель Кеневин, о которой была отдельная публикация в этом блоге, в преддверии Рождества приобретает праздничный характер. Посмотрите, как здорово получилось у Мартина Берга (Martin Berg)! 

Теория изменений: возможности использования, ограничения, вопросы

Сегодня принимал участие в семинаре по проекту Фонда Gladway и НИУ ВШЭ "Разработка и апробация модели оценки социально-экономического воздействия деятельности". Меня попросили рассказать об опыте использования теории изменений - отличный повод этот опыт осмыслить! Основные тезисы моего сообщения - ниже.

Теория изменений - это... 

• Инструмент описания результатов проекта
• Инструмент проектирования (разработки замысла проекта)
• Способ визуализации замысла проекта
• Способ обоснования причинно-следственной связи между деятельностью в рамках проекта и ее результатами
• Способ определения границ воздействия проекта (см. Допущения)
• Основа для формирования системы мониторинга проекта
• Основа для оценки проекта
• Способ «архивирования» хороших практик в обобщенном виде

Теория изменений - вопросы и ограничения: 

• Как определить оптимальную степень детализации и сложности?
• Можно ли действия встраивать в цепочки результатов? Может ли достижение результата быть условием для осуществления какого-либо действия?
• Не любую стрелку можно «раскрыть» в виде цепочки результатов.
• Для доказательства наличия причинно-следственной связи может понадобиться серьезное исследование. НКО не всегда справятся.
• Достаточно ли у НКО компетенций, чтобы использовать для обоснования ТИ данные научных исследований и научные теории?
• Линейность ТИ (в классическом варианте) не отражает нелинейность жизни
• Усложнение ТИ в случае использования циклических диаграмм. В некоторых случаях необходимость применения специального программного обеспечения.
• Невозможность применения ТИ в динамических ситуациях, которые часто имеют место именно при работе с людьми. Для таких ситуаций ТИ можно построить лишь в ретроспективе.

Очень понравилось сообщение Максима Цыганкова из Центра перспективных управленческих разработок об опыте оценки политик! Надеюсь, в записи будет доступно.

Глокальные проблемы в развитии оценки

Сегодня выступал на виртуальной конференции АСОПП с сообщением о глобальных и локальных проблемах в развитии оценки. Презентация здесь (PDF).

Вот основные тезисы: 

1. Проблема практического использования оценки существует давно и пока не решена. Можно ли в таком случае рассчитывать на широкое практическое внедрение оценки?
2. Превращение оценки в инспекцию или в исследование ограничивает возможности ее использования в принятии управленческих решений и совершенствовании оцениваемых программ и проектов.
3. Инструментальное использование оценки (знание для действия) не всегда оказывается главным при ее внедрении. Это сильно снижает потенциал оценки как инструмента управления.
4. Практическое использование оценки может сдерживаться особенностями управленческой культуры, в частности, традициями (не)обоснования управленческих решений.
5. Активизм в оценке может стать причиной возникновения конфликта интересов у специалиста по оценке и привести к его неэтичному и непрофессиональному поведению.
6. Ресурсов для развития внутренней оценки и само-оценивания пока недостаточно. Развитие преимущественно внешней оценки не вполне отвечает интересам практиков, реализующих программы и проекты социальной направленности. 
7. Обязательность проведения оценки может существенно снижать пользу от неё. Публикация отчетов о результатах оценки создает конфликт интересов для консультантов и может привести к искажению результатов либо их неполному освещению.  

К 75-летию Майкла Пэттона

Майклу Пэттону (Michael Quinn Patton) - 75. Присоединяюсь к поздравлениям, которые он получает сегодня со всех концов планеты! Мне выпала честь стать одним из его учеников: Майкл был моим научным руководителем в программе PhD. Фотография сделана в самом начале нашего сотрудничества. Это было в 2002 году, потому мы оба выглядим несколько моложе, чем сейчас :) 

По случаю знаменательной даты друзьями и коллегами Майкла был проведен специальный опрос и опубликованы топ-10 уроков от гуру. Мне, пожалуй, ближе всего вот этот: "Главное в оценке - это подлинное понимание жизни".  

Консультанты против заниженного бюджета оценки

В последние годы в кулуарах консультанты часто судачат о том, что средства, выделяемые на проведение оценки программ, очень серьезно сокращаются. Это относится, в частности, к международным организациям. 

Не могу не задать читателям этого блога риторического вопроса: как вы думаете, стали бы организации сокращать расходы на то, что им очень нужно или даже жизненно необходимо?... Но речь не об этом. 

Сегодня произошло редкое событие. В ответ на просьбу представителя Международной организации гражданской авиации / ICAO (одна из структур ООН) распространить приглашение к участию в тендере на проведение оценки два очень известных консультанта из Канады написали открытые ответы. Суть обоих ответов сводится к тому, что неприлично такие предложения рассылать (денег мало). Приведу цитаты из обоих писем, чтобы не быть голословным.

"Просмотрел ваше сообщение. После уплаты налогов (нижний предел) и эквивалента  отчислений (стандарт) дневная ставка составит от 80 до 150 долларов США... [Такая] ставка профессионального вознаграждения не соответствует должностным требованиям. Таким образом, я не только не заинтересован сам, но и не хочу делиться этим со своими коллегами" 

"...Если быть дипломатичным, можно сказать так: нелепо предлагать уровни гонораров, идентичные тому, что мне платили 40 лет назад в самом начале моей карьеры консультанта. Нет абсолютно никаких причин для распространения такого запроса... Консультанты либо не получат адекватного вознаграждения, либо не будут иметь необходимой квалификации"

В первом письме автор предлагает "сделать шаг назад" и пересмотреть условия оплаты. 

Как вы думаете, какой была реакция представителя ICAO? Вот только что пришло: "Спасибо за комментарий! Сейчас скорректируем". 

Не представляю, чем эта дискуссия может закончиться. Открытые письма продолжают поступать...

Самая большая онлайновая конференция по оценке в этом году

Американская ассоциация оценки приняла решение в связи с пандемией впервые провести свою ежегодную конференцию Evaluation 2020 в онлайновом формате. Конференция пройдет с 27 по 30 октября 2020 года. Очные конференции этой ассоциации в последние годы посещали от 3 до 4,5 тысяч человек. Можно было бы ожидать, что число участников онлайновой конференции будет никак не меньше, однако регистрационный взнос в 300 долларов за участие в конференции и 150 долларов за участие в 3-часовом семинаре могут существенно ограничить число участников, по крайней мере, из дальнего зарубежья. Хотя в целом логика понятна: участники существенно экономят на проезде, проживании и питании. Почему бы тогда не оставить регистрационный взнос на прежнем уровне? 

Судя по всему. коллеги серьезно вложились в создание нового онлайнового ресурса, который позволит провести почти все традиционные для ежегодной конференции мероприятия: 

• Сессии. В этом году их будет 120 вместо обычных 800. За счет сокращения числа сессий, по словам организаторов, повысится их качество. Зарегистрированным участникам не обязательно все три дня сидеть перед компьютером с утра до вечера. Все сессии можно будет посмотреть в записи в течение 3 месяцев.
• Стендовые доклады. Ожидается их более 200. По-моему, с содержательной точки зрения стендовые доклады в онлайне даже удобнее, чем очно.
• 10 обучающих семинаров. 
• Рабочие встречи 60 тематических групп (Topical Interst Groups - TIGs).
• Встречи с издателями и авторами книг, а также с организациями, профессионально занимающимися оценкой в виртуальном выставочном зале.
• Развитие сети своих профессиональных контактов через неформальное общение, для чего создается специальный виртуальный коммуникационный центр.