"Сообщества практиков" как организационная форма и объект оценки

Многие проекты и программы предполагают формирование новых либо развитие существующих сообществ. Соответственно, при оценке таких инициатив возникает необходимость вынести обоснованное суждение о том, насколько это удалось. 

Сообщество практиков (community of practice) - это особая организационная форма, которая отличается от рабочих групп, проектных команд и неформальных сетей. Как видно из приведенной ниже таблицы (источник: Communities of Practice: The Organizational Frontier, перевод мой), основой для объединения людей в сообщества практиков является их страстная приверженность некоторой сфере деятельности и идентификация с групповой экспертизой. 

А вот один из вариантов принципов, на основании которых следует развивать сообщества практиков (источник: Cultivating Communities of Practice, перевод мой): 

1. Эволюционное развитие. Такие сообщества должны развиваться естественным эволюционным путем.
2. Открытый диалог с учетом внутренних и внешних перспектив. Сообщество не замыкается в себе, принимая во внимание происходящие вовне процессы.
3. Различные уровни участия. Здесь особо отмечается большое значение т.н. "периферийных" участников сообщества, которые могут не проявлять особой активности. 
4. Создавать возможности для приватного и открытого общения.
5. Фокусироваться на ценностях. 
6. Сочетание хорошо знакомого и непривычного в деятельности сообщества. 
7. Создание ритма сообщества. Имеются в виду регулярные мероприятия. 

Во многих крупных организациях внутренние сообщества практиков сегодня развиваются весьма активно как способ интенсификации обмена знаниями и профессионального развития сотрудников. Спрос на модераторов развития сообществ практиков тоже растет (здесь свежий пример из деятельности ООН). 

Профессионализация оценки

Те, кто заглядывал на сайт Ассоциации специалистов по оценке программ и политик, могли обратить внимание на то, как сформулирована миссия Ассоциации: "Развитие и продвижение оценки программ и политик как профессии в России". 

Появлению такой формулировки предшествовали многочисленные обсуждения, в том числе, с нашими зарубежными коллегами. Некоторые результаты этих обсуждений были опубликованы. Можно посмотреть, например главу "Профессионализация оценки", написанную специально для нашей книги Жаном Кенелом из Канады (стр.326) или написанную мной главу "На пути к профессионализации: создание объединений специалистов по оценке программ" (в той же книге, стр. 332). 

Важным дополнением к формулировке миссии АСОПП являются характеристики зрелости профессии (предлагаемые АСОПП): 

1. Постоянно развивающееся уникальное содержание
2. Возможность сделать карьеру
3. Потребность в специалистах
4. Образовательные программы разного уровня
5. Программы краткосрочного обучения
6. Сильная профессиональная ассоциация
7. Принципы профессиональной деятельности
8. Выраженная ориентация на общественное благо

Эти восемь характеристик являются универсальными критериями, по которым можно судить о степени зрелости любой профессии, включая оценку. В то же время они в значительной мере определяют долгосрочные приоритеты для ассоциации, которая стремится развивать определенную профессию. В частности, АСОПП более года потратила на разработку и обсуждение Принципов оценки программ. Позже была проведена большая работа по подготовке профессионального стандарта для специалиста по оценке программ и политик в социальной сфере. К сожалению, оказалось, что призыв создавать профстандарты не относился к представителям такого рода профессий. Наши коллеги - консультанты по управлению и специалисты по работе с персоналом продвинулись гораздо дальше, но зарегистрировать свои  профстандарты тоже не смогли. Тем не менее, остались материалы, которые могут еще пригодиться: обзорное сообщение о разработке профстандарта на конференции АСОПП, обоснование необходимости разработки профстандарта, макет профстандарта и даже проект функциональной карты специалиста по оценке программ и политик в социальной сфере. Хронология работы над стандартом здесь.

Еще раз о социальном проектировании и немного об оценке

Агентство социальной информации опубликовало очередную (14-ю !) главу "Путеводителя для НКО". Называется глава "Социальное проектирование". В этой главе составители сборника попросили меня написать о социальном проектировании и немного об оценке проектов. Основные вопросы, на которые даются краткие ответы в главе 14: 

• Что такое социальный проект?
• Каковы стадии жизненного цикла проекта? 
• Как определить цель социального проекта? 
• Для чего нужно определять стратегическую цель или «миссию» социального проекта?
• Какая «теория изменений» лежит в основе вашего проекта? 
• Как составить план реализации проекта?
• Сколько вам потребуется денег? 
• Зачем нужны показатели и как их разработать?
• Как определить факторы риска? 
• Можно ли менять замысел проекта и план его реализации по ходу проекта?
• Что такое оценка проекта?  Когда и для чего ее проводят?
• Как должно выглядеть описание вашего проекта? 

Оценка, ориентированная на принципы (Principles Focused Evaluation)

Такой подход к оценке предложил Майкл Пэттон (Michael Quinn Patton). 

На основании принципов мы принимаем значимые решения. Мы руководствуемся принципами в ситуациях выбора. Принципы формируются на основании опыта, экспертизы и ценностей. Принципы непосредственно связаны с ценностями: они позволяют трансформировать ценности в действия. В оценке, ориентированной на принципы, последние становятся объектом оценки.

Хороший принцип должен быть направляющим, полезным, воодушевляющим, адаптивным и оцениваемым. 

Вопросы, на которые надлежит ответить по результатам такой оценки:

1. Каковы базовые принципы программы? В случае, когда принципы в явном виде не сформулированы, начинать оценку следует с формулирования принципов.
2. Являются ли принципы ясными, значимыми и действенными?
3. Соблюдаются ли принципы на практике?
4. Корректировались ли принципы с учетом внешних обстоятельств? 
5. Если да, то как? Какой это имело эффект?
6. Приводит ли следование принципам к желаемым результатам?

Активы-Потенциал-Доверие

На сайте КАФ опубликован отчет об оценке роли фондов местных сообществ (ФМС) в развитии местной филантропии. Интерес представляют не только результаты оценки, но и использованная для проведения оценки модель ACT (Assets-Capacity-Trust – «Активы-Потенциал-Доверие»), разработанная Глобальным фондом поддержки ФМС. Авторы публикации - Барри Найт (CENTRIS, Великобритания) и Лариса Аврорина (КАФ, Россия).

Влияние особенностей организационной культуры на выбор подхода к оценке

Организационная культура - это совокупность уникальных социально-психологических характеристик организации, своего рода "личность" организации - по аналогии с личностью человека. На семинаре, посвященном стратегии НКО, в Новосибирске мы обсуждали, как  особенности организационной культуры могут повлиять на выбор оптимального для данной организации подхода к разработке стратегии. На самом деле, особенности организационной культуры следует принимать во внимание и при выборе подхода к проведению оценки проекта, программы или стратегии организации. Сообщение на эту тему я делал в 2009 году на конференции Американской ассоциации оценки Evaluation'2009. То, что изложено ниже,  основано на материалах того выступления, поэтому при необходимости можно ссылаться либо на данную публикацию в блоге, либо на мое выступление в США: Kuzmin, A. (2009). Organizational Paradigms and Evaluation. Paper presented at the Evaluation’2009 (Annual conference of the American Evaluation Association), Orlando, FL, USA. 

Есть разные подходы к типологизации организационных культур. В данном случае мы обратимся к модели Л.Константина (Constantine, Larry L. 1993 Work Organization: Paradigms for Project Management and Organization. Communications of the ACM 36: 35–43), в которой рассматриваются 4 типа "организационных парадигм": случайная, открытая, закрытая и синхронная. Автор определяет организационную парадигму как "совокупность положений, лежащих в основе структуры и функционирования организации". Достаточно подробное описание модели Л.Константина на русском языке можно найти в публикации Сергея Липатова (Липатов С.А. Опросник «Шкалы организационных парадигм» Л.Л. Константина // Журнал практического психолога, 2005, № 2, с. 186-198).

Оценка стратегии НКО

Тему эту обсуждали на днях на семинаре в Новосибирске. 

Отмечу несколько важных моментов: 

1. 
   Оценивать стратегию можно и нужно на разных стадиях цикла стратегического управления, а не только по итогам её реализации. Например, оценка стратегического плана до начала его реализации может оказаться очень полезной.
2. Ни одна стратегия не может быть реализована в полном соответствии с планом. Что-то наверняка не получится, а что-то новое возникнет по ходу реализации стратегии . Это следует учитывать при оценке стратегии.  
3. С точки зрения оценки своей стратегии НКО следует ориентироваться на само-оценивание. Это означает, что НКО нужны соответствующие организационные системы и компетенции в этой сфере. 
4. При оценке стратегии можно использовать различные критерии. В частности, (а) критерии оценки стратегии в целом, (б) критерии оценки взаимоотношений между отдельными элементами стратегии, (в) критерии оценки подхода организации к разработке и реализации стратегии, (г) критерии оценки реализации стратегии. Эти 4 группы критериев предложены в статье Patrizi, P. A. (2010). Strategy evaluation: Emerging processes and methods. In P. A. Patrizi & M. Q. Patton (Eds.), Evaluating strategy. New Directions for Evaluation.
   

Добавляю в блоге ярлык "Оценка стратегии". Думаю, что тема интересная, и обсуждение продолжится. 

Рождественская версия модели Кеневин

Модель Кеневин, о которой была отдельная публикация в этом блоге, в преддверии Рождества приобретает праздничный характер. Посмотрите, как здорово получилось у Мартина Берга (Martin Berg)! 

Теория изменений: возможности использования, ограничения, вопросы

Сегодня принимал участие в семинаре по проекту Фонда Gladway и НИУ ВШЭ "Разработка и апробация модели оценки социально-экономического воздействия деятельности". Меня попросили рассказать об опыте использования теории изменений - отличный повод этот опыт осмыслить! Основные тезисы моего сообщения - ниже.

Теория изменений - это... 

• Инструмент описания результатов проекта
• Инструмент проектирования (разработки замысла проекта)
• Способ визуализации замысла проекта
• Способ обоснования причинно-следственной связи между деятельностью в рамках проекта и ее результатами
• Способ определения границ воздействия проекта (см. Допущения)
• Основа для формирования системы мониторинга проекта
• Основа для оценки проекта
• Способ «архивирования» хороших практик в обобщенном виде

Теория изменений - вопросы и ограничения: 

• Как определить оптимальную степень детализации и сложности?
• Можно ли действия встраивать в цепочки результатов? Может ли достижение результата быть условием для осуществления какого-либо действия?
• Не любую стрелку можно «раскрыть» в виде цепочки результатов.
• Для доказательства наличия причинно-следственной связи может понадобиться серьезное исследование. НКО не всегда справятся.
• Достаточно ли у НКО компетенций, чтобы использовать для обоснования ТИ данные научных исследований и научные теории?
• Линейность ТИ (в классическом варианте) не отражает нелинейность жизни
• Усложнение ТИ в случае использования циклических диаграмм. В некоторых случаях необходимость применения специального программного обеспечения.
• Невозможность применения ТИ в динамических ситуациях, которые часто имеют место именно при работе с людьми. Для таких ситуаций ТИ можно построить лишь в ретроспективе.

Очень понравилось сообщение Максима Цыганкова из Центра перспективных управленческих разработок об опыте оценки политик! Надеюсь, в записи будет доступно.

Глокальные проблемы в развитии оценки

Сегодня выступал на виртуальной конференции АСОПП с сообщением о глобальных и локальных проблемах в развитии оценки. Презентация здесь (PDF).

Вот основные тезисы: 

1. Проблема практического использования оценки существует давно и пока не решена. Можно ли в таком случае рассчитывать на широкое практическое внедрение оценки?
2. Превращение оценки в инспекцию или в исследование ограничивает возможности ее использования в принятии управленческих решений и совершенствовании оцениваемых программ и проектов.
3. Инструментальное использование оценки (знание для действия) не всегда оказывается главным при ее внедрении. Это сильно снижает потенциал оценки как инструмента управления.
4. Практическое использование оценки может сдерживаться особенностями управленческой культуры, в частности, традициями (не)обоснования управленческих решений.
5. Активизм в оценке может стать причиной возникновения конфликта интересов у специалиста по оценке и привести к его неэтичному и непрофессиональному поведению.
6. Ресурсов для развития внутренней оценки и само-оценивания пока недостаточно. Развитие преимущественно внешней оценки не вполне отвечает интересам практиков, реализующих программы и проекты социальной направленности. 
7. Обязательность проведения оценки может существенно снижать пользу от неё. Публикация отчетов о результатах оценки создает конфликт интересов для консультантов и может привести к искажению результатов либо их неполному освещению.