Бегущие впереди паровоза

В 1964 году американский социолог Гарольд Виленски опубликовал результаты исследования, в котором на основе изучения истории развития 18 видов трудовой деятельности (в США) была предложена универсальная модель "профессионализации" - превращения некоторого вида деятельности в профессию [Wilensky, H. L. (1964) The professionalization of everyone? American Journal of Sociology, 70(2), 137-158]. 

Модель Виленски включает 5 этапов развития профессии.

1. Полная занятость. На ранней стадии развития профессии не предполагают полной занятости. Люди посвящают им лишь часть своего рабочего времени. Появление тех, кто 100% своего рабочего времени тратит на тот или иной вид деятельности знаменует первый шаг на пути превращения этого вида деятельности в профессию.
2. Профильное обучение/образование. Естественным следствием полной занятости является потребность в специализированной подготовке. Появляются соответствующие курсы и "школы". Профильное обучение настоятельно рекомендуется.
3. Формирование профессиональной ассоциации. Первые выпускники соответствующих курсов и те, кто продвигает идею обязательного обучения, формируют профессиональную ассоциацию. 
4. Признание профессии на законодательном уровне. Принимаются законодательные акты, которые закрепляют наименование и требования к специалистам. В отдельных случаях (например, в медицине)  могут быть приняты нормы, которые квалифицируют как преступление занятие определенным видом деятельности без должной подготовки.
5. Кодекс профессиональной этики. Формируются правила, гарантирующие защиту клиентов, противодействующие внутренней конкуренции и исключающие неквалифицированное выполнение работ. 

Примерно в то же время, когда Виленски занимался изучением закономерностей развития профессий, другой американский исследователь Эверетт Роджерс написал книгу "Диффузия инноваций" [Rogers, E. (1962). Diffusion of innovations. New York: Free Press.]. В ней он, в частности, обратил внимание на то, что инновации (например, новые продукты) принимаются не сразу. Он даже предложил классификацию людей по степени их готовности к принятию нововведений:

• Новаторы – люди, стремящиеся к новизне, склонные к риску; они являются «проводниками» инноваций в обществе (их совсем немного).
• Ранние последователи – люди, склонные к принятию инноваций, но более осторожные, чем новаторы; они начинают использовать новинки тогда, когда увидят, что ими пользуются новаторы или какие-либо известные люди (их больше, чем новаторов, но тоже не очень много).
• Раннее большинство – люди достаточно консервативные, они начинают пользоваться новинками уже тогда, когда довольно большое количество людей их освоило. Но когда раннее большинство приняло инновацию – можно считать, что она внедрена в сознание людей.
• Позднее большинство – привлечение этой части населения фактически означает, что новинка перестала быть таковой и стала продуктом массового потребления. В это время новаторы уже начинают использовать более новые продукты.
• Отстающие – наиболее консервативная часть населения, люди, упорно продолжающие использовать те продукты и подходы, к которым привыкли.

Оценку проектов и программ, конечно же, можно считать инновацией для нашей страны. У нас и проектный подход относительно недавно получил по-настоящему широкое распространение. Мы видим, что пока совсем небольшое число людей вовлечено в оценку. Когда 20 лет назад у нас только начиналось движение по развитию оценки, это точно были сплошные "новаторы" (по Роджерсу). Сейчас к ним потихоньку  присоединяются "ранние последователи". Однако мы наверняка можем констатировать, что количество специалистов по оценке, работающих на условиях полной занятости, в нашей стране пока совсем незначительно и "школы", которая бы готовила профессионалов в сфере оценки у нас тоже пока нет. Поэтому, если вернуться к модели Виленски, можно сказать, что профессиональная ассоциация у нас была создана с некоторым опережением по отношению к уровню развития профессии. Этим, в частности, можно объяснить ряд сложностей, с которыми сталкивается АСОПП (Ассоциация специалистов по оценке программ и политик), и особенностей ее развития. 

У наших англоязычных коллег это называется "поставить телегу впереди лошади" ("put the cart before the horse"). По-русски это звучит как "бежать впереди паровоза". Думаю, эта метафора достаточно точно характеризует положение дел с нашим профессиональным объединением. Справедливости ради замечу, что она подходит и для коллег из соседних стран, где также есть ассоциации специалистов по оценке, и для десятков национальных ассоциаций по оценке в дальнем зарубежье. Не вижу в беге впереди паровоза ничего плохого. Сам участвую в нем более 20 лет :) Надо только четко осознавать, каким именно "видом спорта" мы занимаемся - без иллюзий. Забег продолжается! 

"Сообщества практиков" как организационная форма и объект оценки

Многие проекты и программы предполагают формирование новых либо развитие существующих сообществ. Соответственно, при оценке таких инициатив возникает необходимость вынести обоснованное суждение о том, насколько это удалось. 

Сообщество практиков (community of practice) - это особая организационная форма, которая отличается от рабочих групп, проектных команд и неформальных сетей. Как видно из приведенной ниже таблицы (источник: Communities of Practice: The Organizational Frontier, перевод мой), основой для объединения людей в сообщества практиков является их страстная приверженность некоторой сфере деятельности и идентификация с групповой экспертизой. 

А вот один из вариантов принципов, на основании которых следует развивать сообщества практиков (источник: Cultivating Communities of Practice, перевод мой): 

1. Эволюционное развитие. Такие сообщества должны развиваться естественным эволюционным путем.
2. Открытый диалог с учетом внутренних и внешних перспектив. Сообщество не замыкается в себе, принимая во внимание происходящие вовне процессы.
3. Различные уровни участия. Здесь особо отмечается большое значение т.н. "периферийных" участников сообщества, которые могут не проявлять особой активности. 
4. Создавать возможности для приватного и открытого общения.
5. Фокусироваться на ценностях. 
6. Сочетание хорошо знакомого и непривычного в деятельности сообщества. 
7. Создание ритма сообщества. Имеются в виду регулярные мероприятия. 

Во многих крупных организациях внутренние сообщества практиков сегодня развиваются весьма активно как способ интенсификации обмена знаниями и профессионального развития сотрудников. Спрос на модераторов развития сообществ практиков тоже растет (здесь свежий пример из деятельности ООН). 

Профессионализация оценки

Те, кто заглядывал на сайт Ассоциации специалистов по оценке программ и политик, могли обратить внимание на то, как сформулирована миссия Ассоциации: "Развитие и продвижение оценки программ и политик как профессии в России". 

Появлению такой формулировки предшествовали многочисленные обсуждения, в том числе, с нашими зарубежными коллегами. Некоторые результаты этих обсуждений были опубликованы. Можно посмотреть, например главу "Профессионализация оценки", написанную специально для нашей книги Жаном Кенелом из Канады (стр.326) или написанную мной главу "На пути к профессионализации: создание объединений специалистов по оценке программ" (в той же книге, стр. 332). 

Важным дополнением к формулировке миссии АСОПП являются характеристики зрелости профессии (предлагаемые АСОПП): 

1. Постоянно развивающееся уникальное содержание
2. Возможность сделать карьеру
3. Потребность в специалистах
4. Образовательные программы разного уровня
5. Программы краткосрочного обучения
6. Сильная профессиональная ассоциация
7. Принципы профессиональной деятельности
8. Выраженная ориентация на общественное благо

Эти восемь характеристик являются универсальными критериями, по которым можно судить о степени зрелости любой профессии, включая оценку. В то же время они в значительной мере определяют долгосрочные приоритеты для ассоциации, которая стремится развивать определенную профессию. В частности, АСОПП более года потратила на разработку и обсуждение Принципов оценки программ. Позже была проведена большая работа по подготовке профессионального стандарта для специалиста по оценке программ и политик в социальной сфере. К сожалению, оказалось, что призыв создавать профстандарты не относился к представителям такого рода профессий. Наши коллеги - консультанты по управлению и специалисты по работе с персоналом продвинулись гораздо дальше, но зарегистрировать свои  профстандарты тоже не смогли. Тем не менее, остались материалы, которые могут еще пригодиться: обзорное сообщение о разработке профстандарта на конференции АСОПП, обоснование необходимости разработки профстандарта, макет профстандарта и даже проект функциональной карты специалиста по оценке программ и политик в социальной сфере. Хронология работы над стандартом здесь.

Еще раз о социальном проектировании и немного об оценке

Агентство социальной информации опубликовало очередную (14-ю !) главу "Путеводителя для НКО". Называется глава "Социальное проектирование". В этой главе составители сборника попросили меня написать о социальном проектировании и немного об оценке проектов. Основные вопросы, на которые даются краткие ответы в главе 14: 

• Что такое социальный проект?
• Каковы стадии жизненного цикла проекта? 
• Как определить цель социального проекта? 
• Для чего нужно определять стратегическую цель или «миссию» социального проекта?
• Какая «теория изменений» лежит в основе вашего проекта? 
• Как составить план реализации проекта?
• Сколько вам потребуется денег? 
• Зачем нужны показатели и как их разработать?
• Как определить факторы риска? 
• Можно ли менять замысел проекта и план его реализации по ходу проекта?
• Что такое оценка проекта?  Когда и для чего ее проводят?
• Как должно выглядеть описание вашего проекта? 

Оценка, ориентированная на принципы (Principles Focused Evaluation)

Такой подход к оценке предложил Майкл Пэттон (Michael Quinn Patton). 

На основании принципов мы принимаем значимые решения. Мы руководствуемся принципами в ситуациях выбора. Принципы формируются на основании опыта, экспертизы и ценностей. Принципы непосредственно связаны с ценностями: они позволяют трансформировать ценности в действия. В оценке, ориентированной на принципы, последние становятся объектом оценки.

Хороший принцип должен быть направляющим, полезным, воодушевляющим, адаптивным и оцениваемым. 

Вопросы, на которые надлежит ответить по результатам такой оценки:

1. Каковы базовые принципы программы? В случае, когда принципы в явном виде не сформулированы, начинать оценку следует с формулирования принципов.
2. Являются ли принципы ясными, значимыми и действенными?
3. Соблюдаются ли принципы на практике?
4. Корректировались ли принципы с учетом внешних обстоятельств? 
5. Если да, то как? Какой это имело эффект?
6. Приводит ли следование принципам к желаемым результатам?

Активы-Потенциал-Доверие

На сайте КАФ опубликован отчет об оценке роли фондов местных сообществ (ФМС) в развитии местной филантропии. Интерес представляют не только результаты оценки, но и использованная для проведения оценки модель ACT (Assets-Capacity-Trust – «Активы-Потенциал-Доверие»), разработанная Глобальным фондом поддержки ФМС. Авторы публикации - Барри Найт (CENTRIS, Великобритания) и Лариса Аврорина (КАФ, Россия).

Влияние особенностей организационной культуры на выбор подхода к оценке

Организационная культура - это совокупность уникальных социально-психологических характеристик организации, своего рода "личность" организации - по аналогии с личностью человека. На семинаре, посвященном стратегии НКО, в Новосибирске мы обсуждали, как  особенности организационной культуры могут повлиять на выбор оптимального для данной организации подхода к разработке стратегии. На самом деле, особенности организационной культуры следует принимать во внимание и при выборе подхода к проведению оценки проекта, программы или стратегии организации. Сообщение на эту тему я делал в 2009 году на конференции Американской ассоциации оценки Evaluation'2009. То, что изложено ниже,  основано на материалах того выступления, поэтому при необходимости можно ссылаться либо на данную публикацию в блоге, либо на мое выступление в США: Kuzmin, A. (2009). Organizational Paradigms and Evaluation. Paper presented at the Evaluation’2009 (Annual conference of the American Evaluation Association), Orlando, FL, USA. 

Есть разные подходы к типологизации организационных культур. В данном случае мы обратимся к модели Л.Константина (Constantine, Larry L. 1993 Work Organization: Paradigms for Project Management and Organization. Communications of the ACM 36: 35–43), в которой рассматриваются 4 типа "организационных парадигм": случайная, открытая, закрытая и синхронная. Автор определяет организационную парадигму как "совокупность положений, лежащих в основе структуры и функционирования организации". Достаточно подробное описание модели Л.Константина на русском языке можно найти в публикации Сергея Липатова (Липатов С.А. Опросник «Шкалы организационных парадигм» Л.Л. Константина // Журнал практического психолога, 2005, № 2, с. 186-198).

Оценка стратегии НКО

Тему эту обсуждали на днях на семинаре в Новосибирске. 

Отмечу несколько важных моментов: 

1. 
   Оценивать стратегию можно и нужно на разных стадиях цикла стратегического управления, а не только по итогам её реализации. Например, оценка стратегического плана до начала его реализации может оказаться очень полезной.
2. Ни одна стратегия не может быть реализована в полном соответствии с планом. Что-то наверняка не получится, а что-то новое возникнет по ходу реализации стратегии . Это следует учитывать при оценке стратегии.  
3. С точки зрения оценки своей стратегии НКО следует ориентироваться на само-оценивание. Это означает, что НКО нужны соответствующие организационные системы и компетенции в этой сфере. 
4. При оценке стратегии можно использовать различные критерии. В частности, (а) критерии оценки стратегии в целом, (б) критерии оценки взаимоотношений между отдельными элементами стратегии, (в) критерии оценки подхода организации к разработке и реализации стратегии, (г) критерии оценки реализации стратегии. Эти 4 группы критериев предложены в статье Patrizi, P. A. (2010). Strategy evaluation: Emerging processes and methods. In P. A. Patrizi & M. Q. Patton (Eds.), Evaluating strategy. New Directions for Evaluation.
   

Добавляю в блоге ярлык "Оценка стратегии". Думаю, что тема интересная, и обсуждение продолжится. 

Рождественская версия модели Кеневин

Модель Кеневин, о которой была отдельная публикация в этом блоге, в преддверии Рождества приобретает праздничный характер. Посмотрите, как здорово получилось у Мартина Берга (Martin Berg)! 

Теория изменений: возможности использования, ограничения, вопросы

Сегодня принимал участие в семинаре по проекту Фонда Gladway и НИУ ВШЭ "Разработка и апробация модели оценки социально-экономического воздействия деятельности". Меня попросили рассказать об опыте использования теории изменений - отличный повод этот опыт осмыслить! Основные тезисы моего сообщения - ниже.

Теория изменений - это... 

• Инструмент описания результатов проекта
• Инструмент проектирования (разработки замысла проекта)
• Способ визуализации замысла проекта
• Способ обоснования причинно-следственной связи между деятельностью в рамках проекта и ее результатами
• Способ определения границ воздействия проекта (см. Допущения)
• Основа для формирования системы мониторинга проекта
• Основа для оценки проекта
• Способ «архивирования» хороших практик в обобщенном виде

Теория изменений - вопросы и ограничения: 

• Как определить оптимальную степень детализации и сложности?
• Можно ли действия встраивать в цепочки результатов? Может ли достижение результата быть условием для осуществления какого-либо действия?
• Не любую стрелку можно «раскрыть» в виде цепочки результатов.
• Для доказательства наличия причинно-следственной связи может понадобиться серьезное исследование. НКО не всегда справятся.
• Достаточно ли у НКО компетенций, чтобы использовать для обоснования ТИ данные научных исследований и научные теории?
• Линейность ТИ (в классическом варианте) не отражает нелинейность жизни
• Усложнение ТИ в случае использования циклических диаграмм. В некоторых случаях необходимость применения специального программного обеспечения.
• Невозможность применения ТИ в динамических ситуациях, которые часто имеют место именно при работе с людьми. Для таких ситуаций ТИ можно построить лишь в ретроспективе.

Очень понравилось сообщение Максима Цыганкова из Центра перспективных управленческих разработок об опыте оценки политик! Надеюсь, в записи будет доступно.