"Мы живем в мирах, которые создаются нашими вопросами"

В качестве заголовка для сегодняшней публикации я использовал высказывание Дэвида Куперрайдера (David Cooperrider), которое процитировала Sonja Blignaut в блоге "Больше за пределами" (говорят, она работает вместе с Д.Сноуденом, который придумал Cynefin). Действительно наши миры создаются вопросами, а не ответами. Ответы следуют за вопросами. Именно хорошие вопросы создают пространство для важных ответов.  Как сказал поэт, ответы уже готовы, и всё зависит от степени готовности наших вопросов: 

"Ты, ждущий откровенья, будь уверен:
Ответ готов. Готов ли твой вопрос?
Ответ готов. Но знай, томимый жаждой,
К истокам припадающий опять:
Его услышит далеко не каждый,
Но только тот, кто может вопрошать."

(В.Сидоров, стихотворение, посвященное С.Н.Рериху)

Конечно же, не случайно оценка проекта или программы начинается с формулирования вопросов, на которые надлежит ответить.

PS Д.Куперрайдер - это тот самый создатель метода Appreciative Inquiry (позитивное исследование) и основатель Center for Appreciative Inquiry.  Оценку, основанную на позитивном исследовании, в последние годы активно развивает Тесси Катсамбас из США. Суть подхода - ориентация на достижения, сильные стороны и возможности для развития. 

Что получают НКО, объединяясь в сеть

Неформальное объединение некоммерческих организаций в так называемую "сеть" - явление распространенное. Под сетью здесь понимается "совокупность свободных, самодостаточных и независимых участников, объединенных общими ценностями и интересами" (Jessica Lipnack and Jeffrey Stamps, Networking: People Connecting with People, Linking Ideas and Resources, 1982). 

При оценке программ и проектов довольно часто приходится сталкиваться с необходимостью оценить деятельность такой сети. На что при этом обращать внимание? 

В исследовании "Сети НКО: формирование потенциала в изменяющемся мире" (англ.) есть много полезной информации по этому поводу. В частности, авторы перечисляют выгоды, которые получают НКО от объединения в сеть: 

• расширение доступа к информации, опыту и финансовым ресурсам;
• повышение эффективности;
• "мультипликативный" эффект - увеличение охвата и влияния, доступных для организаций-членов сети;
• солидарность и взаимная поддержка;
• возможность сделать общим достоянием как информацию о проблемах, так и опыт их решения;
• снижение рисков,
• преодоление изоляции,
• повышение доверия, особенно к недавно созданным НПО.

Евразийский Альянс

1 июня 2015 года был создан Евразийский альянс национальных ассоциаций в сфере оценки. Его цель -  профессионализация оценки в странах региона через развитие национальных объединений специалистов по оценке. В Альянс вошли национальные объединения из Армении, Казахстана, Кыргызстана, России, Таджикистана и Украины.

Альянс пришел на смену другому региональному объединению - Международной Сети "Оценка Программ" (International Program Evaluation Network / IPEN), которая успешно работала с 2000 по 2015 гг. За это время IPEN совместно с многочисленными партнерами провела 15 международных конференций по оценке и 3 Школы оценки, а также осуществила целый ряд проектов, о которых подробнее можно прочесть здесь. Причина завершения работы IPEN - довольно необычная: по мнению Попечительского Совета, Сеть выполнила свою задачу. В письме о завершении деятельности Сети говорится: "По мере роста потенциала оценки в нашем регионе инициатива по развитию оценки перешла с регионального на национальный уровень, и «центров активности» стало много. С учетом того, что развитие оценки программ в регионе приняло устойчивый характер, а в странах региона появились новые лидеры, которые развивают региональное сотрудничество в сфере оценки в новом формате, Попечительский Совет Международной сети «Оценка программ» пришел к выводу, что Сеть успешно выполнила свою задачу и может завершить свою деятельность."

Таким образом, инициатива по развитию регионального сотрудничества в сфере оценки перешла к лидерам национальных ассоциаций. На сайте Евразийского Альянса говорится: "Учредители альянса убеждены в том, что национальные ассоциации призваны сыграть важную роль в развитии потенциала оценки в странах региона. Объединение ассоциаций позволяет им более эффективно обмениваться опытом, осуществлять совместные проекты, оказывать взаимную поддержку в решении возникающих вопросов. Главным приоритетом деятельности альянса является укрепление и повышение устойчивости национальных объединений. Альянс открыт для вступления национальных ассоциаций в сфере оценки всех стран евразийского региона. Членами альянса могут быть как официально зарегистрированные организации, так и неформальные объединения специалистов по оценке." 

Альянс реализовал несколько инициатив, в числе которых: 

• Школа лидеров национальный ассоциаций в сфере оценки, где руководители и члены правлений национальных ассоциаций обменивались опытом и учились друг у друга. (проведена в Алматы, поддержана международной программой EvalPartners). Материалы Школы доступны здесь.
  
• Проект, направленный на изучение потенциала и развитие взаимодействия между профессиональными объединениями и университетами. Включал конференцию в Ереване, куда собрались представители всех 6 ассоциаций-членов Альянса и представители университетов, с которыми они развивали отношения (поддержан международной программой EvalPartners). Информация о первом дне и о втором дне встречи в Ереване .
• Создание онлайнового курса по оценке социальных проектов силами представителей всех 6 ассоциаций-участниц Альянса (создан при поддержке Ассоциации развития гражданского общества, Казахстан на платформе WEB-Академия НКО). 

Руководство деятельностью Альянса осуществляется Координационным советом, в который входят по два представителя от каждой ассоциации. В планах на этот год - Региональный виртуальный Форум по оценке и Международная школа лидеров национальных ассоциаций (в сотрудничестве с Международной организацией сотрудничества в области оценки).

Бегущие впереди паровоза

В 1964 году американский социолог Гарольд Виленски опубликовал результаты исследования, в котором на основе изучения истории развития 18 видов трудовой деятельности (в США) была предложена универсальная модель "профессионализации" - превращения некоторого вида деятельности в профессию [Wilensky, H. L. (1964) The professionalization of everyone? American Journal of Sociology, 70(2), 137-158]. 

Модель Виленски включает 5 этапов развития профессии.

1. Полная занятость. На ранней стадии развития профессии не предполагают полной занятости. Люди посвящают им лишь часть своего рабочего времени. Появление тех, кто 100% своего рабочего времени тратит на тот или иной вид деятельности знаменует первый шаг на пути превращения этого вида деятельности в профессию.
2. Профильное обучение/образование. Естественным следствием полной занятости является потребность в специализированной подготовке. Появляются соответствующие курсы и "школы". Профильное обучение настоятельно рекомендуется.
3. Формирование профессиональной ассоциации. Первые выпускники соответствующих курсов и те, кто продвигает идею обязательного обучения, формируют профессиональную ассоциацию. 
4. Признание профессии на законодательном уровне. Принимаются законодательные акты, которые закрепляют наименование и требования к специалистам. В отдельных случаях (например, в медицине)  могут быть приняты нормы, которые квалифицируют как преступление занятие определенным видом деятельности без должной подготовки.
5. Кодекс профессиональной этики. Формируются правила, гарантирующие защиту клиентов, противодействующие внутренней конкуренции и исключающие неквалифицированное выполнение работ. 

Примерно в то же время, когда Виленски занимался изучением закономерностей развития профессий, другой американский исследователь Эверетт Роджерс написал книгу "Диффузия инноваций" [Rogers, E. (1962). Diffusion of innovations. New York: Free Press.]. В ней он, в частности, обратил внимание на то, что инновации (например, новые продукты) принимаются не сразу. Он даже предложил классификацию людей по степени их готовности к принятию нововведений:

• Новаторы – люди, стремящиеся к новизне, склонные к риску; они являются «проводниками» инноваций в обществе (их совсем немного).
• Ранние последователи – люди, склонные к принятию инноваций, но более осторожные, чем новаторы; они начинают использовать новинки тогда, когда увидят, что ими пользуются новаторы или какие-либо известные люди (их больше, чем новаторов, но тоже не очень много).
• Раннее большинство – люди достаточно консервативные, они начинают пользоваться новинками уже тогда, когда довольно большое количество людей их освоило. Но когда раннее большинство приняло инновацию – можно считать, что она внедрена в сознание людей.
• Позднее большинство – привлечение этой части населения фактически означает, что новинка перестала быть таковой и стала продуктом массового потребления. В это время новаторы уже начинают использовать более новые продукты.
• Отстающие – наиболее консервативная часть населения, люди, упорно продолжающие использовать те продукты и подходы, к которым привыкли.

Оценку проектов и программ, конечно же, можно считать инновацией для нашей страны. У нас и проектный подход относительно недавно получил по-настоящему широкое распространение. Мы видим, что пока совсем небольшое число людей вовлечено в оценку. Когда 20 лет назад у нас только начиналось движение по развитию оценки, это точно были сплошные "новаторы" (по Роджерсу). Сейчас к ним потихоньку  присоединяются "ранние последователи". Однако мы наверняка можем констатировать, что количество специалистов по оценке, работающих на условиях полной занятости, в нашей стране пока совсем незначительно и "школы", которая бы готовила профессионалов в сфере оценки у нас тоже пока нет. Поэтому, если вернуться к модели Виленски, можно сказать, что профессиональная ассоциация у нас была создана с некоторым опережением по отношению к уровню развития профессии. Этим, в частности, можно объяснить ряд сложностей, с которыми сталкивается АСОПП (Ассоциация специалистов по оценке программ и политик), и особенностей ее развития. 

У наших англоязычных коллег это называется "поставить телегу впереди лошади" ("put the cart before the horse"). По-русски это звучит как "бежать впереди паровоза". Думаю, эта метафора достаточно точно характеризует положение дел с нашим профессиональным объединением. Справедливости ради замечу, что она подходит и для коллег из соседних стран, где также есть ассоциации специалистов по оценке, и для десятков национальных ассоциаций по оценке в дальнем зарубежье. Не вижу в беге впереди паровоза ничего плохого. Сам участвую в нем более 20 лет :) Надо только четко осознавать, каким именно "видом спорта" мы занимаемся - без иллюзий. Забег продолжается! 

"Сообщества практиков" как организационная форма и объект оценки

Многие проекты и программы предполагают формирование новых либо развитие существующих сообществ. Соответственно, при оценке таких инициатив возникает необходимость вынести обоснованное суждение о том, насколько это удалось. 

Сообщество практиков (community of practice) - это особая организационная форма, которая отличается от рабочих групп, проектных команд и неформальных сетей. Как видно из приведенной ниже таблицы (источник: Communities of Practice: The Organizational Frontier, перевод мой), основой для объединения людей в сообщества практиков является их страстная приверженность некоторой сфере деятельности и идентификация с групповой экспертизой. 

А вот один из вариантов принципов, на основании которых следует развивать сообщества практиков (источник: Cultivating Communities of Practice, перевод мой): 

1. Эволюционное развитие. Такие сообщества должны развиваться естественным эволюционным путем.
2. Открытый диалог с учетом внутренних и внешних перспектив. Сообщество не замыкается в себе, принимая во внимание происходящие вовне процессы.
3. Различные уровни участия. Здесь особо отмечается большое значение т.н. "периферийных" участников сообщества, которые могут не проявлять особой активности. 
4. Создавать возможности для приватного и открытого общения.
5. Фокусироваться на ценностях. 
6. Сочетание хорошо знакомого и непривычного в деятельности сообщества. 
7. Создание ритма сообщества. Имеются в виду регулярные мероприятия. 

Во многих крупных организациях внутренние сообщества практиков сегодня развиваются весьма активно как способ интенсификации обмена знаниями и профессионального развития сотрудников. Спрос на модераторов развития сообществ практиков тоже растет (здесь свежий пример из деятельности ООН). 

Профессионализация оценки

Те, кто заглядывал на сайт Ассоциации специалистов по оценке программ и политик, могли обратить внимание на то, как сформулирована миссия Ассоциации: "Развитие и продвижение оценки программ и политик как профессии в России". 

Появлению такой формулировки предшествовали многочисленные обсуждения, в том числе, с нашими зарубежными коллегами. Некоторые результаты этих обсуждений были опубликованы. Можно посмотреть, например главу "Профессионализация оценки", написанную специально для нашей книги Жаном Кенелом из Канады (стр.326) или написанную мной главу "На пути к профессионализации: создание объединений специалистов по оценке программ" (в той же книге, стр. 332). 

Важным дополнением к формулировке миссии АСОПП являются характеристики зрелости профессии (предлагаемые АСОПП): 

1. Постоянно развивающееся уникальное содержание
2. Возможность сделать карьеру
3. Потребность в специалистах
4. Образовательные программы разного уровня
5. Программы краткосрочного обучения
6. Сильная профессиональная ассоциация
7. Принципы профессиональной деятельности
8. Выраженная ориентация на общественное благо

Эти восемь характеристик являются универсальными критериями, по которым можно судить о степени зрелости любой профессии, включая оценку. В то же время они в значительной мере определяют долгосрочные приоритеты для ассоциации, которая стремится развивать определенную профессию. В частности, АСОПП более года потратила на разработку и обсуждение Принципов оценки программ. Позже была проведена большая работа по подготовке профессионального стандарта для специалиста по оценке программ и политик в социальной сфере. К сожалению, оказалось, что призыв создавать профстандарты не относился к представителям такого рода профессий. Наши коллеги - консультанты по управлению и специалисты по работе с персоналом продвинулись гораздо дальше, но зарегистрировать свои  профстандарты тоже не смогли. Тем не менее, остались материалы, которые могут еще пригодиться: обзорное сообщение о разработке профстандарта на конференции АСОПП, обоснование необходимости разработки профстандарта, макет профстандарта и даже проект функциональной карты специалиста по оценке программ и политик в социальной сфере. Хронология работы над стандартом здесь.

Еще раз о социальном проектировании и немного об оценке

Агентство социальной информации опубликовало очередную (14-ю !) главу "Путеводителя для НКО". Называется глава "Социальное проектирование". В этой главе составители сборника попросили меня написать о социальном проектировании и немного об оценке проектов. Основные вопросы, на которые даются краткие ответы в главе 14: 

• Что такое социальный проект?
• Каковы стадии жизненного цикла проекта? 
• Как определить цель социального проекта? 
• Для чего нужно определять стратегическую цель или «миссию» социального проекта?
• Какая «теория изменений» лежит в основе вашего проекта? 
• Как составить план реализации проекта?
• Сколько вам потребуется денег? 
• Зачем нужны показатели и как их разработать?
• Как определить факторы риска? 
• Можно ли менять замысел проекта и план его реализации по ходу проекта?
• Что такое оценка проекта?  Когда и для чего ее проводят?
• Как должно выглядеть описание вашего проекта? 

Оценка, ориентированная на принципы (Principles Focused Evaluation)

Такой подход к оценке предложил Майкл Пэттон (Michael Quinn Patton). 

На основании принципов мы принимаем значимые решения. Мы руководствуемся принципами в ситуациях выбора. Принципы формируются на основании опыта, экспертизы и ценностей. Принципы непосредственно связаны с ценностями: они позволяют трансформировать ценности в действия. В оценке, ориентированной на принципы, последние становятся объектом оценки.

Хороший принцип должен быть направляющим, полезным, воодушевляющим, адаптивным и оцениваемым. 

Вопросы, на которые надлежит ответить по результатам такой оценки:

1. Каковы базовые принципы программы? В случае, когда принципы в явном виде не сформулированы, начинать оценку следует с формулирования принципов.
2. Являются ли принципы ясными, значимыми и действенными?
3. Соблюдаются ли принципы на практике?
4. Корректировались ли принципы с учетом внешних обстоятельств? 
5. Если да, то как? Какой это имело эффект?
6. Приводит ли следование принципам к желаемым результатам?

Активы-Потенциал-Доверие

На сайте КАФ опубликован отчет об оценке роли фондов местных сообществ (ФМС) в развитии местной филантропии. Интерес представляют не только результаты оценки, но и использованная для проведения оценки модель ACT (Assets-Capacity-Trust – «Активы-Потенциал-Доверие»), разработанная Глобальным фондом поддержки ФМС. Авторы публикации - Барри Найт (CENTRIS, Великобритания) и Лариса Аврорина (КАФ, Россия).

Влияние особенностей организационной культуры на выбор подхода к оценке

Организационная культура - это совокупность уникальных социально-психологических характеристик организации, своего рода "личность" организации - по аналогии с личностью человека. На семинаре, посвященном стратегии НКО, в Новосибирске мы обсуждали, как  особенности организационной культуры могут повлиять на выбор оптимального для данной организации подхода к разработке стратегии. На самом деле, особенности организационной культуры следует принимать во внимание и при выборе подхода к проведению оценки проекта, программы или стратегии организации. Сообщение на эту тему я делал в 2009 году на конференции Американской ассоциации оценки Evaluation'2009. То, что изложено ниже,  основано на материалах того выступления, поэтому при необходимости можно ссылаться либо на данную публикацию в блоге, либо на мое выступление в США: Kuzmin, A. (2009). Organizational Paradigms and Evaluation. Paper presented at the Evaluation’2009 (Annual conference of the American Evaluation Association), Orlando, FL, USA. 

Есть разные подходы к типологизации организационных культур. В данном случае мы обратимся к модели Л.Константина (Constantine, Larry L. 1993 Work Organization: Paradigms for Project Management and Organization. Communications of the ACM 36: 35–43), в которой рассматриваются 4 типа "организационных парадигм": случайная, открытая, закрытая и синхронная. Автор определяет организационную парадигму как "совокупность положений, лежащих в основе структуры и функционирования организации". Достаточно подробное описание модели Л.Константина на русском языке можно найти в публикации Сергея Липатова (Липатов С.А. Опросник «Шкалы организационных парадигм» Л.Л. Константина // Журнал практического психолога, 2005, № 2, с. 186-198).