среда, 20 октября 2021 г.

Профессионализация оценки

Непростая и интересная тема. Вчера обсудили на конференции АСОПП-2021. Моя презентация здесь. Хотел бы обратить внимание интересующихся данной темой на 2 момента. Во-первых, на последний слайд презентации. Там много вопросов, о которых стоит подумать в связи с профессионализацией оценки. Во-вторых, на то, что не включено в слайды. Я говорил об этом вчера в связи с публикацией Тома Швандта. Судя по всему, профессионализация может происходить по-разному в разных контекстах. Модель Виленски, которую можно видеть как иллюстрацию к этому посту, предполагает формирование саморегулируемого профессионального сообщества, обладающего своего рода монополией в профессиональной сфере. Швандт указывает на то, что, например, в скандинавских странах, где оценка успешно развивается, подавляющее большинство специалистов по оценке работает в государственных структурах. Это ситуация, которая, модели Виленски не вполне соответствует. Добавлю, что надо еще учитывать разный уровень развития профессии в разных странах. Очень неравномерно идет развитие оценки. Это объяснимо и нормально. Но - вне всякого сомнения - стратегия профессионализации должна формироваться с учетом контекста.

Выступление Майкла Пэттона

Вчера вечером в рамках конференции АСОПП-2021 выступил Майкл Пэттон, который рассказал об опыте синтеза независимых диалогов Саммита по продовольственным системам. Об этой работе я писал ранее. Там же есть ссылка на русскоязычный отчет. Вчерашняя презентация Майкла здесь.

среда, 13 октября 2021 г.

Конференция АСОПП-2021

Очередная конференция Ассоциации специалистов по оценке программ и политик (АСОПП) пройдет 19-21 октября в онлайн-формате. На сайте конференции можно ознакомиться с темой конференции («Оценка в меняющемся мире: партнерства и инфраструктура»), программой и выступающими. Там же можно бесплатно зарегистрироваться для участия в конференции. Считаю, программа получилась очень насыщенной и интересной. 

Отличная новость: Майкл Пэттон (Michael Quinn Patton) - признанный гуру в области оценки -  выступит с сообщением "Опыт анализа и синтеза материалов глобальных консультаций в преддверии Саммита ООН по продовольственным системам". Я писал недавно об этой уникальной работе. Выступление Пэттона запланировано на 18.00 мск 19 октября. Будет синхронный перевод на русский.

Мое выступление запланировано на 12.30 19 октября. Планирую обсудить тему профессионализации оценки. Вот некоторые вопросы, которые собираюсь затронуть: 
  • Что такое "профессионализация оценки"? 
  • Что означает "профессионализм" в оценке? 
  • Как профессия оценщика развивается в различных контекстах (регионах, странах, культурах и т. д.)? Можно ли по-разному определять «профессионализацию» в разных контекстах?
  • Можно ли прийти к международному консенсусу в отношении основных компетенций оценщика? Готовы ли различные участники, вовлеченные в развитие основных компетенций, работать вместе для достижения такого консенсуса? 
  • Какова роль оценочной науки для статуса оценки как профессии, отрасли прикладной социальной науки, дисциплины и трансдисциплины?

четверг, 7 октября 2021 г.

Как это будет по-русски?

Очередное онлайновое заседание клуба PROоценку в следующий четверг будет посвящено показателям. Один из вопросов, которые мы планируем обсудить, связан с тем, как их (показатели) следует называть. Сегодня для этого широко используются еще два термина: индикаторы и метрики. Почему используются три разных термина? Можно ли считать их синонимами? Какой из терминов использовать предпочтительнее и почему? Зависит ли это от контекста? 
Очень надеюсь, что участники заседания клуба поделятся своим опытом и размышлениями на эту тему.
Для "затравки": 
1) Английское слово indicator переводится на русский язык как показатель.
2) Слово показатель, является синонимом слова метрика (см. словарь синонимов).
3) Министерство образования и науки РФ руководствуется следующими определениями
Показатель — количественное значение, характеризующее деятельность вуза. Как правило, выражается элементарными единицами измерения (чел, млн. рублей, штук, единиц и пр.).
Индикатор — вычисляемый элемент, формируемый на основе показателей университета. Как правило, выражается относительными единицами измерения (доли, проценты) или производными (статьи/человек, тыс. рублей/человек и пр.).

понедельник, 4 октября 2021 г.

Главное - полёт

В 1968 году в СССР был снят мультфильм "Человек, который умел летать" (по мотивам одноименного рассказа Карела Чапека). Это история обычного человека, который очень захотел летать - и научился. Сам. Его заметили и пригласили на заседание специально собранного по этому случаю экспертного совета. Он разбежался и на глазах у экспертов взлетел. Те посовещались и вынесли заключение, что полет в целом нормальный, а вот техника разбега и физические кондиции у объекта экспертизы - не очень. Над этим предложили   поработать. И вот через некоторое время вновь собрался экспертный совет. Перед ним предстал атлет с идеальной техникой бега. Вот только взлететь он не смог....

Вспомнил я эту историю в связи с обсуждением вопроса о том, насколько могут быть полезны для практиков различные инструменты и технологии управления некоммерческой организацией. Например, может ли НКО успешно работать, не имея стратегии? Или можно ли НКО обойтись без оценки собственной деятельности? 

Считаю, что главное в данном случае - это полёт. Надо, чтобы НКО делала то, ради чего она создавалась. Если какие-то инструменты и технологии не кажутся органичными, не стоит тратить время на их освоение и внедрение. 

А вот когда в развитии организации возникнут сложности, и без их преодоления дальнейший полет будет затруднен, можно обратиться к уже имеющимся знаниям и опыту. Как-то раз нам написал руководитель некоммерческой организации с просьбой проанализировать построение и функционирование их системы мониторинга и оценки. Естественно, мы поинтересовались, с чем связан такой запрос. Руководитель пояснил, что география их деятельности существенно расширилась, и они стали терять контроль за происходящим. Старая система не позволяла оперативно получать информацию по ключевым для организации вопросам, что стало критичным. 

среда, 22 сентября 2021 г.

Интересный документ

На днях неожиданно пришло письмо от Майкла Пэттона (Michael Patton), в котором он сообщил, что "наконец-то подготовил отчет на русском языке". Понятно, что русского языка он не знает, потому я с интересом перешел по ссылке, где действительно обнаружил русскую версию отчета под названием "Синтез независимых диалогов Саммита по продовольственным системам". Отчет подготовлен BLUE MARBLE EVALUATION (Майкл является основателем этой компании).

Идея состояла в том, чтобы провести диалоги в разных странах для поиска ответов на следующие вопросы: 

  • Какие преобразования продовольственных систем являются необходимыми и ожидаемыми (для достижения Целей в области устойчивого развития)?
  • Кто должен участвовать в преобразовании продовольственных систем?
  • Как проводить преобразование продовольственных систем?
  • Какие факторы успеха являются ключевыми для достижения результатов?
Масштабы мероприятия впечатляют. Было проведено 447 диалогов, в которых приняло участие более 41000 человек. В упомянутом выше документе предлагается краткое описание результатов всего этого. Было бы, конечно, очень интересно понять, как удалось обработать такой массив качественных данных. 
В отчете даже предложена "теория преобразования" (см. ниже). Вероятно, в оригинале было "theory of transformation".


четверг, 16 сентября 2021 г.

Патриция Роджерс уходит из BetterEvaluation

Перед тем, как написать сегодняшний пост, посмотрел, сколько раз я упоминал в блоге портал BetterEvaluation. Оказалось, 5 раз (2013, 2016, 2019 и 2020)! Сегодня - шестой. Но этот интернет-ресурс того стоит. Повод упомянуть о нем сегодня - уход основателя проекта и его бессменного руководителя Патриции Роджерс (Patricia Rogers), с поста исполнительного директора BetterEvaluation. По случаю своего ухода Патриция написала небольшую статью. Хотел бы здесь привести пару цитат из неё. Отмечу, что профессор Роджерс входит в когорту мировых лидеров в сфере оценки. Её вклад в развитие оценки как дисциплины и профессии сложно переоценить. Теперь у нее будет больше времени, чтобы вплотную заняться вопросами методологии и теории оценки.

Итак, две цитаты...

  • О причинах создания сайта BetterEvaluation: "... Было очевидно, что многие из уроков, извлеченных из опыта проведения оценки, например, риски вынесения оценочных суждений, основанных исключительно на нескольких показателях, забывались либо оказывались неизвестны тем, кто приходил в оценку. Это приводило к повторению старых ошибок и неэффективной практике".
  • О методологии оценки: "...Не существует универсального подхода к оценке. Напротив, методы, процессы и подходы должны соответствовать ситуации (особенностям объекта оценки, цели оценки), а также учитывать ограничения по времени, финансам и доступности данных".

понедельник, 6 сентября 2021 г.

Мониторинг и показатели

Четвертое заседание клуба PROОЦЕНКУ пройдет 9 сентября с 11.00 до 12.30 (мск) и будет посвящено мониторингу проектов. Регистрация участников здесь

Применительно к программам и проектам мониторинг чаще всего определяют как «систематический сбор информации о значениях заранее выбранных показателей для обеспечения руководителей программы (проекта) и других заинтересованных сторон сведениями о том, насколько успешно выполняются программа (проект) в целом и ее (его) отдельные компоненты, в какой мере достигаются поставленные цели, и как используются ресурсы». То есть использование показателей является сущностной характеристикой мониторинга. 

А теперь давайте обратимся к практике. Полагаю, всем знакомо понятие "мониторинговый визит". Чаще всего так называют посещение проектов на местах представителями организации-донора либо специально нанятыми для этого консультантами. В ходе таких визитов практически никогда не стоит задача сбора информации о значениях показателей. Основное внимание уделяется посещению мероприятий, беседам с руководителями и исполнителями проектов, общению с благополучателями. То есть "мониторинговый визит" проводится в традициях эмпирической оценки, а не индикаторной. Хотя мониторинг, вроде бы, по определению, является индикаторной оценкой. 

Значит ли это, что определение мониторинга не совсем точное, поскольку под него не подпадают "мониторинговые визиты"? Правильно ли считать, что для проведения мониторинга можно использовать и индикаторную, и эмпирическую оценку? А, может быть, мониторинг вообще можно без использования индикаторов провести? 

Чтобы последний вопрос не показался совсем уж кощунственным, сошлюсь на статью датчанина Питера Сигсгаарда (Peter Sigsgaard) "Мониторинг без индикаторов" 😃

Заходите 9-го на заседание клуба PROОЦЕНКУ - обсудим!

четверг, 26 августа 2021 г.

Системные диаграммы

Недавно опубликовано практическое пособие Боба Вильямса "Системные диаграммы" (System Diagrams). Эту публикацию можно скачать бесплатно. Пожертвования приветствуются. Я много раз упоминал Боба в этом блоге и не только. Он - очень интересный человек. В мире оценки известен как специалист, продвигающий идеи системного подхода и системного мышления. Боб говорит, что существуют тысячи (!) традиций построения диаграмм. Это даже сложно представить, честно говоря... В упомянутой выше книге - не пугайтесь - описано всего 6 подходов:

  1. Насыщенное изображение (rich picturing). Полезно, когда вы пытаетесь справиться со сложностью ситуации и решить, на каких её аспектах вам следует сосредоточиться. Фрагмент такого изображения из книжки Боба Вильямса приведен выше. Компактный вариант описания этого подхода (по-английски) здесь.  
  2. Диаграммы влияния. Полезны, когда вы хотите получить моментальный снимок того, что влияет на конкретную проблему в определенный момент времени. В рунете много публикаций про диаграммы влияния. Можно посмотреть, например, здесь.
  3. Причинно-следственные диаграммы. Полезны, когда вы хотите изучить возможные последствия конкретных причинно-следственных связей в рамках решения определенной проблемы в течение заданного периода времени. Один из вариантов построения диаграммы в этой традиции здесь (по-русски). 
  4. Кеневин (Cynefin). Диаграмма, которая помогает найти оптимальный способ поведения с учетом особенностей ситуации, с которой вы имеете дело. Подробнее по-русски здесь.
  5. Модель жизнеспособной системы (VSM). Диаграмма, которая помогает оценить и гарантировать жизнеспособность целенаправленной деятельности с учетом диапазона конкурирующих требований, связанных с различными компонентами этой деятельности. Подробнее можно почитать по-русски здесь.
  6. Культурно-историческая теория деятельности (Cultural Historical Activity Theory - CHAT). Диаграмма, которая выстраивается через ответы на серию вопросов о том, как люди с разной мотивацией могут работать вместе творчески и эффективно, особенно при реагировании на меняющиеся и сложные события. Основоположники этого подхода - российские ученые Выготский и Леонтьев. Здесь общая информация по-английски. А здесь - развернутое описание от Боба Вильямса. Тоже по-английски. Публикаций на русском языке много. Ссылаюсь на англоязычные публикации, которые больше ориентированы на практику. Например, в публикации Боба Вильямса вы найдете списки конкретных вопросов, которые помогут построить диаграмму в данной традиции.

среда, 18 августа 2021 г.

JMDE

Аббревиатура расшифровывается как Journal of MultiDisciplinary Evaluation (Журнал мультидисциплинарной оценки) - один из немногих рецензируемых журналов, находящихся в открытом доступе. Это принципиальная позиция основателей данного издания во главе с Майклом Скривеном. Другая особенность журнала в том, что статьи публикуются достаточно быстро. Весь процесс занимает около 6 недель. Тогда как публикация статьи в традиционном академическом рецензируемом журнале может занять до года. 
Легко заметить, что в журнале регулярно публикуются - в числе прочих - работы ведущих мировых экспертов в сфере оценки. Состав редакционной коллегии тоже весьма авторитетный. 
Краткая информация о журнале с сайта (перевод с англ.):
"Журнал мультидисциплинарной оценки (JMDE) публикует и распространяет научные работы, которые способствуют развитию теории, методов и практики оценки.
JMDE - это журнал с полностью открытым доступом: весь контент находится в свободном доступе. Плата за подачу, публикацию или связанные с этим вопросы не взимается.
За исключением редакционных статей, рецензий на книги и «пищи для размышлений», все разделы JMDE подлежат двойному слепому рецензированию.
Авторы статей, опубликованных в JMDE, обладают всеми авторскими правами на свою работу без ограничений".
Журнал может быть интересен и как источник информации для тех, кто хочет отслеживать развитие оценки; и как издание, где можно опубликовать свою статью. Последнее касается не только публикации результатов исследований. К примеру, наша статья о развитии оценки на территории бывшего СССР (опубликована в 2007) относится, скорее, к практике оценки.

пятница, 13 августа 2021 г.

Работает ли brainstorming или размышления об оценке влияния практик с доказанной эффективностью

В конце 80-х годов прошлого века мне попалась статья об исследовании, в котором советские психологи проверяли эффективность метода "мозгового штурма" (brainstorming) как средства решения проблем. Исследователи сформировали две одинаковые по численности группы, которым была предложена одна и та же задача. В одной группе использовался "мозговой штурм", в другой - нет. Результаты работы групп оказались одинаковыми, из чего исследователи сделали вывод о том, что brainstorming не работает. Замечу, что к тому моменту метод "мозгового штурма" был признан во всем мире как эффективный и успешно использовался для решения самых разных задач. То есть, по существу, brainstorming можно было считать практикой с доказанной эффективностью. Результаты упомянутого выше исследования ставили этот тезис под сомнение. В чем же могло быть дело? 

Думаю, что следовало бы, в первую очередь, проверить корректность использования метода в ходе эксперимента. В частности, я бы обратил особое внимание на то, соблюдались ли базовые правила проведения "мозгового штурма", а также на компетентность ведущего. Мой собственный многолетний опыт, как и опыт многих моих коллег, свидетельствует о том, что если все делать правильно, метод работает. 

Вспомнил об этом вчера на заседании клуба PROОЦЕНКУ, когда мы обсуждали, следует ли оценивать влияние проектов, в которых используются практики с доказанной эффективностью. Думаю, что смысл использования практик с доказанной эффективностью как раз и состоит в том, что их влияние гарантировано. Но при условии, что сама практика используется корректно. То есть, необходимо строго контролировать правильность применения практики. Тогда её воздействие будет гарантировано, и можно его не оценивать. 

Однако не все так просто... Дело в том, что в сложных динамических системах, с которыми имеют дело все, кто реализует программы социальной направленности, результаты воздействия очень сильно зависят от контекста и от начальных условий. Это означает, что даже абсолютно корректное применение практики, эффективность которой была доказана в другом контексте либо при иных начальных условиях, может не привести к желаемым результатам. 

Следующее заседание клуба PROОЦЕНКУ пройдет онлайн 9 сентября 2021 года с 11 до 12.30 мск. Объявление о регистрации участников будет размещено в группе "Проектирование и оценка в социальной сфере" на Facebook.  

пятница, 6 августа 2021 г.

Что за история с оценкой влияния (воздействия)?

Ближайшее заседание клуба PROОЦЕНКУ (12 августа с 11.00 до 12.30 мск.) будет посвящено оценке влияния или оценке воздействия. Регистрация здесь

Тема заседания в этот раз такая, что вопросов может оказаться больше, чем ответов. Но  мы же живем в мирах, которые создаются нашими вопросами :) 

Первый вопрос связан с самим термином "оценка влияния" (или воздействия). По-английски он звучит как impact evaluation. Оказалось, что найти адекватный перевод не так уж легко. Но главное, конечно, смысл. А смысл состоит в том, чтобы выявить влияние программы на те изменения, которые произошли по ходу её реализации, по её окончании или даже спустя некоторое (порой значительное) время. Другими словами, оценка влияния предполагает выявление и обоснование причинно-следственной связи между программой и достигнутыми результатами. 

Почему это важно? 

Когда мы говорим о непосредственных результатах деятельности, их связь с самой деятельностью, как правило, вопросов не вызывает. Например, улучшение знаний участников семинара по теме семинара, очевидно, происходит именно в результате семинара. Другие факторы здесь наверняка также имеются, но их влияние на изменение знаний участников - по сравнению с влиянием собственно обучения - минимально. 

Когда же мы рассматриваем отсроченные эффекты обучения (результаты более высокого уровня), то все сильно усложняется. Представьте, что кто-то говорит: "Мы провели обучение сотрудников, и они стали работать совершенно по-другому!". Здесь наверняка могут возникнуть вопросы о том, в какой мере этот эффект связан именно с обучением. Причина проста: то, как человек работает, зависит от множества факторов. Обучение, как правило, не является среди них определяющим. И тут возникает новый вопрос: а стоит ли вообще вкладываться в обучение? Не является ли обучение своего рода "квази-проектом", который направлен на достижение того, что и так произойдет или на борьбу с тем, чего и так не произойдет? 

Как выделить влияние программы или проекта на фоне множества других факторов? Поговорим об этом в четверг на следующей неделе.

пятница, 30 июля 2021 г.

Оценка с учетом стоимости

Термин cost-inclusive evaluation относится ко всем подходам к оценке программ, которые так или иначе принимают во внимание денежное измерение. Брайан Т. Ейтс (Brian T Yates) из Американского университета в Вашингтоне в небольшой обзорной статье предложил компактное описание видов анализа, которые используются в оценке, учитывающей стоимость. Привожу мой вариант перевода этой таблички с небольшими сокращениями. В основном, сокращения коснулись примеров. 


Ссылка на источник: 
Yates, Brian. (2008). Cost-inclusive evaluation: A banquet of approaches for including costs, benefits, and cost-effectiveness and cost-benefit analyses in your next evaluation. Evaluation and program planning. 32. 52-4. 10.1016/j.evalprogplan.2008.08.007. 

понедельник, 26 июля 2021 г.

Как мы стали заниматься оценкой

Сегодня у меня спросили, как получилось, что мы начали заниматься оценкой. Причин было несколько. 
  1. К середине 90-х годов мы (Компания "Процесс Консалтинг") определяли свою специализацию как "организационное развитие" (organization development). Когда один из наших клиентов обратился к нам с запросом на проведение оценки проекта, оказалось, что это в чем-то сродни организационной диагностике, которую мы проводить умели. 
  2. Когда КАФ (тогда еще CAF) решил провести один из первых в России семинаров по оценке для лидеров НКО (это тоже было в середине 90-х), пригласили двух зарубежных специалистов. Случилось так, что один из них заболел накануне отъезда, и меня попросили поассистировать Сaре дел Туфо  (Sarah del Tufo) из Великобритании. Семинар прошел хорошо. Наше профессиональное сотрудничество с Сарой продолжалось потом много лет. Дружим до сих пор. 
  3. Сара помогла тогда с приобретением наших первых книжек по оценке. Среди них была "Практическая оценка" (Practical Evaluation) Майкла Пэттона. Книга произвела на меня сильное впечатление. Уникальная особенность Майкла в том, что он пишет и говорит так, что хочется сразу идти и делать :) 
  4. Мы понимали, что спрос на оценку будет расти. Потребность в ней была совершенно очевидна. А нам надо было специализироваться.
 Вот такая история...

четверг, 15 июля 2021 г.

Сложная тема

Тема "Оценка стратегии", как мы и предполагали, оказалась весьма сложной. Потому после второго заседания клуба PROоценку осталось много пищи для размышлений. Поделюсь некоторыми, чтобы промежуточный итог подвести. Пойду по вопросам, которые мы обсуждали. 

Что такое оценка стратегии?

Вот наше рабочее определение, основанное на широко известном определении оценки программ, предложенном М.Пэттоном: "Оценка стратегии НКО – это систематический сбор и последующий анализ информации о стратегии НКО и её эволюции, а также о ходе и результатах её реализации, предназначенные для вынесения суждения о результативности стратегии, принятия решений о необходимости корректировки стратегии и/или для разработки новой  стратегии. Оценка стратегии НКО проводится для заранее определенных пользователей – лиц, принимающих стратегические решения и ответственных за их реализацию".

Почему об оценке стратегий пишут и говорят намного меньше, чем об оценке программ и проектов?
- Новая тема. Об оценке проектов и программ давно пишут, а об оценке стратегий недавно начали. К примеру, публикация Пэттона и Патризи "Оценка стратегии" появилась в серии "Новые направления в оценке" в 2010 году.
- Сложная тема. 
- Стратегии реализуются через проекты и программы. Стратегий значительно меньше, чем проектов и программ.
- Оценка программ и проектов во многих случаях является обязательной. Оценка стратегий - нет.
- Не у всех НКО есть стратегии. Интуитивное ощущение вектора развития есть у всех или почти у всех. А вот в виде документа стратегии есть далеко не у всех.  

В чем сходства и отличия стратегии организации как объекта оценки от программы (проекта)?
- Стратегия запланированная всегда отличается от стратегии реализованной. И всегда появляется элемент стратегии, сформированный по ходу ее выполнения (см. публикации Г.Минцберга). 
- Формат описания проекта является более-менее стандартным. Описания стратегий могут отличаться весьма существенным образом. Другими словами, когда мы идем оценивать проект, мы более-менее представляем, что увидим. Когда речь идет об оценке стратегии, заранее представить, как она будет выглядеть, проблематично.

Занимаются ли НКО оценкой своих стратегий? Если нет, то почему? Если да, то каким образом? 
- НКО занимаются, в первую очередь тем, что от них требуют. Оценку проектов требуют. Оценку стратегий - нет. Потому этим занимаются намного реже.  
- Если стратегия существует у руководителя на уровне интуиции, то и оценка производится интуитивно. Соответственно, этим словом ее не называют. 
- Чаще всего оценка стратегии оказывается встроенной в процесс стратегического управления. Например, при планировании новой стратегии, анализируют выполнение предыдущей стратегии. Поэтому зачастую оценку стратегии как особое действие не выделяют.
- См. также здесь.

На какие вопросы может дать ответ оценка стратегии? Кто, как и когда может провести оценку стратегии НКО? 
- Об этом я писал ранее здесь.

Кто, когда и как может провести оценку стратегии НКО?
- Внешний специалист или те, кто работает в организации и руководит ею.
- Оценка может проводиться на всех стадиях цикла стратегического управления: оценка ситуации, оценка стратегического плана, оценка реализации стратегии, оценка результатов выполнения стратегии.
- При проведении оценки стратегии может использоваться весь инструментарий, наработанный в оценке программ. Иногда надо будет кое-что адаптировать. 

Нужны ли особые компетенции для проведения оценки стратегии НКО?
- Да, нужны. В самом общем виде их можно описать как "знание организаций" в отличие от "знания программ и проектов". Такими компетенциями обладают руководители организаций и специалисты по организационному развитию и управлению. Это ставит их в более выгодное положение по сравнению со специалистами по оценке программ при необходимости оценить стратегию. 

четверг, 8 июля 2021 г.

Модель "5П" и оценка стратегии

Эта схема представляет т.н. модель "5P" (англ.) или "5П" (рус.) Генри Минцберга. Она скомпилирована из рисунков, приведенных в книге Б.Альстранд, Ж.Лампель, Г.Минцберг. «Стратегическое сафари. Экскурсия по дебрям стратегического менеджмента» «Альпина Диджитал», 2009. 

Минцберг предлагает рассматривать стратегию 

  • как ПЛАН (руководство, ориентир или направление развития, дорогу из настоящего в будущее);
  • как ПОЗИЦИЮ (где будут ожидаемые результаты, где именно мы планируем оказать влияние, что-то изменить); 
  • как ПЕРСПЕКТИВУ (или как "теорию бизнеса" - как это будет работать, каким образом наши действия приведут к ожидаемым результатам);
  • как ПАТТЕРН (принципы, шаблоны поведения, которые сформировались на основе нашего прошлого опыта);
  • как ПРИЕМ (какой прием мы применяем для того, чтобы опередить конкурентов)

Соответственно, при оценке стратегии внимание может уделяться не только каждому из этих пяти аспектов, но и их взаимосвязям. Например, Пэттон и Патризи указывают на значимость анализа согласованности Позиции и Перспективы (Patton, M. Q., & Patrizi, P. A. (2010). Strategy as the focus for evaluation. In P. A. Patrizi & M. Q. Patton (Eds.), Evaluating strategy. New Directions for Evaluation, 128).

До второго заседания клуба PROоценку остается 4 дня. Те, кого интересует тема "Оценка стратегии НКО", могут зарегистрироваться здесь.

среда, 30 июня 2021 г.

Оценка стратегии НКО

Второе заседание клуба PROОЦЕНКУ будет посвящено оценке стратегии НКО. Вопросы, которые планируем обсудить, непростые, и однозначных ответов на них не существует. Попытаюсь начать разговор здесь, а продолжим его уже 12 июля. 

Вопрос: почему об оценке стратегий пишут и говорят намного меньше, чем об оценке программ и проектов?

К ответу на этот вопрос: Знаете, насколько меньше? Ссылок в интернете на "strategy evaluation" в 30 раз меньше, чем на "program evaluation"!

Вопрос: Занимаются ли НКО оценкой своих стратегий? Если нет, то почему? Если да, то каким образом? 

К ответу на этот вопрос: Мне кажется, что в большинстве своём не занимаются. Причина проста: стратегии у большинства НКО не сформулированы - в отличие от описаний проектов, без которых не будет финансирования. Когда стратегия не описана, а существует - в лучшем случае - на интуитивном уровне, оценивать ее весьма затруднительно.

PS На рисунке представлена модель построения организации Дж.Р.Гелбрейта, которую автор назвал "Звезда". Почитать о ней в авторской версии (англ.) можно здесь.

четверг, 24 июня 2021 г.

Задание на оценку стратегии

Оценка начинается с постановки задачи. Основа задания на проведение оценки - вопросы, на которые нужно ответить. Какие вопросы могут быть включены в задание на проведение оценки стратегии? Вот вариант, предложенный Патрицией Патризи. Она исходит из того, что (а) оценка может осуществляться на разных стадиях жизненного цикла стратегии и (б) запланированная стратегия практически никогда не реализуется в полном объеме и корректируется по ходу. 



пятница, 18 июня 2021 г.

Внешнее царство хаоса

Публикация в этом блоге заметки о модели Кеневин (Cynefin) вызвала достаточно большой интерес. Сегодня я хотел бы поделиться другой моделью, которая, насколько мне известно, пока не публиковалась на русском языке. В том виде, как я ее здесь представляю, эта модель опубликована в замечательной книжке Майкла Пэттона об адаптивной оценке (Patton, M. Q. (2010). Developmental evaluation: applying complexity concepts to enhance innovation and use. New York: Guilford Press, p.94). Заголовок этой диаграммы, предложенный автором, - "Внешнее царство хаоса". 

Хаос здесь определяется как ситуация высшей степени неопределенности относительно того, что следует делать для достижения желаемых результатов. Хаос вызывает стресс, а естественной реакцией на него является избегание. 

Простая ситуация - в противоположность хаосу - характеризуется высокой степенью согласованности ее понимания между участниками и высокой степенью определенности (предсказуемости) с технической точки зрения. В такой ситуации надо разработать план и строго следовать ему, чтобы все получилось.

В ситуации с высокой степенью определенности в техническом плане, но низким уровнем согласованности между участниками, главной задачей становится выстраивание отношений и достижение договоренностей. Такую ситуацию автор относит к сложным в социальном плане. 

В ситуации с низкой степенью определенности в техническом плане, но высоким уровнем согласованности между участниками (которые являются экспертами в данной предметной области), основным ресурсом оказывается именно техническая экспертиза, а экспериментирование - способом разобраться в том, как что работает. Такие ситуации отнесены автором к технически сложным.

Наконец, т.н. динамические ситуации сложны и в социальном, и в техническом планах. Автор отмечает, что граница между зоной, обозначенной как "динамическая", и хаосом - условная. Это утверждение справедливо и в отношении всех остальных границ.

Возможно, вам будет интересно сопоставить эту модель с моделью Кеневин. 

среда, 9 июня 2021 г.

Еще раз об оценке потребностей в обучении

Готовимся к первому заседанию клуба PROОЦЕНКУ. Одна из тем, которые хотели бы обсудить - оценка потребностей в обучении. Здесь все не так просто, как может показаться на первый взгляд. Дело в том, что само существование "потребностей в обучении" можно поставить под сомнение. Потребности заключаются в чем-то другом, а обучение является одним из способов их удовлетворения. Например, организация нуждается в повышении качества обслуживания клиентов. Один из путей - обучение сотрудников. При этом ни у организации, ни у сотрудников потребности в обучении как таковом нет. Есть потребность в повышении качества работы с клиентами. Когда мы говорим об оценке "потребностей в обучении", происходит своего рода навязывание заранее  определенного решения. Не будет ли правильнее оценивать потребности (человека или организации), а уж потом решать, в какой мере обучение может способствовать их удовлетворению?...

Более подробная информация о первом заседании клуба PROОЦЕНКУ и регистрация здесь. Заседание пройдет в пятницу 11 июня с 11 до 12.30 мск. Тема: "Оценка обучения". Участие бесплатное. 

среда, 2 июня 2021 г.

Старый конь борозды не портит

Вчера прошло очередное мероприятие, организованное движением EvalYouth, которое объединяет молодых и начинающих оценщиков. Для молодых и начинающих есть аббревиатура, которую в мире уже хорошо знают - YEE (young and emerging evaluators). Поскольку я к данной категории не отношусь, решил придумать аббревиатуру для тех, кто не молод и уже давно работает. Вариант ORE (Old and Retiring Evaluators - старые и выходящие на пенсию оценщики) забраковал как несколько депрессивный :) Потом нашел подходящие слова - немолодые и бывалые (как оппозиция молодым и начинающим). И вдруг оказалось, что сокращенно это получается USE (польза)! То есть из серии "старый конь борозды не портит" и т.д. Считаю, отлично получилось. Надо подумать о создании глобального движения :)  На картинке надписи по-английски, чтобы единомышленников найти.

На встрече вчера мы вместе с Татьяной Третьяковой (Кыргызстан) и Ольгой Красовской (Украина) отвечали на вопросы, подготовленные организаторами с учетом интересов YEE. Вопросы были весьма серьезные. На ответ давали всего 5 минут. 

Вот какие вопросы мне достались:
  • Как мне стать профессиональным специалистом по оценке?
  • Как мне стать независимым консультантом?
  • Нужна ли мне степень (предлагаемая университетом) в области мониторинга и оценки, чтобы меня считали специалистом по оценке?
  • Должен ли я специализироваться на конкретном (секторе/методе) или быть универсальным специалистом?
Видеозапись ответов и презентации организаторы мероприятия обещали разместить в открытом доступе. Как только они это сделают, сообщу. 

Здесь приведу тезисы моего ответа только на последний вопрос насчет специализации: 
  • Зависит от места Вашей работы, характера Вашей деятельности и перспективы профессионального развития как Вы ее видите.
  • Узкая специализация возможна и целесообразна, например, если Вы являетесь специалистом по оценке внутри организации. Другой вариант – узкая специализация внешнего консультанта на очень развитом рынке услуг по оценке (не относится к нашему региону). 
  • Если же речь идет о достижении финансовой устойчивости за счет оценки в нашем регионе в качестве внешнего консультанта, то предпочтительнее становиться «генералистом» и привлекать узких специалистов по мере необходимости. 

четверг, 27 мая 2021 г.

PROОЦЕНКУ

Уже много лет мы сотрудничаем в сфере развития оценки с Архангельским Центром "Гарант" и Сибирским центром поддержки общественных инициатив. Недавно мы договорились о запуске нового проекта - онлайновой дискуссионной площадки/клуба. Есть еще несколько идей, которые мы планируем реализовать совместно. Поэтому мы приняли решение о создании нашими организациями Альянса за развитие оценки. Естественно, мы открыты к сотрудничеству и взаимодействию со всеми заинтересованными сторонами.

Создатели Альянса за развитие оценки: 

  • РБОО "Архангельский Центр социальных технологий "Гарант"
  • ООО «Компания «Процесс Консалтинг»
  • Фонд «Сибирский центр поддержки общественных инициатив»

Миссия нашего альянса – институционализация оценки в социальной сфере в России. Под институционализацией здесь понимается процесс внедрения оценки в социально-ориентированную деятельность различных организаций, закрепление соответствующих социальных норм и роли оценки в обществе. В ближайшие планы Альянса входит открытие онлайн-клуба PROОЦЕНКУ  для интересующихся темой оценки. В 2021 году встречи клуба будут проходить ежемесячно. Первая встреча – в июне. Даты и тематика встреч будут объявлены дополнительно. 

четверг, 20 мая 2021 г.

О графической модели деятельности

Разработку системы мониторинга надо начинать с представления деятельности, которую предстоит мониторить, в виде модели. Когда есть модель, можно переходить к разработке показателей для её элементов. Модель может быть описательной или графической. Сегодня вместе с Владимиром Балакиревым, Ириной Решта и Еленой Малицкой договорились об общих требованиях к графической модели деятельности организации, модели проекта или программы:
  1. Минимально необходимое число элементов и связей между ними (соответствие задаче, для решения которой используется модель)
  2. Внутренняя логика (понятно, где причины, где следствия)
  3. Направленность на получение ожидаемого результата
  4. Наличие средств достижения ожидаемого результата
  5. Структурированность 
  6. Графический минимализм (в качестве иллюстрации противоположного подхода привожу ниже картинку, на которой форма явно затмевает содержание 😀)
  7. Она должна вызывать положительный «резонанс» (восприниматься участниками деятельности как правильная)
Всё это и многое другое будем обсуждать подробно на следующей неделе на семинаре «Система и инструменты мониторинга и оценки в инфраструктурных организациях некоммерческого сектора» в Новосибирске. 

пятница, 14 мая 2021 г.

Отличается ли специалист по оценке от "просто консультанта"

В последнее время мне регулярно приходится участвовать в обсуждениях, связанных с самоопределением специалистов по оценке и определением нашей профессии в быстро меняющемся мире. Один из регулярно возникающих сюжетов - сопоставление (и даже противопоставление) оценки и консультирования. К написанию сегодняшнего текста меня подтолкнул тезис, высказанный недавно одним из зарубежных коллег. Суть этого высказывания можно свести к следующему: специалисты по оценке - не просто консультанты, поскольку они руководствуются ценностями и общественными интересами. Очевидно, подразумевалось, что "просто консультанты" не руководствуются ценностями и общественными интересами. 

По этому поводу я хотел бы сказать следующее: 

  1. Оценка (речь, естественно, идет о внешней оценке) - вне всякого сомнения - является одним из видов консультирования. При условии, конечно, что мы будем понимать "консультирование" как оказание помощи с использованием специальных знаний, умений и навыков; как изменение ситуации к лучшему, решение проблем; как взаимодействие и сотрудничество. При этом важно принимать во внимание, что "консультант – это человек, оказывающий влияние на другого человека, группу или организацию, но не имеющий властных полномочий для того, чтобы осуществить изменения” (Peter Block, “Flawless consulting”). Подробнее можно посмотреть несколько публикаций в этом блоге по ярлыку "Оценка как консультирование".
  2. При принятии наиболее значимых решений люди склонны руководствоваться ценностями. Консультанты - не исключение. Профессиональные консультанты декларируют свои ценности публично в виде этического кодекса. Посмотрите для примера "Консультант как горный гид" или коротко по-английски "Principles for Ethical Consulting"
  3. Считаю противопоставление "просто консультантов" и "специалистов по оценке" некорректным и основанным на искаженном представлении о консультировании в целом и об этике консультирования, в частности.
PS Иллюстрация заимствована из публикации о кодексе профессиональной этики HR специалиста. 

среда, 5 мая 2021 г.

Характеристики пост-нормальной оценки

Концепцию "пост-нормальной науки" (post-normal science) предложили в 90-е годы Фунтович и
Равец. Пост-нормальная наука представляет собой новый подход к использованию науки в ситуациях, где факты являются неопределенными, ценности - спорными, ставки - высокими, а время на принятие решений сильно ограничено. Вчерашнее выступление одного из ведущих теоретиков оценки Томаса Швандта было посвящено пост-нормальной оценке, которая развивается и используется в тех же ситуациях, которые привели к появлению пост-нормальной науки. Швандт предложил 10 изменений, которые должны произойти в сфере оценки для трансформации ее в пост-нормальную:
  1. Перестать тратить силы на определение оценки как особой сферы деятельности, отличающейся от связанных с ней других видов профессиональной деятельности.
  2. Переключить внимание с оценки как на вспомогательной функции на практики, основанные на оценочном мышлении
  3. Рассматривать оценочное мышление как нечто большее, чем поиск обоснований для проверки неких утверждений.
  4. Признать важные отличия между ролями специалиста по оценке как внешнего судьи и как вдумчивого партнера.
  5. Осознать важное отличие оценки как методичного исследования и оценки как встроенного системного исследования. 
  6. Учитывать политический контекст.
  7. Расширить репертуар вопросов, которые включаются в задания на проведение оценки.
  8. Перейти от «продажи решений» к «решению проблем».
  9. Сформировать новое более широкое понимание того, что является оценочным суждением.
  10. Признать, что этика оценки не ограничивается лишь вопросами профессионального этичного поведения. Она включает также нормативную позицию профессии. 
Выступление было очень интересным, как и последующая дискуссия. Мне было очень любопытно услышать, в частности, насколько радикально изменились взгляды Швандта на необходимость критериев как основы оценки. В нашей заочной дискуссии 5 лет тому назад Томас был весьма категоричен: "Невозможно провести оценку, не имея критериев". Вчера он сказал, что пришло время отказаться от понятия "критерий" и намечать некие области, применительно к которым следует отвечать на вопросы... 

PS Диаграмма заимствована из Википедии. Она часто используется для пояснения концепции пост-нормальной науки. 

среда, 28 апреля 2021 г.

Две конференции

Тема очередной конференции Американской ассоциации оценки (American Evaluation Association): "AEA at 35: Meeting the Moment". В этом году ассоциации исполняется 35 лет, и президент АЕА Том Грейсон предложил встретить этот момент с полным осознанием: "Настало время взглянуть в зеркало и задуматься каждому о себе как о профессионале, а также всем вместе поразмышлять о нашей профессии в целом. Это возможность осознать реалии нынешнего непростого времени; поделиться тем, что мы узнали; поговорить о шансах - использованных и упущенных; обсудить, как мы трансформируем практику оценки для решения самых сложных и важных задач, стоящих перед человечеством".
Подробное описание темы конференции и условий участия в ней можно найти на сайте АЕА. Конференция пройдет с 8 по 13 ноября 2021 года в онлайн-формате. 

Тема конференции АСОПП в этом году: "Оценка в меняющемся мире: партнерства и инфраструктура". Организаторы конференции задаются следующими вопросами: "Как планировать и оценивать программы в меняющемся мире, который сталкивается со все более сложными проблемами? Как достигать более амбициозных результатов в новых условиях? В ответ появляются новые виды оценок – адаптивная оценка, оценка трансформационных программ, оценка глобальных программ, оценка с фокусом на принципы. Новые условия самоизоляции и ограничения социальных контактов поднимают вопрос, какая есть альтернатива традиционным методам сбора данных, насколько они доступны и достоверны в разных условиях? Меняющийся мир требует от специалистов по оценке новых компетенций – креативности, гибкости и постоянного развития. Новый мир предполагает изменение и осмысление новой роли оценщика. Где проходит зона ответственности специалиста по оценке, на каких ценностях должна строиться оценка?". Подробное описание темы конференции и условий участия в ней - на сайте АСОПП. Конференция пройдет 19-21 октября 2021 года в гибридном формате (очно в Москве и онлайн).

Несмотря на то, что темы двух конференций сформулированы по-разному, вопросы, которые беспокоят специалистов по оценке в наших двух странах, по-моему, во многом совпадают.

пятница, 23 апреля 2021 г.

Оценка потребностей в обучении

Оценка потребностей уже достаточно давно развивается как отдельное направление в теории и практике оценки. Например, в Американской ассоциации оценки (АЕА) уже давно работает соответствующая тематическая группа (topical interest group). Это означает, что каждый год в программу конференции АЕА включаются десятки выступлений об оценке потребностей. Здесь речь чаще всего идет об оценке потребностей в контексте социального проектирования.  

Оценка потребностей в обучении относится, скорее, к сфере профессиональных интересов специалистов по обучению и развитию (training and development), а также специалистов по управлению персоналом (HR). Например, статьи на русском языке об оценке потребностей в обучении можно найти:

  • на сайтах HR-сообществ - таких как HRЛига (сообщество кадровиков и специалистов по управлению персоналом); 
  • на сайтах, посвященных вопросам повышения квалификации и дополнительного образования - таких как ЭЛИТАРИУМ
  • в тематических блогах - таких как HRland.org
  • на сайтах международных организаций - таких как ФАО.

Важнейший момент при оценке потребностей в обучении - учет контекста. Начинать нужно не с того, кто чему хочет научиться (см. картинку), а с того, какие задачи нужно решить. Например, если речь идет об организации, которая столкнулась с проблемами во взаимодействии с клиентами/благополучателями, то обучение персонала может быть одним из способов решения возникшей проблемы. Отсюда - "потребность в обучении". Кавычки поставил, чтобы подчеркнуть, что у сотрудников в рассматриваемом случае никакой потребности в обучении может и не быть. Это - потребность организации. И не столько в обучении, сколько в том, чтобы наладить взаимодействие с клиентами/благополучателями. Обучение здесь становится частью "теории изменений", ориентированной на получение желаемого результата.   

среда, 14 апреля 2021 г.

Сообщение для подписчиков блога

Данное сообщение предназначено для тех, кто подписался на получение публикаций из блога "Оценка программ и проектов" по электронной почте. 

С июля текущего года сервис автоматической отправки публикаций по электронной почте перестанет работать. С июля проще всего будет отслеживать новые публикации в этом блоге через мой аккаунт на Facebook. Все анонсы новых публикаций там будут. Другой вариант - заглядывайте в блог периодически. Планирую размещать новые посты примерно раз в неделю :) 

Благодарю вас за проявленный интерес!  

"Мы живем в мирах, которые создаются нашими вопросами"

В качестве заголовка для сегодняшней публикации я использовал высказывание Дэвида Куперрайдера (David Cooperrider), которое процитировала Sonja Blignaut в блоге "Больше за пределами" (говорят, она работает вместе с Д.Сноуденом, который придумал Cynefin). Действительно наши миры создаются вопросами, а не ответами. Ответы следуют за вопросами. Именно хорошие вопросы создают пространство для важных ответов.  Как сказал поэт, ответы уже готовы, и всё зависит от степени готовности наших вопросов: 

"Ты, ждущий откровенья, будь уверен:
Ответ готов. Готов ли твой вопрос?
Ответ готов. Но знай, томимый жаждой,
К истокам припадающий опять:
Его услышит далеко не каждый,
Но только тот, кто может вопрошать."

Конечно же, не случайно оценка проекта или программы начинается с формулирования вопросов, на которые надлежит ответить.

PS Д.Куперрайдер - это тот самый создатель метода Appreciative Inquiry (позитивное исследование) и основатель Center for Appreciative Inquiry.  Оценку, основанную на позитивном исследовании, в последние годы активно развивает Тесси Катсамбас из США. Суть подхода - ориентация на достижения, сильные стороны и возможности для развития. 

четверг, 8 апреля 2021 г.

Что получают НКО, объединяясь в сеть

Неформальное объединение некоммерческих организаций в так называемую "сеть" - явление распространенное. Под сетью здесь понимается "совокупность свободных, самодостаточных и независимых участников, объединенных общими ценностями и интересами" (Jessica Lipnack and Jeffrey Stamps, Networking: People Connecting with People, Linking Ideas and Resources, 1982). 
При оценке программ и проектов довольно часто приходится сталкиваться с необходимостью оценить деятельность такой сети. На что при этом обращать внимание? 
В исследовании "Сети НКО: формирование потенциала в изменяющемся мире" (англ.) есть много полезной информации по этому поводу. В частности, авторы перечисляют выгоды, которые получают НКО от объединения в сеть: 
  • расширение доступа к информации, опыту и финансовым ресурсам;
  • повышение эффективности;
  • "мультипликативный" эффект - увеличение охвата и влияния, доступных для организаций-членов сети;
  • солидарность и взаимная поддержка;
  • возможность сделать общим достоянием как информацию о проблемах, так и опыт их решения;
  • снижение рисков,
  • преодоление изоляции,
  • повышение доверия, особенно к недавно созданным НПО.

четверг, 1 апреля 2021 г.

Евразийский Альянс

1 июня 2015 года был создан Евразийский альянс национальных ассоциаций в сфере оценки. Его цель -  профессионализация оценки в странах региона через развитие национальных объединений специалистов по оценке. В Альянс вошли национальные объединения из Армении, Казахстана, Кыргызстана, России, Таджикистана и Украины.

Альянс пришел на смену другому региональному объединению - Международной Сети "Оценка Программ" (International Program Evaluation Network / IPEN), которая успешно работала с 2000 по 2015 гг. За это время IPEN совместно с многочисленными партнерами провела 15 международных конференций по оценке и 3 Школы оценки, а также осуществила целый ряд проектов, о которых подробнее можно прочесть здесь. Причина завершения работы IPEN - довольно необычная: по мнению Попечительского Совета, Сеть выполнила свою задачу. В письме о завершении деятельности Сети говорится: "По мере роста потенциала оценки в нашем регионе инициатива по развитию оценки перешла с регионального на национальный уровень, и «центров активности» стало много. С учетом того, что развитие оценки программ в регионе приняло устойчивый характер, а в странах региона появились новые лидеры, которые развивают региональное сотрудничество в сфере оценки в новом формате, Попечительский Совет Международной сети «Оценка программ» пришел к выводу, что Сеть успешно выполнила свою задачу и может завершить свою деятельность."

Таким образом, инициатива по развитию регионального сотрудничества в сфере оценки перешла к лидерам национальных ассоциаций. На сайте Евразийского Альянса говорится: "Учредители альянса убеждены в том, что национальные ассоциации призваны сыграть важную роль в развитии потенциала оценки в странах региона. Объединение ассоциаций позволяет им более эффективно обмениваться опытом, осуществлять совместные проекты, оказывать взаимную поддержку в решении возникающих вопросов. Главным приоритетом деятельности альянса является укрепление и повышение устойчивости национальных объединений. Альянс открыт для вступления национальных ассоциаций в сфере оценки всех стран евразийского региона. Членами альянса могут быть как официально зарегистрированные организации, так и неформальные объединения специалистов по оценке." 

Альянс реализовал несколько инициатив, в числе которых: 
  • Школа лидеров национальный ассоциаций в сфере оценки, где руководители и члены правлений национальных ассоциаций обменивались опытом и учились друг у друга. (проведена в Алматы, поддержана международной программой EvalPartners). Материалы Школы доступны здесь.
  • Проект, направленный на изучение потенциала и развитие взаимодействия между профессиональными объединениями и университетами. Включал конференцию в Ереване, куда собрались представители всех 6 ассоциаций-членов Альянса и представители университетов, с которыми они развивали отношения (поддержан международной программой EvalPartners). Информация о первом дне и о втором дне встречи в Ереване .
  • Создание онлайнового курса по оценке социальных проектов силами представителей всех 6 ассоциаций-участниц Альянса (создан при поддержке Ассоциации развития гражданского общества, Казахстан на платформе WEB-Академия НКО). 
Руководство деятельностью Альянса осуществляется Координационным советом, в который входят по два представителя от каждой ассоциации. В планах на этот год - Региональный виртуальный Форум по оценке и Международная школа лидеров национальных ассоциаций (в сотрудничестве с Международной организацией сотрудничества в области оценки).

четверг, 25 марта 2021 г.

Бегущие впереди паровоза

В 1964 году американский социолог Гарольд Виленски опубликовал результаты исследования, в котором на основе изучения истории развития 18 видов трудовой деятельности (в США) была предложена универсальная модель "профессионализации" - превращения некоторого вида деятельности в профессию [Wilensky, H. L. (1964) The professionalization of everyone? American Journal of Sociology, 70(2), 137-158]. 

Модель Виленски включает 5 этапов развития профессии.

  1. Полная занятость. На ранней стадии развития профессии не предполагают полной занятости. Люди посвящают им лишь часть своего рабочего времени. Появление тех, кто 100% своего рабочего времени тратит на тот или иной вид деятельности знаменует первый шаг на пути превращения этого вида деятельности в профессию.
  2. Профильное обучение/образование. Естественным следствием полной занятости является потребность в специализированной подготовке. Появляются соответствующие курсы и "школы". Профильное обучение настоятельно рекомендуется.
  3. Формирование профессиональной ассоциации. Первые выпускники соответствующих курсов и те, кто продвигает идею обязательного обучения, формируют профессиональную ассоциацию. 
  4. Признание профессии на законодательном уровне. Принимаются законодательные акты, которые закрепляют наименование и требования к специалистам. В отдельных случаях (например, в медицине)  могут быть приняты нормы, которые квалифицируют как преступление занятие определенным видом деятельности без должной подготовки.
  5. Кодекс профессиональной этики. Формируются правила, гарантирующие защиту клиентов, противодействующие внутренней конкуренции и исключающие неквалифицированное выполнение работ. 

Примерно в то же время, когда Виленски занимался изучением закономерностей развития профессий, другой американский исследователь Эверетт Роджерс написал книгу "Диффузия инноваций" [Rogers, E. (1962). Diffusion of innovations. New York: Free Press.]. В ней он, в частности, обратил внимание на то, что инновации (например, новые продукты) принимаются не сразу. Он даже предложил классификацию людей по степени их готовности к принятию нововведений:

  • Новаторы – люди, стремящиеся к новизне, склонные к риску; они являются «проводниками» инноваций в обществе (их совсем немного).
  • Ранние последователи – люди, склонные к принятию инноваций, но более осторожные, чем новаторы; они начинают использовать новинки тогда, когда увидят, что ими пользуются новаторы или какие-либо известные люди (их больше, чем новаторов, но тоже не очень много).
  • Раннее большинство – люди достаточно консервативные, они начинают пользоваться новинками уже тогда, когда довольно большое количество людей их освоило. Но когда раннее большинство приняло инновацию – можно считать, что она внедрена в сознание людей.
  • Позднее большинство – привлечение этой части населения фактически означает, что новинка перестала быть таковой и стала продуктом массового потребления. В это время новаторы уже начинают использовать более новые продукты.
  • Отстающие – наиболее консервативная часть населения, люди, упорно продолжающие использовать те продукты и подходы, к которым привыкли.

Оценку проектов и программ, конечно же, можно считать инновацией для нашей страны. У нас и проектный подход относительно недавно получил по-настоящему широкое распространение. Мы видим, что пока совсем небольшое число людей вовлечено в оценку. Когда 20 лет назад у нас только начиналось движение по развитию оценки, это точно были сплошные "новаторы" (по Роджерсу). Сейчас к ним потихоньку  присоединяются "ранние последователи". Однако мы наверняка можем констатировать, что количество специалистов по оценке, работающих на условиях полной занятости, в нашей стране пока совсем незначительно и "школы", которая бы готовила профессионалов в сфере оценки у нас тоже пока нет. Поэтому, если вернуться к модели Виленски, можно сказать, что профессиональная ассоциация у нас была создана с некоторым опережением по отношению к уровню развития профессии. Этим, в частности, можно объяснить ряд сложностей, с которыми сталкивается АСОПП (Ассоциация специалистов по оценке программ и политик), и особенностей ее развития. 
У наших англоязычных коллег это называется "поставить телегу впереди лошади" ("put the cart before the horse"). По-русски это звучит как "бежать впереди паровоза". Думаю, эта метафора достаточно точно характеризует положение дел с нашим профессиональным объединением. Справедливости ради замечу, что она подходит и для коллег из соседних стран, где также есть ассоциации специалистов по оценке, и для десятков национальных ассоциаций по оценке в дальнем зарубежье. Не вижу в беге впереди паровоза ничего плохого. Сам участвую в нем более 20 лет :) Надо только четко осознавать, каким именно "видом спорта" мы занимаемся - без иллюзий. Забег продолжается! 

понедельник, 22 марта 2021 г.

"Сообщества практиков" как организационная форма и объект оценки

Многие проекты и программы предполагают формирование новых либо развитие существующих сообществ. Соответственно, при оценке таких инициатив возникает необходимость вынести обоснованное суждение о том, насколько это удалось. 

Сообщество практиков (community of practice) - это особая организационная форма, которая отличается от рабочих групп, проектных команд и неформальных сетей. Как видно из приведенной ниже таблицы (источник: Communities of Practice: The Organizational Frontier, перевод мой), основой для объединения людей в сообщества практиков является их страстная приверженность некоторой сфере деятельности и идентификация с групповой экспертизой. 


А вот один из вариантов принципов, на основании которых следует развивать сообщества практиков (источник: Cultivating Communities of Practice, перевод мой): 
  1. Эволюционное развитие. Такие сообщества должны развиваться естественным эволюционным путем.
  2. Открытый диалог с учетом внутренних и внешних перспектив. Сообщество не замыкается в себе, принимая во внимание происходящие вовне процессы.
  3. Различные уровни участия. Здесь особо отмечается большое значение т.н. "периферийных" участников сообщества, которые могут не проявлять особой активности. 
  4. Создавать возможности для приватного и открытого общения.
  5. Фокусироваться на ценностях. 
  6. Сочетание хорошо знакомого и непривычного в деятельности сообщества. 
  7. Создание ритма сообщества. Имеются в виду регулярные мероприятия. 
Во многих крупных организациях внутренние сообщества практиков сегодня развиваются весьма активно как способ интенсификации обмена знаниями и профессионального развития сотрудников. Спрос на модераторов развития сообществ практиков тоже растет (здесь свежий пример из деятельности ООН). 

четверг, 18 марта 2021 г.

Профессионализация оценки


Те, кто заглядывал на сайт Ассоциации специалистов по оценке программ и политик, могли обратить внимание на то, как сформулирована миссия Ассоциации: "Развитие и продвижение оценки программ и политик как профессии в России"
Появлению такой формулировки предшествовали многочисленные обсуждения, в том числе, с нашими зарубежными коллегами. Некоторые результаты этих обсуждений были опубликованы. Можно посмотреть, например главу "Профессионализация оценки", написанную специально для нашей книги Жаном Кенелом из Канады (стр.326) или написанную мной главу "На пути к профессионализации: создание объединений специалистов по оценке программ" (в той же книге, стр. 332). 

Важным дополнением к формулировке миссии АСОПП являются характеристики зрелости профессии (предлагаемые АСОПП): 

  1. Постоянно развивающееся уникальное содержание
  2. Возможность сделать карьеру
  3. Потребность в специалистах
  4. Образовательные программы разного уровня
  5. Программы краткосрочного обучения
  6. Сильная профессиональная ассоциация
  7. Принципы профессиональной деятельности
  8. Выраженная ориентация на общественное благо

Эти восемь характеристик являются универсальными критериями, по которым можно судить о степени зрелости любой профессии, включая оценку. В то же время они в значительной мере определяют долгосрочные приоритеты для ассоциации, которая стремится развивать определенную профессию. В частности, АСОПП более года потратила на разработку и обсуждение Принципов оценки программ. Позже была проведена большая работа по подготовке профессионального стандарта для специалиста по оценке программ и политик в социальной сфере. К сожалению, оказалось, что призыв создавать профстандарты не относился к представителям такого рода профессий. Наши коллеги - консультанты по управлению и специалисты по работе с персоналом продвинулись гораздо дальше, но зарегистрировать свои  профстандарты тоже не смогли. Тем не менее, остались материалы, которые могут еще пригодиться: обзорное сообщение о разработке профстандарта на конференции АСОПП, обоснование необходимости разработки профстандарта, макет профстандарта и даже проект функциональной карты специалиста по оценке программ и политик в социальной сфере. Хронология работы над стандартом здесь.

четверг, 11 марта 2021 г.

Еще раз о социальном проектировании и немного об оценке

Агентство социальной информации опубликовало очередную (14-ю !) главу "Путеводителя для НКО". Называется глава "Социальное проектирование". В этой главе составители сборника попросили меня написать о социальном проектировании и немного об оценке проектов. Основные вопросы, на которые даются краткие ответы в главе 14: 

  • Что такое социальный проект?
  • Каковы стадии жизненного цикла проекта? 
  • Как определить цель социального проекта? 
  • Для чего нужно определять стратегическую цель или «миссию» социального проекта?
  • Какая «теория изменений» лежит в основе вашего проекта? 
  • Как составить план реализации проекта?
  • Сколько вам потребуется денег? 
  • Зачем нужны показатели и как их разработать?
  • Как определить факторы риска? 
  • Можно ли менять замысел проекта и план его реализации по ходу проекта?
  • Что такое оценка проекта?  Когда и для чего ее проводят?
  • Как должно выглядеть описание вашего проекта? 

вторник, 23 февраля 2021 г.

Оценка, ориентированная на принципы (Principles Focused Evaluation)

Такой подход к оценке предложил Майкл Пэттон (Michael Quinn Patton). 

На основании принципов мы принимаем значимые решения. Мы руководствуемся принципами в ситуациях выбора. Принципы формируются на основании опыта, экспертизы и ценностей. Принципы непосредственно связаны с ценностями: они позволяют трансформировать ценности в действия. В оценке, ориентированной на принципы, последние становятся объектом оценки.

Хороший принцип должен быть направляющим, полезным, воодушевляющим, адаптивным и оцениваемым. 

Вопросы, на которые надлежит ответить по результатам такой оценки:

  1. Каковы базовые принципы программы? В случае, когда принципы в явном виде не сформулированы, начинать оценку следует с формулирования принципов.
  2. Являются ли принципы ясными, значимыми и действенными?
  3. Соблюдаются ли принципы на практике?
  4. Корректировались ли принципы с учетом внешних обстоятельств? 
  5. Если да, то как? Какой это имело эффект?
  6. Приводит ли следование принципам к желаемым результатам?

вторник, 9 февраля 2021 г.

Активы-Потенциал-Доверие


На сайте КАФ опубликован отчет об оценке роли фондов местных сообществ (ФМС) в развитии местной филантропии. Интерес представляют не только результаты оценки, но и использованная для проведения оценки модель ACT (Assets-Capacity-Trust – «Активы-Потенциал-Доверие»), разработанная Глобальным фондом поддержки ФМС. Авторы публикации - Барри Найт (CENTRIS, Великобритания) и Лариса Аврорина (КАФ, Россия).