Блог "Оценка программ и проектов" в 2021 году

Завершая год, хотел бы обратиться к моим уважаемым читателям. Спасибо, что заглядываете, читаете, комментируете! Поздравляю вас с наступающими Новым Годом и Рождеством! Желаю всего самого доброго! Берегите себя и своих близких! Надеюсь на онлайновые и офлайновые встречи в следующем году. Планирую возобновить публикации сразу после праздников.

Веду блог с 2008 года. В 2012 переехал с Livejournal на Blogspot. В этом году старался делать регулярные публикации раз в неделю (чаще всего, по средам). Всего получилось 48 сообщений, то есть в среднем как раз 4 публикации в месяц. 

Больше всего просмотров набрали следующие 5 публикаций этого года: 

1. "Сообщества практиков" как организационная форма и объект оценки
2. Сложная тема
3. Оценка с учетом стоимости
4. Бегущие впереди паровоза
5. Оценка стратегии НКО

Две публикации из топ-5 оказались про оценку стратегии НКО (№№2 и 5). Как думаете, почему?

Все, о чем я пишу в блоге, непосредственно связано с профессиональной деятельностью. Темы публикаций возникают в связи обсуждениями на семинарах, которые мы проводим; в связи с  выступлениями на конференциях; в связи с задачами, которые приходится решать в процессе проведения оценок; в связи с развитием оценки в нашей стране. Своего рода "зеркало" моей работы. Оказалось очень полезно: дисциплинирует, остаются следы того, о чем думал, что было важным. Все хорошо упорядочено, есть ссылки, легко искать по ярлыкам, названиям публикаций, ключевым словам. А еще можно скачать всё в PDF формате, чтобы иметь офлайн доступ ко всем публикациям.

Презентация для лифта PROОЦЕНКУ

Википедия поясняет, что "презентация для лифта" (или речь для лифта) (англ. Elevator Pitch или Elevator Speech) — это короткий рассказ о концепции продукта, проекта или сервиса. Термин отражает ограниченность по времени — длина презентации должна быть такой, чтобы она могла быть полностью рассказана за время поездки на лифте, то есть одну - две минуты".

Как сделать "презентацию для лифта" об оценке программ и проектов? Как рассказать неподготовленному человеку о том, что такое оценка и почему она важна? Пусть даже дело происходит не в лифте и время не ограничивается 1-2 минутами. 

Мне приходилось делать это много раз и, честно говоря, с переменным успехом :)  Например, интересно объяснять это офицеру на паспортном контроле при пересечении границы другой страны. Диалог примерно такой: 

Офицер: Цель Вашего визита?

Я: Бизнес.

Офицер: Какой бизнес? 

Я: Участие в конференции.

Офицер: Что за конференция?

Я: По оценке (evaluation). 

Офицер: А что такое оценка? 

Здесь возникает пауза, потому что я начинаю лихорадочно думать о том, какое из известных мне определений сказать. Или, может, несколько определений предложить? Но тогда придется немного углубиться в обсуждение отличий между этими определениями. И еще: надо ли говорить офицеру, что пока нет консенсуса относительно определения, что есть разные школы  оценки. С учетом большой очереди позади меня в то же окошко...

Умение хорошо рассказать об оценке, конечно же, очень важно для всех, кто стремится оценку развивать и продвигать. Возможно, даже нужны разные подходы для рассказа представителям разных целевых групп - НКО, представителям госструктур, студентам университета, журналистам. Это тема возникла на заключительной встрече участников проекта "Ступени эффективности", реализованного новосибирским ИНА-Центром при поддержке Фонда президентских грантов. Мы решили вынести ее на обсуждение на следующем заседании клуба PROОЦЕНКУ, которое пройдет онлайн во второй четверг (13) января 2022 года с 11 до 12.30 мск. Приглашение будет размещено в группе "Проектирование и оценка в социальной сфере" сразу после новогодних праздников. Пока можно просто в ежедневник время записать.

Алексей Кудрин: "Проверять нужно не только расходы"

В ноябре президент РФ Владимир Путин внес в Госдуму проект поправок в закон о Счетной палате. Законопроект, в частности, регламентирует применение стратегического аудита для оценки рисков и результатов достижения стратегических целей социально-экономического развития и обеспечения безопасности РФ.

На сайте Счетной Палаты РФ информация о выступлении Алексея Кудрина на заседании Комитета Госдумы по контролю 16 декабря 2021 года. «Стратегический аудит – «столбовая дорога» всего мирового аудита, – отметил Алексей Кудрин, – Проверять нужно не только расходы. Часто от Счетной палаты ждут проверки того, что и на что потрачено, целевым ли образом, не нарушены ли контракты и достигнута ли конечная цель. Но мир пошел дальше. Мир оценивает результаты деятельности государственных органов власти: министерств и ведомств, – выполнения государственных программ, государственных стратегий. Оценивается достижение целей, которые ставятся перед исполнительной властью, механизмы достижения целей. И государственный аудит, который находится под Парламентом, вправе профессионально оценить, насколько конечная цель, стоящая перед правительственными органами, исполняется».

Законопроект, внесенный в Госдуму, также вводит новый вид аудита – аудит соответствия. Это как раз связано с расширением содержания деятельности аудиторов, о котором сказано выше. Очень важные изменения.

Узбекистан внедряет бюджетирование, ориентированное на результат

Информационно-аналитический портал REVIEW.UZ журнала "Экономическое обозрение" опубликовал вчера статью "Программное бюджетирование". Материал подготовлен специалистом Института бюджетно-налоговых исследований при Министерстве финансов Узбекистана Бунёджоном Кобиловом. Автор приводит краткий обзор зарубежного опыта бюджетирования, ориентированного на результат (Южная Корея, Франция и Казахстан), и обсуждает перспективы использования этого подхода в Узбекистане .

Вот преамбула к статье: "Внедрение в республике новой системы формирования годового бюджета — "бюджета, ориентированного на результат", — является одной из важнейших целей "Стратегии совершенствования системы управления государственными финансами Республики Узбекистан на 2020-2024 годы", предусматривающей внедрение системы целевого планирования с определением индикаторов эффективности бюджетных расходов всех министерств и ведомств при формировании проекта Государственного бюджета на 2022 год".

Полагаю, можно прогнозировать повышение интереса к сфере оценки программ в Узбекистане в ближайшее время. В первую очередь, речь, конечно, пойдет об индикаторах. Затем наверняка проявятся ограничения индикаторной оценки, и встанет вопрос о других подходах. Возможно, коллеги в Узбекистане, обратятся и к опыту Южной Кореи, где, как следует из упомянутой выше статьи, внедрены "самооценивание бюджетных программ" (2005) и "углубленная оценка бюджетных программ" (2006).

Система МиО в НКО

На следующей неделе пройдет очередное онлайновое заседание клуба PROОЦЕНКУ, которое будет посвящено системам мониторинга и оценки в НКО. Объявление о заседании в ФБ-группе "Проектирование и оценка в социальной сфере". Регистрация участников здесь. Думаю, будет интересно. К большому сожалению, не смогу присоединиться в этот раз. 

Вообще появление систем свидетельствует о важном этапе в развитии организации - о развитии т.н. "формальной" организации, об отделении собственно организации от людей, которые в ней работают. НКО часто начинают свою деятельность как совсем небольшие группы энтузиастов (или даже отдельные люди), движимые желанием изменить мир к лучшему. Поэтому на первых порах абсолютным приоритетом является содержательная деятельность, а решение организационных вопросов происходит по мере их поступления. Но по мере усложнения деятельности, накопления опыта, увеличения числа сотрудников возникает необходимость введения неких внутренних правил, чтобы все работало как надо. Организационная система – это формализованное описание того, как сотрудникам организации следует действовать в значимых повторяющихся ситуациях. Хорошие системы основаны на успешном опыте, отделены от людей и постоянно совершенствуются. 

Один из самых интересных для меня вопросов в повестке следующего заседания клуба PROОЦЕНКУ: "Как понять, что пришло время для формирования системы МиО в вашей организации?". Система мониторинга и оценки (МиО) позволяет отслеживать ход и результаты деятельности организации. Система МиО своевременно предоставляет руководителям и специалистам организации информацию, необходимую для принятия решений. Но создание системы и поддержание ее работы требуют времени и ресурсов, которых у НКО всегда не хватает. Поэтому вопрос о том, пора создавать систему или можно повременить с этим - отнюдь не праздный. Посмотрим, что скажут участники клуба...

Оценка внедрения инноваций

Мgогие проекты и программы бывают связаны с внедрением нововведений. Легкость внедрения нововведения зависит от многих факторов, включая свойства самой инновации. На это, в частности, обратил внимание Эверетт Роджерс в книге "Диффузия инноваций" (написана 60 лет назад!). Он выделил 5 характеристик нововведения, которые влияют на процесс его внедрения: 

1. Преимущество новой идеи перед тем, что было раньше.
2. Совместимость новой идеи с существующими ценностями, прошлым опытом и сегодняшними потребностями.
3. Легкость понимания нововведения. 
4. Возможность опробовать нововведение – внедрить временно, для апробации. 
5. Возможность наблюдать со стороны за результатами внедрения. 

Соответственно, ход внедрения можно оценивать с учетом этих характеристик. Они, в числе прочего, помогут понять причины успехов либо трудностей. Для многих социальных инноваций, как мне кажется, проблематична апробация (пробное или временное внедрение - п.4). 

Актуальность концепции Роджерса (естественно, она не ограничивается вышеприведенными пятью характеристиками) для социальных инноваций - тема интересная и заслуживающая отдельного обсуждения. Три статьи для примера: 

• Hains, Bryan & Hains, & Hains, Kristina. (2020). Community Reaction towards Social Innovation: A Discussion of Rogers’ Diffusion of Innovations Theory in Consideration of Community Emotional Response. Journal of International Agricultural and Extension Education. 27. 34-46. 10.5191/jiaee.2020.27103. 
• Schuster, J. and N. Kolleck (2020). "The Global Diffusion of Social Innovations – An Analysis of Twitter Communication Networks Related to Inclusive Education." Frontiers in Education 5(193).
• Сурнина Т.В. Социально-педагогические возможности диффузии инноваций в системе социальных служб // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 7, №3 (2015) http://naukovedenie.ru/PDF/187PVN315.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ. DOI: 10.15862/187PVN315

Профессионализация оценки - видео

АСОПП разместила в сети видео с недавней конференции, на котором есть запись презентации "Профессионализация оценки". Сама презентация (PDF) здесь. Продолжительность моего выступления - 40 минут (со 2-й по 42-ю). 

Моделирование и оценка

Этой теме будет посвящено очередное заседание клуба PROОЦЕНКУ, которое пройдет онлайн в четверг 11 ноября с 11 до 12.30 мск. Официальное объявление о заседании будет опубликовано сразу после длинных выходных 8 ноября. 

Разговор пойдет о различных видах моделей, относящихся к объекту оценки, - проекту, программе или деятельности организации в целом. К таким моделям относятся, в частности, логическая рамка (logical framework), логическая модель (logic model), карта результатов (outcomes map), теория изменений (theory of change), теория программы (program theory), теория филантропии (theory of philanthropy), теория фонда (theory of the foundation), системные диаграммы (system diagram). О последних я недавно писал (см. ссылку). 

Сегодня хотел бы особо отметить циклические модели, в которых учитывается нелинейность процессов, происходящих в реальной жизни. Такие модели не только позволяют точнее представить оцениваемую деятельность, но и посмотреть, как развиваются процессы в динамике. При оценке программ и проектов такие модели применяются не очень часто. Приглашаю посмотреть простой пример такой модели. Там представлена т.н. "усиливающая петля" (см рисунок): и позитивные, и негативные тренды в данном случае усиливаются. Для того, чтобы запустить процесс, надо нажать PLAY, а затем выбрать точку, с которой вы хотите начать, и кликнуть по стрелке вверх или вниз, чтобы обозначить тенденцию. Например, если вы решите начать с моего настроения и кликните стрелку вверх, это будет означать улучшение моего настроения. И, наоборот, если вы кликните стрелку вниз, вы увидите, что произойдет при ухудшении моего настроения.

Первое очное заседание клуба PROоценку

17 октября в Москве в рамках семинара по проекту "Ступени эффективности" ИнаЦентра (Новосибирск) мы впервые провели 1,5-часовое очное заседание клуба PROоценку. По понятным причинам в заседании участвовали те, кто был на семинаре, и организаторы проекта :)  Другими словами, одну из сессий мы провели в формате клуба. 

Тема заседания - "Система оценки в инфраструктурной НКО". Такая тема полностью соответствовала замыслу семинара и интересам участников, которые как раз и представляли инфраструктурные НКО - универсальные и специализированные ресурсные центры из разных регионов России. 

Основные вопросы, которые мы обсудили:

• Насколько универсальна «универсальная» модель инфраструктурной НКО? Каковы ее преимущества? Какие существуют ограничения для ее использования при оценке инфраструктурных НКО? 
• Как можно использовать в оценке универсальные модели для отдельных направлений деятельности инфраструктурной НКО? Требуют ли они доработки? Какие есть риски? 
• Есть ли смысл создавать библиотеки показателей для инфраструктурных НКО?

Модель деятельности, которая упоминается в первом вопросе (см. рисунок справа), основана на опыте Сибирского центра поддержки общественных инициатив (Новосибирск) и нескольких других ведущих Центров общественного развития России. Модели для отдельных направлений деятельности инфраструктурной НКО (см. вопрос №2) были разработаны в ходе проекта "Ступени эффективности" совместно с участниками проекта. 

Разговор получился живой и очень интересный. "Универсальная" модель определенно подходит не всем, если считать, что каждая инфраструктурная организация должна заниматься всеми направлениями. В частности, многие отметили, что они пока не планируют заниматься инновациями как отдельным направлением. Другой  вопрос, по которому возникли разногласия касался позиции, которую должен занимать ресурсный центр по отношению к НКО-благополучателям. Следует ли инфраструктурной организации брать на себя мотивирование НКО, побуждать их к определенным действиям или достаточно обучить их, а дальше работать с теми, кто проявит инициативу? 

Очный формат проведения клуба всем понравился. Многие из участников мероприятия побывали ранее на онлайновых заседаниях, так что им было, с чем сравнивать. Будем и дальше по возможности проводить очные заседания клуба. Следующее онлайновое заседание - 11 ноября. Тема будет объявлена в ближайшее время.

Профессионализация оценки

Непростая и интересная тема. Вчера обсудили на конференции АСОПП-2021. Моя презентация здесь. Хотел бы обратить внимание интересующихся данной темой на 2 момента. Во-первых, на последний слайд презентации. Там много вопросов, о которых стоит подумать в связи с профессионализацией оценки. Во-вторых, на то, что не включено в слайды. Я говорил об этом вчера в связи с публикацией Тома Швандта. Судя по всему, профессионализация может происходить по-разному в разных контекстах. Модель Виленски, которую можно видеть как иллюстрацию к этому посту, предполагает формирование саморегулируемого профессионального сообщества, обладающего своего рода монополией в профессиональной сфере. Швандт указывает на то, что, например, в скандинавских странах, где оценка успешно развивается, подавляющее большинство специалистов по оценке работает в государственных структурах. Это ситуация, которая, модели Виленски не вполне соответствует. Добавлю, что надо еще учитывать разный уровень развития профессии в разных странах. Очень неравномерно идет развитие оценки. Это объяснимо и нормально. Но - вне всякого сомнения - стратегия профессионализации должна формироваться с учетом контекста.

Выступление Майкла Пэттона

Вчера вечером в рамках конференции АСОПП-2021 выступил Майкл Пэттон, который рассказал об опыте синтеза независимых диалогов Саммита по продовольственным системам. Об этой работе я писал ранее. Там же есть ссылка на русскоязычный отчет. Вчерашняя презентация Майкла здесь.

Конференция АСОПП-2021

Очередная конференция Ассоциации специалистов по оценке программ и политик (АСОПП) пройдет 19-21 октября в онлайн-формате. На сайте конференции можно ознакомиться с темой конференции («Оценка в меняющемся мире: партнерства и инфраструктура»), программой и выступающими. Там же можно бесплатно зарегистрироваться для участия в конференции. Считаю, программа получилась очень насыщенной и интересной. 

Отличная новость: Майкл Пэттон (Michael Quinn Patton) - признанный гуру в области оценки -  выступит с сообщением "Опыт анализа и синтеза материалов глобальных консультаций в преддверии Саммита ООН по продовольственным системам". Я писал недавно об этой уникальной работе. Выступление Пэттона запланировано на 18.00 мск 19 октября. Будет синхронный перевод на русский.

Мое выступление запланировано на 12.30 19 октября. Планирую обсудить тему профессионализации оценки. Вот некоторые вопросы, которые собираюсь затронуть: 

• Что такое "профессионализация оценки"? 
• Что означает "профессионализм" в оценке? 
• Как профессия оценщика развивается в различных контекстах (регионах, странах, культурах и т. д.)? Можно ли по-разному определять «профессионализацию» в разных контекстах?
• Можно ли прийти к международному консенсусу в отношении основных компетенций оценщика? Готовы ли различные участники, вовлеченные в развитие основных компетенций, работать вместе для достижения такого консенсуса? 
• Какова роль оценочной науки для статуса оценки как профессии, отрасли прикладной социальной науки, дисциплины и трансдисциплины?

Как это будет по-русски?

Очередное онлайновое заседание клуба PROоценку в следующий четверг будет посвящено показателям. Один из вопросов, которые мы планируем обсудить, связан с тем, как их (показатели) следует называть. Сегодня для этого широко используются еще два термина: индикаторы и метрики. Почему используются три разных термина? Можно ли считать их синонимами? Какой из терминов использовать предпочтительнее и почему? Зависит ли это от контекста? 

Очень надеюсь, что участники заседания клуба поделятся своим опытом и размышлениями на эту тему.

Для "затравки": 

1) Английское слово indicator переводится на русский язык как показатель.

2) Слово показатель, является синонимом слова метрика (см. словарь синонимов).

3) Министерство образования и науки РФ руководствуется следующими определениями: 

Показатель — количественное значение, характеризующее деятельность вуза. Как правило, выражается элементарными единицами измерения (чел, млн. рублей, штук, единиц и пр.).

Индикатор — вычисляемый элемент, формируемый на основе показателей университета. Как правило, выражается относительными единицами измерения (доли, проценты) или производными (статьи/человек, тыс. рублей/человек и пр.).

Главное - полёт

В 1968 году в СССР был снят мультфильм "Человек, который умел летать" (по мотивам одноименного рассказа Карела Чапека). Это история обычного человека, который очень захотел летать - и научился. Сам. Его заметили и пригласили на заседание специально собранного по этому случаю экспертного совета. Он разбежался и на глазах у экспертов взлетел. Те посовещались и вынесли заключение, что полет в целом нормальный, а вот техника разбега и физические кондиции у объекта экспертизы - не очень. Над этим предложили   поработать. И вот через некоторое время вновь собрался экспертный совет. Перед ним предстал атлет с идеальной техникой бега. Вот только взлететь он не смог....

Вспомнил я эту историю в связи с обсуждением вопроса о том, насколько могут быть полезны для практиков различные инструменты и технологии управления некоммерческой организацией. Например, может ли НКО успешно работать, не имея стратегии? Или можно ли НКО обойтись без оценки собственной деятельности? 

Считаю, что главное в данном случае - это полёт. Надо, чтобы НКО делала то, ради чего она создавалась. Если какие-то инструменты и технологии не кажутся органичными, не стоит тратить время на их освоение и внедрение. 

А вот когда в развитии организации возникнут сложности, и без их преодоления дальнейший полет будет затруднен, можно обратиться к уже имеющимся знаниям и опыту. Как-то раз нам написал руководитель некоммерческой организации с просьбой проанализировать построение и функционирование их системы мониторинга и оценки. Естественно, мы поинтересовались, с чем связан такой запрос. Руководитель пояснил, что география их деятельности существенно расширилась, и они стали терять контроль за происходящим. Старая система не позволяла оперативно получать информацию по ключевым для организации вопросам, что стало критичным. 

Интересный документ

На днях неожиданно пришло письмо от Майкла Пэттона (Michael Patton), в котором он сообщил, что "наконец-то подготовил отчет на русском языке". Понятно, что русского языка он не знает, потому я с интересом перешел по ссылке, где действительно обнаружил русскую версию отчета под названием "Синтез независимых диалогов Саммита по продовольственным системам". Отчет подготовлен BLUE MARBLE EVALUATION (Майкл является основателем этой компании).

Идея состояла в том, чтобы провести диалоги в разных странах для поиска ответов на следующие вопросы: 

• Какие преобразования продовольственных систем являются необходимыми и ожидаемыми (для достижения Целей в области устойчивого развития)?
• Кто должен участвовать в преобразовании продовольственных систем?
• Как проводить преобразование продовольственных систем?
• Какие факторы успеха являются ключевыми для достижения результатов?

Масштабы мероприятия впечатляют. Было проведено 447 диалогов, в которых приняло участие более 41000 человек. В упомянутом выше документе предлагается краткое описание результатов всего этого. Было бы, конечно, очень интересно понять, как удалось обработать такой массив качественных данных. 

В отчете даже предложена "теория преобразования" (см. ниже). Вероятно, в оригинале было "theory of transformation".

Патриция Роджерс уходит из BetterEvaluation

Перед тем, как написать сегодняшний пост, посмотрел, сколько раз я упоминал в блоге портал BetterEvaluation. Оказалось, 5 раз (2013, 2016, 2019 и 2020)! Сегодня - шестой. Но этот интернет-ресурс того стоит. Повод упомянуть о нем сегодня - уход основателя проекта и его бессменного руководителя Патриции Роджерс (Patricia Rogers), с поста исполнительного директора BetterEvaluation. По случаю своего ухода Патриция написала небольшую статью. Хотел бы здесь привести пару цитат из неё. Отмечу, что профессор Роджерс входит в когорту мировых лидеров в сфере оценки. Её вклад в развитие оценки как дисциплины и профессии сложно переоценить. Теперь у нее будет больше времени, чтобы вплотную заняться вопросами методологии и теории оценки.

Итак, две цитаты...

• О причинах создания сайта BetterEvaluation: "... Было очевидно, что многие из уроков, извлеченных из опыта проведения оценки, например, риски вынесения оценочных суждений, основанных исключительно на нескольких показателях, забывались либо оказывались неизвестны тем, кто приходил в оценку. Это приводило к повторению старых ошибок и неэффективной практике".
• О методологии оценки: "...Не существует универсального подхода к оценке. Напротив, методы, процессы и подходы должны соответствовать ситуации (особенностям объекта оценки, цели оценки), а также учитывать ограничения по времени, финансам и доступности данных".

Мониторинг и показатели

Четвертое заседание клуба PROОЦЕНКУ пройдет 9 сентября с 11.00 до 12.30 (мск) и будет посвящено мониторингу проектов. Регистрация участников здесь. 

Применительно к программам и проектам мониторинг чаще всего определяют как «систематический сбор информации о значениях заранее выбранных показателей для обеспечения руководителей программы (проекта) и других заинтересованных сторон сведениями о том, насколько успешно выполняются программа (проект) в целом и ее (его) отдельные компоненты, в какой мере достигаются поставленные цели, и как используются ресурсы». То есть использование показателей является сущностной характеристикой мониторинга. 

А теперь давайте обратимся к практике. Полагаю, всем знакомо понятие "мониторинговый визит". Чаще всего так называют посещение проектов на местах представителями организации-донора либо специально нанятыми для этого консультантами. В ходе таких визитов практически никогда не стоит задача сбора информации о значениях показателей. Основное внимание уделяется посещению мероприятий, беседам с руководителями и исполнителями проектов, общению с благополучателями. То есть "мониторинговый визит" проводится в традициях эмпирической оценки, а не индикаторной. Хотя мониторинг, вроде бы, по определению, является индикаторной оценкой. 

Значит ли это, что определение мониторинга не совсем точное, поскольку под него не подпадают "мониторинговые визиты"? Правильно ли считать, что для проведения мониторинга можно использовать и индикаторную, и эмпирическую оценку? А, может быть, мониторинг вообще можно без использования индикаторов провести? 

Чтобы последний вопрос не показался совсем уж кощунственным, сошлюсь на статью датчанина Питера Сигсгаарда (Peter Sigsgaard) "Мониторинг без индикаторов" 😃

Заходите 9-го на заседание клуба PROОЦЕНКУ - обсудим!

Системные диаграммы

Недавно опубликовано практическое пособие Боба Вильямса "Системные диаграммы" (System Diagrams). Эту публикацию можно скачать бесплатно. Пожертвования приветствуются. Я много раз упоминал Боба в этом блоге и не только. Он - очень интересный человек. В мире оценки известен как специалист, продвигающий идеи системного подхода и системного мышления. Боб говорит, что существуют тысячи (!) традиций построения диаграмм. Это даже сложно представить, честно говоря... В упомянутой выше книге - не пугайтесь - описано всего 6 подходов:

1. Насыщенное изображение (rich picturing). Полезно, когда вы пытаетесь справиться со сложностью ситуации и решить, на каких её аспектах вам следует сосредоточиться. Фрагмент такого изображения из книжки Боба Вильямса приведен выше. Компактный вариант описания этого подхода (по-английски) здесь.  
2. Диаграммы влияния. Полезны, когда вы хотите получить моментальный снимок того, что влияет на конкретную проблему в определенный момент времени. В рунете много публикаций про диаграммы влияния. Можно посмотреть, например, здесь.
3. Причинно-следственные диаграммы. Полезны, когда вы хотите изучить возможные последствия конкретных причинно-следственных связей в рамках решения определенной проблемы в течение заданного периода времени. Один из вариантов построения диаграммы в этой традиции здесь (по-русски). 
4. Кеневин (Cynefin). Диаграмма, которая помогает найти оптимальный способ поведения с учетом особенностей ситуации, с которой вы имеете дело. Подробнее по-русски здесь.
5. Модель жизнеспособной системы (VSM). Диаграмма, которая помогает оценить и гарантировать жизнеспособность целенаправленной деятельности с учетом диапазона конкурирующих требований, связанных с различными компонентами этой деятельности. Подробнее можно почитать по-русски здесь.
6. Культурно-историческая теория деятельности (Cultural Historical Activity Theory - CHAT). Диаграмма, которая выстраивается через ответы на серию вопросов о том, как люди с разной мотивацией могут работать вместе творчески и эффективно, особенно при реагировании на меняющиеся и сложные события. Основоположники этого подхода - российские ученые Выготский и Леонтьев. Здесь общая информация по-английски. А здесь - развернутое описание от Боба Вильямса. Тоже по-английски. Публикаций на русском языке много. Ссылаюсь на англоязычные публикации, которые больше ориентированы на практику. Например, в публикации Боба Вильямса вы найдете списки конкретных вопросов, которые помогут построить диаграмму в данной традиции.

JMDE

Аббревиатура расшифровывается как Journal of MultiDisciplinary Evaluation (Журнал мультидисциплинарной оценки) - один из немногих рецензируемых журналов, находящихся в открытом доступе. Это принципиальная позиция основателей данного издания во главе с Майклом Скривеном. Другая особенность журнала в том, что статьи публикуются достаточно быстро. Весь процесс занимает около 6 недель. Тогда как публикация статьи в традиционном академическом рецензируемом журнале может занять до года. 

Легко заметить, что в журнале регулярно публикуются - в числе прочих - работы ведущих мировых экспертов в сфере оценки. Состав редакционной коллегии тоже весьма авторитетный. 

Краткая информация о журнале с сайта (перевод с англ.):

"Журнал мультидисциплинарной оценки (JMDE) публикует и распространяет научные работы, которые способствуют развитию теории, методов и практики оценки.

JMDE - это журнал с полностью открытым доступом: весь контент находится в свободном доступе. Плата за подачу, публикацию или связанные с этим вопросы не взимается.

За исключением редакционных статей, рецензий на книги и «пищи для размышлений», все разделы JMDE подлежат двойному слепому рецензированию.

Авторы статей, опубликованных в JMDE, обладают всеми авторскими правами на свою работу без ограничений".

Журнал может быть интересен и как источник информации для тех, кто хочет отслеживать развитие оценки; и как издание, где можно опубликовать свою статью. Последнее касается не только публикации результатов исследований. К примеру, наша статья о развитии оценки на территории бывшего СССР (опубликована в 2007) относится, скорее, к практике оценки.

Работает ли brainstorming или размышления об оценке влияния практик с доказанной эффективностью

В конце 80-х годов прошлого века мне попалась статья об исследовании, в котором советские психологи проверяли эффективность метода "мозгового штурма" (brainstorming) как средства решения проблем. Исследователи сформировали две одинаковые по численности группы, которым была предложена одна и та же задача. В одной группе использовался "мозговой штурм", в другой - нет. Результаты работы групп оказались одинаковыми, из чего исследователи сделали вывод о том, что brainstorming не работает. Замечу, что к тому моменту метод "мозгового штурма" был признан во всем мире как эффективный и успешно использовался для решения самых разных задач. То есть, по существу, brainstorming можно было считать практикой с доказанной эффективностью. Результаты упомянутого выше исследования ставили этот тезис под сомнение. В чем же могло быть дело? 

Думаю, что следовало бы, в первую очередь, проверить корректность использования метода в ходе эксперимента. В частности, я бы обратил особое внимание на то, соблюдались ли базовые правила проведения "мозгового штурма", а также на компетентность ведущего. Мой собственный многолетний опыт, как и опыт многих моих коллег, свидетельствует о том, что если все делать правильно, метод работает. 

Вспомнил об этом вчера на заседании клуба PROОЦЕНКУ, когда мы обсуждали, следует ли оценивать влияние проектов, в которых используются практики с доказанной эффективностью. Думаю, что смысл использования практик с доказанной эффективностью как раз и состоит в том, что их влияние гарантировано. Но при условии, что сама практика используется корректно. То есть, необходимо строго контролировать правильность применения практики. Тогда её воздействие будет гарантировано, и можно его не оценивать. 

Однако не все так просто... Дело в том, что в сложных динамических системах, с которыми имеют дело все, кто реализует программы социальной направленности, результаты воздействия очень сильно зависят от контекста и от начальных условий. Это означает, что даже абсолютно корректное применение практики, эффективность которой была доказана в другом контексте либо при иных начальных условиях, может не привести к желаемым результатам. 

Следующее заседание клуба PROОЦЕНКУ пройдет онлайн 9 сентября 2021 года с 11 до 12.30 мск. Объявление о регистрации участников будет размещено в группе "Проектирование и оценка в социальной сфере" на Facebook.  

Что за история с оценкой влияния (воздействия)?

Ближайшее заседание клуба PROОЦЕНКУ (12 августа с 11.00 до 12.30 мск.) будет посвящено оценке влияния или оценке воздействия. Регистрация здесь. 

Тема заседания в этот раз такая, что вопросов может оказаться больше, чем ответов. Но  мы же живем в мирах, которые создаются нашими вопросами :) 

Первый вопрос связан с самим термином "оценка влияния" (или воздействия). По-английски он звучит как impact evaluation. Оказалось, что найти адекватный перевод не так уж легко. Но главное, конечно, смысл. А смысл состоит в том, чтобы выявить влияние программы на те изменения, которые произошли по ходу её реализации, по её окончании или даже спустя некоторое (порой значительное) время. Другими словами, оценка влияния предполагает выявление и обоснование причинно-следственной связи между программой и достигнутыми результатами. 

Почему это важно? 

Когда мы говорим о непосредственных результатах деятельности, их связь с самой деятельностью, как правило, вопросов не вызывает. Например, улучшение знаний участников семинара по теме семинара, очевидно, происходит именно в результате семинара. Другие факторы здесь наверняка также имеются, но их влияние на изменение знаний участников - по сравнению с влиянием собственно обучения - минимально. 

Когда же мы рассматриваем отсроченные эффекты обучения (результаты более высокого уровня), то все сильно усложняется. Представьте, что кто-то говорит: "Мы провели обучение сотрудников, и они стали работать совершенно по-другому!". Здесь наверняка могут возникнуть вопросы о том, в какой мере этот эффект связан именно с обучением. Причина проста: то, как человек работает, зависит от множества факторов. Обучение, как правило, не является среди них определяющим. И тут возникает новый вопрос: а стоит ли вообще вкладываться в обучение? Не является ли обучение своего рода "квази-проектом", который направлен на достижение того, что и так произойдет или на борьбу с тем, чего и так не произойдет? 

Как выделить влияние программы или проекта на фоне множества других факторов? Поговорим об этом в четверг на следующей неделе.

Оценка с учетом стоимости

Термин cost-inclusive evaluation относится ко всем подходам к оценке программ, которые так или иначе принимают во внимание денежное измерение. Брайан Т. Ейтс (Brian T Yates) из Американского университета в Вашингтоне в небольшой обзорной статье предложил компактное описание видов анализа, которые используются в оценке, учитывающей стоимость. Привожу мой вариант перевода этой таблички с небольшими сокращениями. В основном, сокращения коснулись примеров. 

Ссылка на источник: 

Yates, Brian. (2008). Cost-inclusive evaluation: A banquet of approaches for including costs, benefits, and cost-effectiveness and cost-benefit analyses in your next evaluation. Evaluation and program planning. 32. 52-4. 10.1016/j.evalprogplan.2008.08.007. 

Как мы стали заниматься оценкой

Сегодня у меня спросили, как получилось, что мы начали заниматься оценкой. Причин было несколько. 

1. К середине 90-х годов мы (Компания "Процесс Консалтинг") определяли свою специализацию как "организационное развитие" (organization development). Когда один из наших клиентов обратился к нам с запросом на проведение оценки проекта, оказалось, что это в чем-то сродни организационной диагностике, которую мы проводить умели. 
2. Когда КАФ (тогда еще CAF) решил провести один из первых в России семинаров по оценке для лидеров НКО (это тоже было в середине 90-х), пригласили двух зарубежных специалистов. Случилось так, что один из них заболел накануне отъезда, и меня попросили поассистировать Сaре дел Туфо  (Sarah del Tufo) из Великобритании. Семинар прошел хорошо. Наше профессиональное сотрудничество с Сарой продолжалось потом много лет. Дружим до сих пор. 
3. Сара помогла тогда с приобретением наших первых книжек по оценке. Среди них была "Практическая оценка" (Practical Evaluation) Майкла Пэттона. Книга произвела на меня сильное впечатление. Уникальная особенность Майкла в том, что он пишет и говорит так, что хочется сразу идти и делать :) 
4. Мы понимали, что спрос на оценку будет расти. Потребность в ней была совершенно очевидна. А нам надо было специализироваться.

 Вот такая история...

Сложная тема

Тема "Оценка стратегии", как мы и предполагали, оказалась весьма сложной. Потому после второго заседания клуба PROоценку осталось много пищи для размышлений. Поделюсь некоторыми, чтобы промежуточный итог подвести. Пойду по вопросам, которые мы обсуждали. 

Что такое оценка стратегии?

Вот наше рабочее определение, основанное на широко известном определении оценки программ, предложенном М.Пэттоном: "Оценка стратегии НКО – это систематический сбор и последующий анализ информации о стратегии НКО и её эволюции, а также о ходе и результатах её реализации, предназначенные для вынесения суждения о результативности стратегии, принятия решений о необходимости корректировки стратегии и/или для разработки новой  стратегии. Оценка стратегии НКО проводится для заранее определенных пользователей – лиц, принимающих стратегические решения и ответственных за их реализацию".

Почему об оценке стратегий пишут и говорят намного меньше, чем об оценке программ и проектов?

- Новая тема. Об оценке проектов и программ давно пишут, а об оценке стратегий недавно начали. К примеру, публикация Пэттона и Патризи "Оценка стратегии" появилась в серии "Новые направления в оценке" в 2010 году.

- Сложная тема. 

- Стратегии реализуются через проекты и программы. Стратегий значительно меньше, чем проектов и программ.

- Оценка программ и проектов во многих случаях является обязательной. Оценка стратегий - нет.

- Не у всех НКО есть стратегии. Интуитивное ощущение вектора развития есть у всех или почти у всех. А вот в виде документа стратегии есть далеко не у всех.  

В чем сходства и отличия стратегии организации как объекта оценки от программы (проекта)?

- Стратегия запланированная всегда отличается от стратегии реализованной. И всегда появляется элемент стратегии, сформированный по ходу ее выполнения (см. публикации Г.Минцберга). 

- Формат описания проекта является более-менее стандартным. Описания стратегий могут отличаться весьма существенным образом. Другими словами, когда мы идем оценивать проект, мы более-менее представляем, что увидим. Когда речь идет об оценке стратегии, заранее представить, как она будет выглядеть, проблематично.

Занимаются ли НКО оценкой своих стратегий? Если нет, то почему? Если да, то каким образом? 

- НКО занимаются, в первую очередь тем, что от них требуют. Оценку проектов требуют. Оценку стратегий - нет. Потому этим занимаются намного реже.  

- Если стратегия существует у руководителя на уровне интуиции, то и оценка производится интуитивно. Соответственно, этим словом ее не называют. 

- Чаще всего оценка стратегии оказывается встроенной в процесс стратегического управления. Например, при планировании новой стратегии, анализируют выполнение предыдущей стратегии. Поэтому зачастую оценку стратегии как особое действие не выделяют.

- См. также здесь.

На какие вопросы может дать ответ оценка стратегии? Кто, как и когда может провести оценку стратегии НКО? 

- Об этом я писал ранее здесь.

Кто, когда и как может провести оценку стратегии НКО?

- Внешний специалист или те, кто работает в организации и руководит ею.

- Оценка может проводиться на всех стадиях цикла стратегического управления: оценка ситуации, оценка стратегического плана, оценка реализации стратегии, оценка результатов выполнения стратегии.

- При проведении оценки стратегии может использоваться весь инструментарий, наработанный в оценке программ. Иногда надо будет кое-что адаптировать. 

Нужны ли особые компетенции для проведения оценки стратегии НКО?

- Да, нужны. В самом общем виде их можно описать как "знание организаций" в отличие от "знания программ и проектов". Такими компетенциями обладают руководители организаций и специалисты по организационному развитию и управлению. Это ставит их в более выгодное положение по сравнению со специалистами по оценке программ при необходимости оценить стратегию. 

Модель "5П" и оценка стратегии

Эта схема представляет т.н. модель "5P" (англ.) или "5П" (рус.) Генри Минцберга. Она скомпилирована из рисунков, приведенных в книге Б.Альстранд, Ж.Лампель, Г.Минцберг. «Стратегическое сафари. Экскурсия по дебрям стратегического менеджмента» «Альпина Диджитал», 2009. 

Минцберг предлагает рассматривать стратегию 

• как ПЛАН (руководство, ориентир или направление развития, дорогу из настоящего в будущее);
• как ПОЗИЦИЮ (где будут ожидаемые результаты, где именно мы планируем оказать влияние, что-то изменить); 
• как ПЕРСПЕКТИВУ (или как "теорию бизнеса" - как это будет работать, каким образом наши действия приведут к ожидаемым результатам);
• как ПАТТЕРН (принципы, шаблоны поведения, которые сформировались на основе нашего прошлого опыта);
• как ПРИЕМ (какой прием мы применяем для того, чтобы опередить конкурентов)

Соответственно, при оценке стратегии внимание может уделяться не только каждому из этих пяти аспектов, но и их взаимосвязям. Например, Пэттон и Патризи указывают на значимость анализа согласованности Позиции и Перспективы (Patton, M. Q., & Patrizi, P. A. (2010). Strategy as the focus for evaluation. In P. A. Patrizi & M. Q. Patton (Eds.), Evaluating strategy. New Directions for Evaluation, 128).

До второго заседания клуба PROоценку остается 4 дня. Те, кого интересует тема "Оценка стратегии НКО", могут зарегистрироваться здесь.

Оценка стратегии НКО

Второе заседание клуба PROОЦЕНКУ будет посвящено оценке стратегии НКО. Вопросы, которые планируем обсудить, непростые, и однозначных ответов на них не существует. Попытаюсь начать разговор здесь, а продолжим его уже 12 июля. 

Вопрос: почему об оценке стратегий пишут и говорят намного меньше, чем об оценке программ и проектов?

К ответу на этот вопрос: Знаете, насколько меньше? Ссылок в интернете на "strategy evaluation" в 30 раз меньше, чем на "program evaluation"!

Вопрос: Занимаются ли НКО оценкой своих стратегий? Если нет, то почему? Если да, то каким образом? 

К ответу на этот вопрос: Мне кажется, что в большинстве своём не занимаются. Причина проста: стратегии у большинства НКО не сформулированы - в отличие от описаний проектов, без которых не будет финансирования. Когда стратегия не описана, а существует - в лучшем случае - на интуитивном уровне, оценивать ее весьма затруднительно.

PS На рисунке представлена модель построения организации Дж.Р.Гелбрейта, которую автор назвал "Звезда". Почитать о ней в авторской версии (англ.) можно здесь.

Задание на оценку стратегии

Оценка начинается с постановки задачи. Основа задания на проведение оценки - вопросы, на которые нужно ответить. Какие вопросы могут быть включены в задание на проведение оценки стратегии? Вот вариант, предложенный Патрицией Патризи. Она исходит из того, что (а) оценка может осуществляться на разных стадиях жизненного цикла стратегии и (б) запланированная стратегия практически никогда не реализуется в полном объеме и корректируется по ходу. 

Внешнее царство хаоса

Публикация в этом блоге заметки о модели Кеневин (Cynefin) вызвала достаточно большой интерес. Сегодня я хотел бы поделиться другой моделью, которая, насколько мне известно, пока не публиковалась на русском языке. В том виде, как я ее здесь представляю, эта модель опубликована в замечательной книжке Майкла Пэттона об адаптивной оценке (Patton, M. Q. (2010). Developmental evaluation: applying complexity concepts to enhance innovation and use. New York: Guilford Press, p.94). Заголовок этой диаграммы, предложенный автором, - "Внешнее царство хаоса". 

Хаос здесь определяется как ситуация высшей степени неопределенности относительно того, что следует делать для достижения желаемых результатов. Хаос вызывает стресс, а естественной реакцией на него является избегание. 

Простая ситуация - в противоположность хаосу - характеризуется высокой степенью согласованности ее понимания между участниками и высокой степенью определенности (предсказуемости) с технической точки зрения. В такой ситуации надо разработать план и строго следовать ему, чтобы все получилось.

В ситуации с высокой степенью определенности в техническом плане, но низким уровнем согласованности между участниками, главной задачей становится выстраивание отношений и достижение договоренностей. Такую ситуацию автор относит к сложным в социальном плане. 

В ситуации с низкой степенью определенности в техническом плане, но высоким уровнем согласованности между участниками (которые являются экспертами в данной предметной области), основным ресурсом оказывается именно техническая экспертиза, а экспериментирование - способом разобраться в том, как что работает. Такие ситуации отнесены автором к технически сложным.

Наконец, т.н. динамические ситуации сложны и в социальном, и в техническом планах. Автор отмечает, что граница между зоной, обозначенной как "динамическая", и хаосом - условная. Это утверждение справедливо и в отношении всех остальных границ.

Возможно, вам будет интересно сопоставить эту модель с моделью Кеневин. 

Еще раз об оценке потребностей в обучении

Готовимся к первому заседанию клуба PROОЦЕНКУ. Одна из тем, которые хотели бы обсудить - оценка потребностей в обучении. Здесь все не так просто, как может показаться на первый взгляд. Дело в том, что само существование "потребностей в обучении" можно поставить под сомнение. Потребности заключаются в чем-то другом, а обучение является одним из способов их удовлетворения. Например, организация нуждается в повышении качества обслуживания клиентов. Один из путей - обучение сотрудников. При этом ни у организации, ни у сотрудников потребности в обучении как таковом нет. Есть потребность в повышении качества работы с клиентами. Когда мы говорим об оценке "потребностей в обучении", происходит своего рода навязывание заранее  определенного решения. Не будет ли правильнее оценивать потребности (человека или организации), а уж потом решать, в какой мере обучение может способствовать их удовлетворению?...

Более подробная информация о первом заседании клуба PROОЦЕНКУ и регистрация здесь. Заседание пройдет в пятницу 11 июня с 11 до 12.30 мск. Тема: "Оценка обучения". Участие бесплатное. 

Старый конь борозды не портит

Вчера прошло очередное мероприятие, организованное движением EvalYouth, которое объединяет молодых и начинающих оценщиков. Для молодых и начинающих есть аббревиатура, которую в мире уже хорошо знают - YEE (young and emerging evaluators). Поскольку я к данной категории не отношусь, решил придумать аббревиатуру для тех, кто не молод и уже давно работает. Вариант ORE (Old and Retiring Evaluators - старые и выходящие на пенсию оценщики) забраковал как несколько депрессивный :) Потом нашел подходящие слова - немолодые и бывалые (как оппозиция молодым и начинающим). И вдруг оказалось, что сокращенно это получается USE (польза)! То есть из серии "старый конь борозды не портит" и т.д. Считаю, отлично получилось. Надо подумать о создании глобального движения :)  На картинке надписи по-английски, чтобы единомышленников найти.

На встрече вчера мы вместе с Татьяной Третьяковой (Кыргызстан) и Ольгой Красовской (Украина) отвечали на вопросы, подготовленные организаторами с учетом интересов YEE. Вопросы были весьма серьезные. На ответ давали всего 5 минут. 

Вот какие вопросы мне достались:

• Как мне стать профессиональным специалистом по оценке?
• Как мне стать независимым консультантом?
• Нужна ли мне степень (предлагаемая университетом) в области мониторинга и оценки, чтобы меня считали специалистом по оценке?
• Должен ли я специализироваться на конкретном (секторе/методе) или быть универсальным специалистом?

Видеозапись ответов и презентации организаторы мероприятия обещали разместить в открытом доступе. Как только они это сделают, сообщу. 

Здесь приведу тезисы моего ответа только на последний вопрос насчет специализации: 

• Зависит от места Вашей работы, характера Вашей деятельности и перспективы профессионального развития как Вы ее видите.
• Узкая специализация возможна и целесообразна, например, если Вы являетесь специалистом по оценке внутри организации. Другой вариант – узкая специализация внешнего консультанта на очень развитом рынке услуг по оценке (не относится к нашему региону). 
• Если же речь идет о достижении финансовой устойчивости за счет оценки в нашем регионе в качестве внешнего консультанта, то предпочтительнее становиться «генералистом» и привлекать узких специалистов по мере необходимости. 

PROОЦЕНКУ

Уже много лет мы сотрудничаем в сфере развития оценки с Архангельским Центром "Гарант" и Сибирским центром поддержки общественных инициатив. Недавно мы договорились о запуске нового проекта - онлайновой дискуссионной площадки/клуба. Есть еще несколько идей, которые мы планируем реализовать совместно. Поэтому мы приняли решение о создании нашими организациями Альянса за развитие оценки. Естественно, мы открыты к сотрудничеству и взаимодействию со всеми заинтересованными сторонами.

Создатели Альянса за развитие оценки: 

• РБОО "Архангельский Центр социальных технологий "Гарант"
• ООО «Компания «Процесс Консалтинг»
• Фонд «Сибирский центр поддержки общественных инициатив»

Миссия нашего альянса – институционализация оценки в социальной сфере в России. Под институционализацией здесь понимается процесс внедрения оценки в социально-ориентированную деятельность различных организаций, закрепление соответствующих социальных норм и роли оценки в обществе. В ближайшие планы Альянса входит открытие онлайн-клуба PROОЦЕНКУ  для интересующихся темой оценки. В 2021 году встречи клуба будут проходить ежемесячно. Первая встреча – в июне. Даты и тематика встреч будут объявлены дополнительно. 

О графической модели деятельности

Разработку системы мониторинга надо начинать с представления деятельности, которую предстоит мониторить, в виде модели. Когда есть модель, можно переходить к разработке показателей для её элементов. Модель может быть описательной или графической. Сегодня вместе с Владимиром Балакиревым, Ириной Решта и Еленой Малицкой договорились об общих требованиях к графической модели деятельности организации, модели проекта или программы:

1. Минимально необходимое число элементов и связей между ними (соответствие задаче, для решения которой используется модель)
2. Внутренняя логика (понятно, где причины, где следствия)
3. Направленность на получение ожидаемого результата
4. Наличие средств достижения ожидаемого результата
5. Структурированность 
6. Графический минимализм (в качестве иллюстрации противоположного подхода привожу ниже картинку, на которой форма явно затмевает содержание 😀)
7. Она должна вызывать положительный «резонанс» (восприниматься участниками деятельности как правильная)

Всё это и многое другое будем обсуждать подробно на следующей неделе на семинаре «Система и инструменты мониторинга и оценки в инфраструктурных организациях некоммерческого сектора» в Новосибирске. 

Отличается ли специалист по оценке от "просто консультанта"

В последнее время мне регулярно приходится участвовать в обсуждениях, связанных с самоопределением специалистов по оценке и определением нашей профессии в быстро меняющемся мире. Один из регулярно возникающих сюжетов - сопоставление (и даже противопоставление) оценки и консультирования. К написанию сегодняшнего текста меня подтолкнул тезис, высказанный недавно одним из зарубежных коллег. Суть этого высказывания можно свести к следующему: специалисты по оценке - не просто консультанты, поскольку они руководствуются ценностями и общественными интересами. Очевидно, подразумевалось, что "просто консультанты" не руководствуются ценностями и общественными интересами. 

По этому поводу я хотел бы сказать следующее: 

1. Оценка (речь, естественно, идет о внешней оценке) - вне всякого сомнения - является одним из видов консультирования. При условии, конечно, что мы будем понимать "консультирование" как оказание помощи с использованием специальных знаний, умений и навыков; как изменение ситуации к лучшему, решение проблем; как взаимодействие и сотрудничество. При этом важно принимать во внимание, что "консультант – это человек, оказывающий влияние на другого человека, группу или организацию, но не имеющий властных полномочий для того, чтобы осуществить изменения” (Peter Block, “Flawless consulting”). Подробнее можно посмотреть несколько публикаций в этом блоге по ярлыку "Оценка как консультирование".
2. При принятии наиболее значимых решений люди склонны руководствоваться ценностями. Консультанты - не исключение. Профессиональные консультанты декларируют свои ценности публично в виде этического кодекса. Посмотрите для примера "Консультант как горный гид" или коротко по-английски "Principles for Ethical Consulting". 
3. Считаю противопоставление "просто консультантов" и "специалистов по оценке" некорректным и основанным на искаженном представлении о консультировании в целом и об этике консультирования, в частности.

PS Иллюстрация заимствована из публикации о кодексе профессиональной этики HR специалиста. 

Характеристики пост-нормальной оценки

Концепцию "пост-нормальной науки" (post-normal science) предложили в 90-е годы Фунтович и

Равец. Пост-нормальная наука представляет собой новый подход к использованию науки в ситуациях, где факты являются неопределенными, ценности - спорными, ставки - высокими, а время на принятие решений сильно ограничено. Вчерашнее выступление одного из ведущих теоретиков оценки Томаса Швандта было посвящено пост-нормальной оценке, которая развивается и используется в тех же ситуациях, которые привели к появлению пост-нормальной науки. Швандт предложил 10 изменений, которые должны произойти в сфере оценки для трансформации ее в пост-нормальную:

1. Перестать тратить силы на определение оценки как особой сферы деятельности, отличающейся от связанных с ней других видов профессиональной деятельности.
2. Переключить внимание с оценки как на вспомогательной функции на практики, основанные на оценочном мышлении
3. Рассматривать оценочное мышление как нечто большее, чем поиск обоснований для проверки неких утверждений.
4. Признать важные отличия между ролями специалиста по оценке как внешнего судьи и как вдумчивого партнера.
5. Осознать важное отличие оценки как методичного исследования и оценки как встроенного системного исследования. 
6. Учитывать политический контекст.
7. Расширить репертуар вопросов, которые включаются в задания на проведение оценки.
8. Перейти от «продажи решений» к «решению проблем».
9. Сформировать новое более широкое понимание того, что является оценочным суждением.
10. Признать, что этика оценки не ограничивается лишь вопросами профессионального этичного поведения. Она включает также нормативную позицию профессии. 

Выступление было очень интересным, как и последующая дискуссия. Мне было очень любопытно услышать, в частности, насколько радикально изменились взгляды Швандта на необходимость критериев как основы оценки. В нашей заочной дискуссии 5 лет тому назад Томас был весьма категоричен: "Невозможно провести оценку, не имея критериев". Вчера он сказал, что пришло время отказаться от понятия "критерий" и намечать некие области, применительно к которым следует отвечать на вопросы... 

PS Диаграмма заимствована из Википедии. Она часто используется для пояснения концепции пост-нормальной науки. 

Две конференции

Тема очередной конференции Американской ассоциации оценки (American Evaluation Association): "AEA at 35: Meeting the Moment". В этом году ассоциации исполняется 35 лет, и президент АЕА Том Грейсон предложил встретить этот момент с полным осознанием: "Настало время взглянуть в зеркало и задуматься каждому о себе как о профессионале, а также всем вместе поразмышлять о нашей профессии в целом. Это возможность осознать реалии нынешнего непростого времени; поделиться тем, что мы узнали; поговорить о шансах - использованных и упущенных; обсудить, как мы трансформируем практику оценки для решения самых сложных и важных задач, стоящих перед человечеством".

Подробное описание темы конференции и условий участия в ней можно найти на сайте АЕА. Конференция пройдет с 8 по 13 ноября 2021 года в онлайн-формате. 

Тема конференции АСОПП в этом году: "Оценка в меняющемся мире: партнерства и инфраструктура". Организаторы конференции задаются следующими вопросами: "Как планировать и оценивать программы в меняющемся мире, который сталкивается со все более сложными проблемами? Как достигать более амбициозных результатов в новых условиях? В ответ появляются новые виды оценок – адаптивная оценка, оценка трансформационных программ, оценка глобальных программ, оценка с фокусом на принципы. Новые условия самоизоляции и ограничения социальных контактов поднимают вопрос, какая есть альтернатива традиционным методам сбора данных, насколько они доступны и достоверны в разных условиях? Меняющийся мир требует от специалистов по оценке новых компетенций – креативности, гибкости и постоянного развития. Новый мир предполагает изменение и осмысление новой роли оценщика. Где проходит зона ответственности специалиста по оценке, на каких ценностях должна строиться оценка?". Подробное описание темы конференции и условий участия в ней - на сайте АСОПП. Конференция пройдет 19-21 октября 2021 года в гибридном формате (очно в Москве и онлайн).

Несмотря на то, что темы двух конференций сформулированы по-разному, вопросы, которые беспокоят специалистов по оценке в наших двух странах, по-моему, во многом совпадают.