Практикуй то, что проповедуешь

У наших англоязычных коллег есть такая пословица: «Practice what you preach». Её буквальный перевод - в заголовке к этой публикации. О чем речь?

В июне 2025 года клуб PROОЦЕНКУ отмечает свое четырехлетие. Первое заседание клуба состоялось 11 июня 2021 года. Онлайновые заседания проходили ежемесячно с перерывом на каникулы в августе. Таким образом, ближайшее заседание будет 46-м по счету. И, если вы видели объявление о нём, то  могли заметить, что оно будет необычным: мы планируем провести само-оценивание деятельности клуба. Четырехлетие – хороший повод, но причина проведения оценки в другом: хотелось бы развивать деятельность клуба, сделать ее максимально полезной для участников. Для того, чтобы разработать планы на будущее, необходимо ответить на несколько важных вопросов. Проект задания на проведение оценки был сформирован Альянсом PROОЦЕНКУ – инициатором создания клуба. 

На ближайшем заседании мы хотим не только обсудить задание и подход к проведению оценки, но и начать эту работу. Важный момент: в ней смогут принять участие все, кто тем или иным образом связан с клубом (участвовал в заседаниях, проводил заседания и/или выступал на них). Участвовать в проведении оценки можно будет либо в составе команды, которую мы планируем сформировать на ближайшем заседании, либо в качестве респондента/источника информации о клубе. Для включения в команду есть три условия: (1) опыт участия в заседаниях клуба, (2) желание и (3) возможность выделить время для проведения оценки в течение ближайшего месяца. Если же вы предпочтете позицию источника информации, то здесь достаточно одного вашего желания: вы получите анкету и, возможно, с вами проведут интервью.

Оценку планируется завершить к следующему заседанию клуба в июле. У нас будет всего один месяц. Поэтому первая встреча команды, которая будет проводить оценку, состоится уже 20-го июня.

В общем, займемся само-оцениванием, то есть будем следовать той самой пословице, которая была использована в качестве заголовка :) 

14 привычек системного мыслителя

Хочу порекомендовать интернет-страничку с «карточками» (англ.), на которых с одной стороны записаны привычки человека, думающего системно, а с другой – пояснения и вопросы, которые могут пригодиться на практике.  Карточка «переворачивается» по клику. Этот материал размещен на сайте «Thinking Tools Studio» («Студия инструментов мышления»).

Карточек и привычек, соответственно, - 14. Привожу их заголовки в немного вольном переводе: старался смысл сохранить. 

1. Стремится понять общую (большую) картину
2. Наблюдает за тем, как элементы системы меняются со временем
3. Меняет ракурсы, чтобы лучше понять систему
4. Выявляет циклические причинно-следственные связи
5. Учитывает влияние ментальных моделей в настоящем и в будущем
6. Старается хорошо понять изучаемый вопрос и избегать скороспелых умозаключений
7. Использует понимание структуры системы для выявления таких точек, воздействия на которые способны вызвать значительные и устойчивые изменения в системе с минимальными затратами ресурсов.
8. Признает, что структура системы определяет ее поведение
9. Принимает во внимание краткосрочные, долгосрочные и непредвиденные последствия действий
10. Отслеживает результаты и корректирует действия по необходимости
11. Выявляет и тестирует предположения и допущения
12. Признает возможное влияние задержек при анализе причинно-следственных связей
13. Уделяет внимание разного рода аккумулированию и степени связанных с ним изменений
14. Выделяет значимые связи внутри системы и между системами

Информация к размышлению.

Подробная картинка (Rich Picture)

Обсуждаем с коллегами системное мышление в контексте социального проектирования, оценки проектов и программ и управления НКО. Это наш совместный с новосибирским ИнАЦентром семинар в рамках проекта «Созвездия оценки», поддержанного Фондом президентских грантов. Раз в неделю встречаемся онлайн, а затем участники в малых группах выполняют домашние задания. Получается довольно интенсивный процесс: есть о чем и поговорить, и подумать.

В качестве первого задания взяли т.н. Rich Picture (я перевел как «подробная картинка). Кажется, ничего особенного: для того, чтобы осмыслить сложную ситуацию, начни с картинки. Не пытайся структурировать; рисуй, все, что, вроде бы, имеет отношение к ситуации; изобрази все наиболее важные элементы и связи между ними. Нарисуй и то, что вокруг. Используй символы, стрелки и пр. Изобрази жизнь во всем ее разнообразии, но, конечно, слегка упрощенно… Почитать про использование подробных картинок можно, например, в книжке Боба Вильямса «Системные диаграммы».

Очень интересно и содержательно получилось! По мнению участников, этот инструмент может быть весьма полезен. 

Любопытно, что придумал его британский специалист Питер Чекланд как часть подхода, который он назвал «методологией мягких систем» (Soft Systems Methodology/SSM). В 1966–1972 Чекланд и его коллеги начали развивать SSM как альтернативу "жестким" системным подходам (например, системной инженерии), которые не вполне подходили для решения "мягких" неясно очерченных социальных проблем. В начале 70-х они начали применять SSM в промышленности и госсекторе. В 1981 вышло первое издание книги Чекланда «Системное мышление, системная практика» (Systems Thinking, Systems Practice), где SSM была впервые подробно описана. 

Семинар продолжается. Скоро и до SSM доберемся 😊

Оценка и исследования

Тема вечная. Оценка выросла из исследований. Сходства очевидны. Вопрос о том, чем отличаются, активно обсуждается. До консенсуса пока далеко. Я уже писал здесь об этом в 2016 году. Там ссылался на хорошую аналитическую статью Levin-Rozalis (2003). 
Сегодня на заседании клуба PROОЦЕНКУ решили обратиться к этой теме (видео и презентация будут здесь). Получилось интересно. Предложили участникам сделать выбор из 5 вариантов соотношения оценки и исследований (адаптировано из статьи Wanzer, D.L. (2021) What Is Evaluation? Perspectives of How Evaluation Differs (or Not) From Research. American Journal of Evaluation, Vol. 42(1) 28-46). 

Наши участники (26 человек) ответили так (мы, естественно, не делили участников на исследователей и специалистов по оценке):

Результаты гораздо более репрезентативного опроса, проведенного Wanzer, выглядят так: 

Есть над чем поразмышлять… 

Беседа о системных изменениях и не только

Фонд Потанина представляет новый формат - видеоподкаст Центра развития филантропии «Просто о сложном». В пилотном выпуске, который опубликован в сообществе Фонда ВКонтакте, беседуем с Ириной Лапидус (Фонд Потанина) и Ольгой Евдокимовой (АНО «Эволюция и филантропия») о BANI-мире, системных изменениях, ментальных моделях и партнерстве в некоммерческом секторе. 

PS Видео на 40 минут. 

Обзор и анализ программы летнего Института оценщиков - 2025 (США)

Университет Клермонта (Claremont Graduate University) и Центр оценки при этом университете объявили о наборе слушателей на летний онлайновый курс Института оценщиков  (TEI | The Evaluators' Institute). Ознакомиться с программой в деталях можно по ссылке.

Общее представление о программе, которое приводится ниже, и заключения о ее качестве и актуальности сгенерированы искусственным интеллектом Perplexity. По моей просьбе, естественно :) 

Основные тематические направления программы

• Методы анализа данных и статистического моделирования
• Современные технологии и инновации в оценке
• Теоретические подходы и методологические основы оценки
• Методы сбора данных
• Визуализация данных и коммуникация результатов
• Системы мониторинга и оценки

Программа очень качественная:

• Экспертный состав преподавателей. Курсы ведут признанные авторитеты в области оценки, включая Майкла Пэттона (основатель развивающей оценки), Стюарта Дональдсона и других известных специалистов.
• Комплексный охват тематики. Программа сбалансированно охватывает как теоретические, так и практические аспекты оценки программ, от фундаментальных концепций до передовых методов.
• Интерактивная методика преподавания. Большинство курсов построены на интерактивном подходе, включающем практические упражнения, разбор кейсов и применение полученных знаний к реальным ситуациям.
• Логичная структура программы. Курсы взаимодополняют друг друга, создавая целостную картину современной практики оценки программ.

Программа имеет высокую актуальность для современного контекста:

• Интеграция ИИ и машинного обучения. Включение курсов по машинному обучению и генеративному ИИ отражает трансформационные изменения в области оценки программ.
• Адаптация к пост-пандемическим реалиям. Курс по адаптивной оценке включает новые подходы, разработанные в ответ на вызовы пандемии COVID-19.
• Фокус на данных и доказательствах. Программа отражает растущее значение данных в принятии решений.
• Соответствие современным стандартам компетенций специалиста по оценке.

Монетизация эффекта от консультирования

Завтра на клубе PROОЦЕНКУ будем обсуждать, как оценивать эффективность использования средств. Думал об этом на вчерашнем приеме в честь 30-летия Консалтинг-центра ШАГ. К ним пришли руководители крупных компаний, с которыми ШАГ работал на протяжении длительного времени. В своих поздравлениях все они отметили, что взаимодействие с консультантами помогло добиться существенного прогресса в развитии бизнеса. Называли конкретные показатели, свидетельствующие, в частности, о кратном увеличении оборота и доли рынка.

Очевидно, что во всех этих случаях деньги на консультантов были потрачены, по мнению клиентов, с большой пользой. Но можно ли монетизировать эффект от консультирования? То есть, сказать, что, заплатив консультантам сумму Х, компания нашла и внедрила решения, которые позволили увеличить оборот в N раз. Далее поделить прирост оборота на сумму, потраченную на консультационные услуги и получить «возврат на инвестиции в консалтинг», исчисляемый в рублях на 1 вложенный рубль.

Вчера на торжественном мероприятии обсуждать этот вопрос было, конечно, не вполне уместно. А вот завтра мы вполне можем поговорить и об этом.

Пока же хочу поздравить наших дорогих друзей и коллег из консалтинг-центра ШАГ с замечательным юбилеем! Вы – лучшие!

PS В качестве иллюстрации к этой публикации использован первый логотип ШАГа. Хорошо помню историю его создания. В него точно была вложена частичка души основателей ШАГа Евгения и Светланы Емельяновых.

Об оценке в очередном эпизоде подкаста ИРСУ «Чейные дети»

Беседуем с Мариной Ивановой об оценке в 12 выпуске подкаста «Чейные дети» (его поддерживает Институт развития семейного устройства - ИРСУ). Этот эпизод о том, что такое оценка социальных программ, почему это не проверка, а пространство для развития. Как оценка может быть связана не с внешним контролем, а с внутренней честностью и какие нужны качества человеку, который может всерьёз говорить об эффективности социальной деятельности.

Онлайновый курс «Системное мышление»

Сегодня было объявлено о регистрации заявок на участие в онлайновом учебном курсе «Системное мышление», который мы проводим в сотрудничестве с новосибирским ИнА Центром. 

Хотел бы немного рассказать о программе и о том, как будет построено обучение. 

Контекст. Как следует из названия курса, мы будем рассматривать системное мышление в контексте социального проектирования, оценки социальных программ и управления НКО. Это означает, что основная часть примеров и практических заданий будет иметь отношение к этим трем сферам.

Теоретическая база. Разговор о системном мышлении невозможен без обсуждения некоторых базовых положений, которые так или иначе встречаются в большинстве публикаций по данной теме. В качестве концептуальной основы для формирования структуры данного курса я использовал публикации Боба Вильямса (Bob Williams), широко известные среди специалистов по оценке и социальному проектированию во всем мире. При этом будет много ссылок и на другие источники, конечно.  

Практическая ориентация. Основным приоритетом для нас при подготовке учебного курса было стремление сделать так, чтобы каждый участник смог вынести для себя что-то полезное и даже начать применять свои находки на практике уже по ходу обучения. На каждом занятии мы будем рассматривать несколько инструментов разной степени сложности. 

Интерактивность. Курс будет построен как сочетание мини-лекций с обсуждениями в различных форматах. Мы также планируем, что домашние задания будут выполняться не индивидуально, а в малых группах.

Думаю, будет интересно! :)

Этика консультанта: по следам одной онлайновой дискуссии

XCeval — это рассылка для лиц, интересующихся вопросами, связанными с международной и кросс-культурной оценкой. В списке рассылки сегодня, полагаю, более 2000 человек со всего мира. Подробнее о группе и возможность подписаться здесь.

Я подписался на эту рассылку с момента создания группы (лет 20 назад, наверное), читаю регулярно. Пишу крайне редко.

В последние несколько дней в группе идет дискуссия, о которой хотел бы сказать пару слов сегодня. Переписка открытая, но имен авторов сообщений упоминать не стану. Интересующиеся могут сами посмотреть. 

Итак, все началось с письма о том, что некий консультант отправил заявку на тендер на проведение внешней оценки для одного из офисов Международной организации труда (МОТ). Этот консультант сетовал в своем письме, что ему не пришло никакого ответа. Дальше – больше. Сразу несколько человек написали, что у них тоже такое было с МОТ. И что вообще, наверное, МОТ формально объявляет тендеры, а консультантов выбирает заранее. В развитие этой мысли люди, которые, по их словам, имели опыт проведения оценки для МОТ, стали писать, что МОТ работает из рук вон плохо, а ценные рекомендации, которые дают консультанты по результатам оценки, не внедряет (приводились конкретные примеры). Были замечания типа того, что надо принимать «суровую правду» (которую можно найти в отчетах по оценке), а не «вычищенные тексты» для публикаций из отчетов делать. Были жалобы на сокращение бюджетов на проведение оценки (при этом задания не сокращаются). Сегодня после небольшой паузы еще один специалист, знающий МОТ, написал, что, по его мнению, МОТ не адаптировала свои подходы к меняющейся среде, и что это коренная причина проблем МОТ.

В ходе этой дискуссии появилось письмо от Офиса оценки МОТ с призывом обращаться к ним «напрямую для конструктивного и уважительного обсуждения, а не размещать в этом списке рассылки клеветнические заявления, которые могут нанести вред работе и репутации преданных своему делу специалистов МОТ». И дальше было требование модерировать список рассылки, чтобы подобные публикации не появлялись. 

Я не собираюсь здесь обсуждать, что из этого правда, а что – нет, но хочу сказать следующее.

Если ты – внешний консультант, то ты многое узнаёшь о своем клиенте. Иначе ты не сделаешь свою работу. Но как же можно публично обсуждать то, что тебе стало известно в силу выполнения тобой (за деньги клиента!) профессиональных обязанностей по договору?  У меня это в голове не укладывается!  

Подозреваю, что здесь дело в том, что некоторые специалисты по оценке занимают позицию «активистов», для которых задача улучшения мира (как они ее понимают) имеет приоритетное значение. Майкл Скривен, критикуя «традиционный» подход с иронией написал в своей статье «Активистская оценка» (Michael Scriven (2007) Activist evaluation) следующее: «Как правило, дело обстоит так, что клиенты хотят рекомендаций, а оценщики делают их в надежде, что они будут приняты. Другими словами, вы пытаетесь оказать влияние. Это довольно проактивно, не так ли?». Радикально настроенные оценщики вообще намерены «бросить вызов привилегированным дискурсам власть имущих» (читай – клиентов). 

На мой взгляд, такая позиция противоречит базовым этическим принципам, которыми должен руководствоваться внешний консультант, работающий с организацией. С любой организацией.