Оценка программ и проектов
Заметки консультанта
вторник, 12 августа 2025 г.
Эффект бабочки
воскресенье, 27 июля 2025 г.
Результаты оценки клуба PROОЦЕНКУ
Кабинетное исследование было связано с анализом публикаций по формированию и поддержке сообществ практиков (community of practice). Мы с самого начала рассматривали клуб именно как такое сообщество, и поэтому вопрос о том, в какой мере удалось это сообщество сформировать, был включен в ТЗ. Интервью проводились с активными участниками клуба. Фокус-группа – с организаторами клуба.
Результаты само-оценивания доступны на сайте клуба. Они получились очень интересными, и мы, конечно же, примем их во внимание при планировании. Это, кстати, тот редкий случай, когда результаты само-оценивания логично разместить в открытом доступе.
Любопытный факт. На заседания, посвященные планированию оценки и обсуждению ее результатов зарегистрировались примерно 25 человек. Участвовали в заседаниях почти все, кто зарегистрировался. И то, и другое для клуба необычно. Как правило, регистрируются 40-60 человек и более, а участвуют в заседании 50-60% от числа зарегистрированных. Число регистраций, конечно, зависит от темы заседания. Тема само-оценивания клуба оказалась не самой популярной. Как бы вы это объяснили? И что можно предположить относительно участников заседаний, посвященных этой теме?
среда, 23 июля 2025 г.
К вопросу об онлайновом обучении
четверг, 3 июля 2025 г.
Критическая системная эвристика: время пришло
Я познакомился с CSH на одном из семинаров перед конференцией Американской ассоциации оценки (American Evaluation Association / AEA) в тот момент, когда мы занимались созданием системы для оценки предпринимательского потенциала университета. И как-то показался очень органичным этот подход для решения проблем, с которыми мы столкнулись в нашей работе. Настолько откликнулось, что на следующий год мы даже выступили на конференции АЕА и поделились практическим опытом использования CSH.
После этого в течение 10 лет не было случая представить CSH в России и обсудить его с коллегами. Но вот в конце 2024 года на сессии по оценке системных изменений в Институте оценки, который мы проводили в партнерстве с новосибирским ИнА-Центром, решил я представить CSH участникам. Включил несколько слайдов в презентацию и… не хватило времени на них.
Наконец, в рамках онлайнового курса по системному мышлению, который мы с ИнА-Центром сейчас проводим, удалось выделить достаточно времени и даже предложить участникам поэкспериментировать с использованием этого инструмента в формате домашнего задания. Получилось интересно, но возникло достаточно много вопросов. Честно говоря, метод не так уж прост, а его освоение требует некоторых усилий и определенного упорства 😊 Так вот, во вторник (позавчера) участники семинара обменялись полученным опытом, обсудили возникшие вопросы и ответы на них. А в среду, то есть вчера, я вдруг получил письмо от моего давнего знакомого Боба Вильямса из Новой Зеландии о том, что он опубликовал книгу по… Критической системной эвристике! Её можно найти здесь. В качестве иллюстрации сегодня привожу обложку этой книги. Называется "Ценности в действии".
Поскольку такие совпадения не бывают случайными, я решил, что обо всем этом надо написать в блоге 😊, т.к. пришло время.
вторник, 17 июня 2025 г.
Практикуй то, что проповедуешь
В июне 2025 года клуб PROОЦЕНКУ отмечает свое четырехлетие. Первое заседание клуба состоялось 11 июня 2021 года. Онлайновые заседания проходили ежемесячно с перерывом на каникулы в августе. Таким образом, ближайшее заседание будет 46-м по счету. И, если вы видели объявление о нём, то могли заметить, что оно будет необычным: мы планируем провести само-оценивание деятельности клуба. Четырехлетие – хороший повод, но причина проведения оценки в другом: хотелось бы развивать деятельность клуба, сделать ее максимально полезной для участников. Для того, чтобы разработать планы на будущее, необходимо ответить на несколько важных вопросов. Проект задания на проведение оценки был сформирован Альянсом PROОЦЕНКУ – инициатором создания клуба.
На ближайшем заседании мы хотим не только обсудить
задание и подход к проведению оценки, но и начать эту работу. Важный момент: в
ней смогут принять участие все, кто тем или иным образом связан с клубом
(участвовал в заседаниях, проводил заседания и/или выступал на них). Участвовать
в проведении оценки можно будет либо в составе команды, которую мы планируем
сформировать на ближайшем заседании, либо в качестве респондента/источника
информации о клубе. Для включения в команду есть три условия: (1) опыт участия
в заседаниях клуба, (2) желание и (3) возможность выделить время для проведения
оценки в течение ближайшего месяца. Если же вы предпочтете позицию источника
информации, то здесь достаточно одного вашего желания: вы получите анкету и,
возможно, с вами проведут интервью.
Оценку планируется завершить к следующему заседанию клуба в
июле. У нас будет всего один месяц. Поэтому первая встреча команды, которая
будет проводить оценку, состоится уже 20-го июня.
В общем, займемся само-оцениванием, то есть будем следовать той самой пословице, которая была использована в качестве заголовка :)
среда, 4 июня 2025 г.
14 привычек системного мыслителя
Карточек и привычек, соответственно, - 14. Привожу их заголовки в немного вольном переводе: старался смысл сохранить.
- Стремится понять общую (большую) картину
- Наблюдает за тем, как элементы системы меняются со временем
- Меняет ракурсы, чтобы лучше понять систему
- Выявляет циклические причинно-следственные связи
- Учитывает влияние ментальных моделей в настоящем и в будущем
- Старается хорошо понять изучаемый вопрос и избегать скороспелых умозаключений
- Использует понимание структуры системы для выявления таких точек, воздействия на которые способны вызвать значительные и устойчивые изменения в системе с минимальными затратами ресурсов.
- Признает, что структура системы определяет ее поведение
- Принимает во внимание краткосрочные, долгосрочные и непредвиденные последствия действий
- Отслеживает результаты и корректирует действия по необходимости
- Выявляет и тестирует предположения и допущения
- Признает возможное влияние задержек при анализе причинно-следственных связей
- Уделяет внимание разного рода аккумулированию и степени связанных с ним изменений
- Выделяет значимые связи внутри системы и между системами
пятница, 30 мая 2025 г.
Подробная картинка (Rich Picture)
В качестве первого задания взяли т.н. Rich Picture (я перевел как «подробная картинка). Кажется, ничего особенного: для того, чтобы осмыслить сложную ситуацию, начни с картинки. Не пытайся структурировать; рисуй, все, что, вроде бы, имеет отношение к ситуации; изобрази все наиболее важные элементы и связи между ними. Нарисуй и то, что вокруг. Используй символы, стрелки и пр. Изобрази жизнь во всем ее разнообразии, но, конечно, слегка упрощенно… Почитать про использование подробных картинок можно, например, в книжке Боба Вильямса «Системные диаграммы».
Очень интересно и содержательно получилось! По мнению участников, этот инструмент может быть весьма полезен.
Любопытно, что придумал его британский специалист Питер Чекланд как часть подхода, который он назвал «методологией мягких систем» (Soft Systems Methodology/SSM). В 1966–1972 Чекланд и его коллеги начали развивать SSM как альтернативу "жестким" системным подходам (например, системной инженерии), которые не вполне подходили для решения "мягких" неясно очерченных социальных проблем. В начале 70-х они начали применять SSM в промышленности и госсекторе. В 1981 вышло первое издание книги Чекланда «Системное мышление, системная практика» (Systems Thinking, Systems Practice), где SSM была впервые подробно описана.
Семинар продолжается. Скоро и до SSM доберемся 😊
четверг, 15 мая 2025 г.
Оценка и исследования
Тема вечная. Оценка выросла из исследований. Сходства очевидны. Вопрос о том, чем отличаются, активно обсуждается. До консенсуса пока далеко. Я уже писал здесь об этом в 2016 году. Там ссылался на хорошую аналитическую статью Levin-Rozalis (2003).
Сегодня на заседании клуба PROОЦЕНКУ решили обратиться к этой теме (видео и презентация будут здесь). Получилось интересно. Предложили участникам сделать выбор из 5 вариантов соотношения оценки и исследований (адаптировано из статьи Wanzer, D.L. (2021) What Is Evaluation? Perspectives of How Evaluation Differs (or Not) From Research. American Journal of Evaluation, Vol. 42(1) 28-46).
пятница, 9 мая 2025 г.
Беседа о системных изменениях и не только
PS Видео на 40 минут.
среда, 23 апреля 2025 г.
Обзор и анализ программы летнего Института оценщиков - 2025 (США)
Общее представление о программе, которое приводится ниже, и заключения о ее качестве и актуальности сгенерированы искусственным интеллектом Perplexity. По моей просьбе, естественно :)
Основные тематические направления программы
- Методы анализа данных и статистического моделирования
- Современные технологии и инновации в оценке
- Теоретические подходы и методологические основы оценки
- Методы сбора данных
- Визуализация данных и коммуникация результатов
- Системы мониторинга и оценки
Программа очень качественная:
- Экспертный состав преподавателей. Курсы ведут признанные авторитеты в области оценки, включая Майкла Пэттона (основатель развивающей оценки), Стюарта Дональдсона и других известных специалистов.
- Комплексный охват тематики. Программа сбалансированно охватывает как теоретические, так и практические аспекты оценки программ, от фундаментальных концепций до передовых методов.
- Интерактивная методика преподавания. Большинство курсов построены на интерактивном подходе, включающем практические упражнения, разбор кейсов и применение полученных знаний к реальным ситуациям.
- Логичная структура программы. Курсы взаимодополняют друг друга, создавая целостную картину современной практики оценки программ.
Программа имеет высокую актуальность для современного контекста:
- Интеграция ИИ и машинного обучения. Включение курсов по машинному обучению и генеративному ИИ отражает трансформационные изменения в области оценки программ.
- Адаптация к пост-пандемическим реалиям. Курс по адаптивной оценке включает новые подходы, разработанные в ответ на вызовы пандемии COVID-19.
- Фокус на данных и доказательствах. Программа отражает растущее значение данных в принятии решений.
- Соответствие современным стандартам компетенций специалиста по оценке.