Тема вечная. Оценка выросла из исследований. Сходства очевидны. Вопрос о том, чем отличаются, активно обсуждается. До консенсуса пока далеко. Я уже писал здесь об этом в 2016 году. Там ссылался на хорошую аналитическую статью Levin-Rozalis (2003).
Сегодня на заседании клуба PROОЦЕНКУ решили обратиться к этой теме (видео и презентация будут здесь). Получилось интересно. Предложили участникам сделать выбор из 5 вариантов соотношения оценки и исследований (адаптировано из статьи Wanzer, D.L. (2021) What Is Evaluation? Perspectives of How Evaluation Differs (or Not) From Research. American Journal of Evaluation, Vol. 42(1) 28-46).
Оценка программ и проектов
Заметки консультанта
четверг, 15 мая 2025 г.
Оценка и исследования
пятница, 9 мая 2025 г.
Беседа о системных изменениях и не только
PS Видео на 40 минут.
среда, 23 апреля 2025 г.
Обзор и анализ программы летнего Института оценщиков - 2025 (США)
Общее представление о программе, которое приводится ниже, и заключения о ее качестве и актуальности сгенерированы искусственным интеллектом Perplexity. По моей просьбе, естественно :)
Основные тематические направления программы
- Методы анализа данных и статистического моделирования
- Современные технологии и инновации в оценке
- Теоретические подходы и методологические основы оценки
- Методы сбора данных
- Визуализация данных и коммуникация результатов
- Системы мониторинга и оценки
Программа очень качественная:
- Экспертный состав преподавателей. Курсы ведут признанные авторитеты в области оценки, включая Майкла Пэттона (основатель развивающей оценки), Стюарта Дональдсона и других известных специалистов.
- Комплексный охват тематики. Программа сбалансированно охватывает как теоретические, так и практические аспекты оценки программ, от фундаментальных концепций до передовых методов.
- Интерактивная методика преподавания. Большинство курсов построены на интерактивном подходе, включающем практические упражнения, разбор кейсов и применение полученных знаний к реальным ситуациям.
- Логичная структура программы. Курсы взаимодополняют друг друга, создавая целостную картину современной практики оценки программ.
Программа имеет высокую актуальность для современного контекста:
- Интеграция ИИ и машинного обучения. Включение курсов по машинному обучению и генеративному ИИ отражает трансформационные изменения в области оценки программ.
- Адаптация к пост-пандемическим реалиям. Курс по адаптивной оценке включает новые подходы, разработанные в ответ на вызовы пандемии COVID-19.
- Фокус на данных и доказательствах. Программа отражает растущее значение данных в принятии решений.
- Соответствие современным стандартам компетенций специалиста по оценке.
среда, 16 апреля 2025 г.
Монетизация эффекта от консультирования
Очевидно, что во всех этих случаях деньги на консультантов
были потрачены, по мнению клиентов, с большой пользой. Но можно ли монетизировать
эффект от консультирования? То есть, сказать, что, заплатив консультантам сумму
Х, компания нашла и внедрила решения, которые позволили увеличить оборот в N раз.
Далее поделить прирост оборота на сумму, потраченную на консультационные услуги
и получить «возврат на инвестиции в консалтинг», исчисляемый в рублях на 1 вложенный
рубль.
Вчера на торжественном мероприятии обсуждать этот вопрос
было, конечно, не вполне уместно. А вот завтра мы вполне можем поговорить и об
этом.
Пока же хочу поздравить наших дорогих друзей и коллег из консалтинг-центра
ШАГ с замечательным юбилеем! Вы – лучшие!
PS В качестве иллюстрации к этой публикации использован первый логотип ШАГа. Хорошо помню историю его создания. В него точно была вложена частичка души основателей ШАГа Евгения и Светланы Емельяновых.
пятница, 4 апреля 2025 г.
Об оценке в очередном эпизоде подкаста ИРСУ «Чейные дети»
Беседуем с Мариной Ивановой об оценке в 12 выпуске подкаста «Чейные дети» (его поддерживает Институт развития семейного устройства - ИРСУ). Этот эпизод о том, что такое оценка социальных программ, почему это не проверка, а пространство для развития. Как оценка может быть связана не с внешним контролем, а с внутренней честностью и какие нужны качества человеку, который может всерьёз говорить об эффективности социальной деятельности.
четверг, 3 апреля 2025 г.
Онлайновый курс «Системное мышление»
Хотел бы немного рассказать о программе и о том, как будет построено обучение.
Контекст. Как следует из названия курса, мы будем рассматривать системное мышление в контексте социального проектирования, оценки социальных программ и управления НКО. Это означает, что основная часть примеров и практических заданий будет иметь отношение к этим трем сферам.
Теоретическая база. Разговор о системном мышлении невозможен без обсуждения некоторых базовых положений, которые так или иначе встречаются в большинстве публикаций по данной теме. В качестве концептуальной основы для формирования структуры данного курса я использовал публикации Боба Вильямса (Bob Williams), широко известные среди специалистов по оценке и социальному проектированию во всем мире. При этом будет много ссылок и на другие источники, конечно.
Практическая ориентация. Основным приоритетом для нас при подготовке учебного курса было стремление сделать так, чтобы каждый участник смог вынести для себя что-то полезное и даже начать применять свои находки на практике уже по ходу обучения. На каждом занятии мы будем рассматривать несколько инструментов разной степени сложности.
Интерактивность. Курс будет построен как сочетание мини-лекций с обсуждениями в различных форматах. Мы также планируем, что домашние задания будут выполняться не индивидуально, а в малых группах.
Думаю, будет интересно! :)
пятница, 28 марта 2025 г.
Этика консультанта: по следам одной онлайновой дискуссии
XCeval — это рассылка для лиц, интересующихся вопросами, связанными с международной и кросс-культурной оценкой. В списке рассылки сегодня, полагаю, более 2000 человек со всего мира. Подробнее о группе и возможность подписаться здесь.
Я подписался на эту рассылку с момента создания группы (лет 20 назад, наверное), читаю регулярно. Пишу крайне редко.
В последние несколько дней в группе идет дискуссия, о которой хотел бы сказать пару слов сегодня. Переписка открытая, но имен авторов сообщений упоминать не стану. Интересующиеся могут сами посмотреть.
Итак, все началось с письма о том, что некий консультант отправил заявку на тендер на проведение внешней оценки для одного из офисов Международной организации труда (МОТ). Этот консультант сетовал в своем письме, что ему не пришло никакого ответа. Дальше – больше. Сразу несколько человек написали, что у них тоже такое было с МОТ. И что вообще, наверное, МОТ формально объявляет тендеры, а консультантов выбирает заранее. В развитие этой мысли люди, которые, по их словам, имели опыт проведения оценки для МОТ, стали писать, что МОТ работает из рук вон плохо, а ценные рекомендации, которые дают консультанты по результатам оценки, не внедряет (приводились конкретные примеры). Были замечания типа того, что надо принимать «суровую правду» (которую можно найти в отчетах по оценке), а не «вычищенные тексты» для публикаций из отчетов делать. Были жалобы на сокращение бюджетов на проведение оценки (при этом задания не сокращаются). Сегодня после небольшой паузы еще один специалист, знающий МОТ, написал, что, по его мнению, МОТ не адаптировала свои подходы к меняющейся среде, и что это коренная причина проблем МОТ.
В ходе этой дискуссии появилось письмо от Офиса оценки МОТ с призывом обращаться к ним «напрямую для конструктивного и уважительного обсуждения, а не размещать в этом списке рассылки клеветнические заявления, которые могут нанести вред работе и репутации преданных своему делу специалистов МОТ». И дальше было требование модерировать список рассылки, чтобы подобные публикации не появлялись.
Я не собираюсь здесь обсуждать, что из этого правда, а что – нет, но хочу сказать следующее.
Если ты – внешний консультант, то ты многое узнаёшь о своем клиенте. Иначе ты не сделаешь свою работу. Но как же можно публично обсуждать то, что тебе стало известно в силу выполнения тобой (за деньги клиента!) профессиональных обязанностей по договору? У меня это в голове не укладывается!
Подозреваю, что здесь дело в том, что некоторые специалисты по оценке занимают позицию «активистов», для которых задача улучшения мира (как они ее понимают) имеет приоритетное значение. Майкл Скривен, критикуя «традиционный» подход с иронией написал в своей статье «Активистская оценка» (Michael Scriven (2007) Activist evaluation) следующее: «Как правило, дело обстоит так, что клиенты хотят рекомендаций, а оценщики делают их в надежде, что они будут приняты. Другими словами, вы пытаетесь оказать влияние. Это довольно проактивно, не так ли?». Радикально настроенные оценщики вообще намерены «бросить вызов привилегированным дискурсам власть имущих» (читай – клиентов).
На мой взгляд, такая позиция противоречит базовым этическим принципам, которыми должен руководствоваться внешний консультант, работающий с организацией. С любой организацией.
понедельник, 17 марта 2025 г.
Цифровой Фотоголос
Наши американские коллеги пишут: «Photovoice — это широко используемый в развитии сообществ и оценке потребностей качественный метод исследования. Он предполагает применение фотографии для фиксации точек зрения участников, стимулирования обсуждения и сбора историй… Цифровой Фотоголос, объединяющий традиционный Фотоголос с социальными сетями, создает мощный, гибкий и интерактивный подход к сбору данных с помощью виртуальных встреч, выставок и обсуждений, что делает его особенно эффективным для привлечения молодых участников».
Этот метод у нас достаточно давно известен в классическом варианте с использованием одноразовых фотокамер и печатью фотографий. У меня есть несколько знакомых, которые использовали Фотоголос с применением цифровой фотографии. А теперь и у нас в стране уже появляется опыт применения этого метода в формате онлайн.
Вот основные этапы использования Photovoice для нужд местного сообщества.
- Определение исследовательской темы и целей. Выбор проблемы или вопроса, который требует внимания и решения в конкретном сообществе. Формулирование целей. Основные цели Photovoice включают вовлечение сообщества в обсуждение проблем.
- Подготовка участников и оборудования. Обучение участников. Проведение брифингов для участников, где им объясняется цель проекта и предоставляется информация о том, как использовать камеры или смартфоны для фотографирования. Оборудование: использование камер или смартфонов для фотографирования.
- Сбор данных через фотографии. Фотографирование: участники запечатлевают фотографии, которые отражают их взгляд на исследовательскую тему. Отбор фотографий: участники выбирают наиболее значимые фотографии для дальнейшего обсуждения.
- Обсуждение и интерпретация фотографий. Проведение групповых дискуссий, где участники обсуждают выбранные фотографии, объясняют их значение и делятся своими мыслями о фотографиях других участников. Запись и транскрибирование групповых дискуссий для дальнейшего анализа.
- Анализ и презентация результатов. Анализ фотографий и дискуссий для выявления ключевых тем и проблем. Презентация результатов заинтересованным сторонам, политикам или общественности для стимулирования социальных изменений.
- Вовлечение сообщества. Использование результатов для вовлечения сообщества в процесс планирования и осуществления социальных изменений.
четверг, 27 февраля 2025 г.
Eval4Action вновь зажигает факел оценки
И вот спустя 10 лет факел оценки (#EvalTorch) загорится вновь. Об этом сообщила Международная инициатива #Eval4Action. Инициатива #Eval4Action стала откликом международного сообщества специалистов по оценке на призыв Генерального секретаря ООН «активизировать срочные и масштабные действия для своевременного достижения Целей устойчивого развития (ЦУР)».
К чему же нам готовиться?
#Eval4Action сообщает: «Приготовьтесь к возрождению мощного символа и всемирного призыва к действию: #EvalTorch! EvalTorch воплощает страсть, экспертизу и дух сотрудничества сообщества в сфере оценки. Он представляет собой жизненно важную передачу знаний и вдохновения, гарантируя, что пламя оценки будет ярко гореть из поколения в поколение. EvalTorch — это не просто символ, это призыв к действию, побуждающий сообщество оценщиков активно формировать будущее оценки путем адаптации и инноваций, гарантируя, что оценка будет соответствовать своему предназначению для решения глобальных проблем и реализации возникающих возможностей».
Планируется, что лидеры инициативы передадут факел оценки на мартовской конференции в Риме Президенту IDEAS и Генеральному директору Офиса независимой оценки Нового банка развития (БРИКС). И факел будет путешествовать далее вплоть до Конклава оценки.
К пафосным акциям с факелом можно относиться по-разному, но сама по себе активизация международного сообщества специалистов по оценке – дело несомненно важное. И здесь я хотел бы просто снять шляпу перед моих хорошим знакомым Марко Сегоне (на фото – справа в белой рубашке), который совершенно точно опять приложил ко всему этому руку!
PS Кстати, зажигать, вообще-то, начал ИнА-Центр в этом году. Если кто еще не слышал 😊, Ассоциация ИнА-Центр реализует проект «Созвездия оценки» при поддержке Фонда президентских грантов под девизом «Зажигаем звезды оценки». Так что мы точно в тренде.