четверг, 15 мая 2025 г.

Оценка и исследования

Тема вечная. Оценка выросла из исследований. Сходства очевидны. Вопрос о том, чем отличаются, активно обсуждается. До консенсуса пока далеко. Я уже писал здесь об этом в 2016 году. Там ссылался на хорошую аналитическую статью Levin-Rozalis (2003). 
Сегодня на заседании клуба PROОЦЕНКУ решили обратиться к этой теме (видео и презентация будут здесь). Получилось интересно. Предложили участникам сделать выбор из 5 вариантов соотношения оценки и исследований (адаптировано из статьи Wanzer, D.L. (2021) What Is Evaluation? Perspectives of How Evaluation Differs (or Not) From Research. American Journal of Evaluation, Vol. 42(1) 28-46). 

Наши участники (26 человек) ответили так (мы, естественно, не делили участников на исследователей и специалистов по оценке):
Результаты гораздо более репрезентативного опроса, проведенного Wanzer, выглядят так: 

Есть над чем поразмышлять… 

пятница, 9 мая 2025 г.

Беседа о системных изменениях и не только

Фонд Потанина представляет новый формат - видеоподкаст Центра развития филантропии «Просто о сложном». В пилотном выпуске, который опубликован в сообществе Фонда ВКонтакте, беседуем с Ириной Лапидус (Фонд Потанина) и Ольгой Евдокимовой (АНО «Эволюция и филантропия») о BANI-мире, системных изменениях, ментальных моделях и партнерстве в некоммерческом секторе. 

PS Видео на 40 минут. 

среда, 23 апреля 2025 г.

Обзор и анализ программы летнего Института оценщиков - 2025 (США)

Университет Клермонта (Claremont Graduate University) и Центр оценки при этом университете объявили о наборе слушателей на летний онлайновый курс Института оценщиков  (TEI | The Evaluators' Institute). Ознакомиться с программой в деталях можно по ссылке.

Общее представление о программе, которое приводится ниже, и заключения о ее качестве и актуальности сгенерированы искусственным интеллектом Perplexity. По моей просьбе, естественно :) 

Основные тематические направления программы

  • Методы анализа данных и статистического моделирования
  • Современные технологии и инновации в оценке
  • Теоретические подходы и методологические основы оценки
  • Методы сбора данных
  • Визуализация данных и коммуникация результатов
  • Системы мониторинга и оценки

Программа очень качественная:

  • Экспертный состав преподавателей. Курсы ведут признанные авторитеты в области оценки, включая Майкла Пэттона (основатель развивающей оценки), Стюарта Дональдсона и других известных специалистов.
  • Комплексный охват тематики. Программа сбалансированно охватывает как теоретические, так и практические аспекты оценки программ, от фундаментальных концепций до передовых методов.
  • Интерактивная методика преподавания. Большинство курсов построены на интерактивном подходе, включающем практические упражнения, разбор кейсов и применение полученных знаний к реальным ситуациям.
  • Логичная структура программы. Курсы взаимодополняют друг друга, создавая целостную картину современной практики оценки программ.

Программа имеет высокую актуальность для современного контекста:

  • Интеграция ИИ и машинного обучения. Включение курсов по машинному обучению и генеративному ИИ отражает трансформационные изменения в области оценки программ.
  • Адаптация к пост-пандемическим реалиям. Курс по адаптивной оценке включает новые подходы, разработанные в ответ на вызовы пандемии COVID-19.
  • Фокус на данных и доказательствах. Программа отражает растущее значение данных в принятии решений.
  • Соответствие современным стандартам компетенций специалиста по оценке.


среда, 16 апреля 2025 г.

Монетизация эффекта от консультирования

Завтра на клубе PROОЦЕНКУ будем обсуждать, как оценивать эффективность использования средств. Думал об этом на вчерашнем приеме в честь 30-летия Консалтинг-центра ШАГ. К ним пришли руководители крупных компаний, с которыми ШАГ работал на протяжении длительного времени. В своих поздравлениях все они отметили, что взаимодействие с консультантами помогло добиться существенного прогресса в развитии бизнеса. Называли конкретные показатели, свидетельствующие, в частности, о кратном увеличении оборота и доли рынка.

Очевидно, что во всех этих случаях деньги на консультантов были потрачены, по мнению клиентов, с большой пользой. Но можно ли монетизировать эффект от консультирования? То есть, сказать, что, заплатив консультантам сумму Х, компания нашла и внедрила решения, которые позволили увеличить оборот в N раз. Далее поделить прирост оборота на сумму, потраченную на консультационные услуги и получить «возврат на инвестиции в консалтинг», исчисляемый в рублях на 1 вложенный рубль.

Вчера на торжественном мероприятии обсуждать этот вопрос было, конечно, не вполне уместно. А вот завтра мы вполне можем поговорить и об этом.

Пока же хочу поздравить наших дорогих друзей и коллег из консалтинг-центра ШАГ с замечательным юбилеем! Вы – лучшие!

PS В качестве иллюстрации к этой публикации использован первый логотип ШАГа. Хорошо помню историю его создания. В него точно была вложена частичка души основателей ШАГа Евгения и Светланы Емельяновых.

пятница, 4 апреля 2025 г.

Об оценке в очередном эпизоде подкаста ИРСУ «Чейные дети»


Беседуем с Мариной Ивановой об оценке в 12 выпуске подкаста «Чейные дети» (его поддерживает Институт развития семейного устройства - ИРСУ). Этот эпизод о том, что такое оценка социальных программ, почему это не проверка, а пространство для развития. Как оценка может быть связана не с внешним контролем, а с внутренней честностью и какие нужны качества человеку, который может всерьёз говорить об эффективности социальной деятельности.

четверг, 3 апреля 2025 г.

Онлайновый курс «Системное мышление»

Сегодня было объявлено о регистрации заявок на участие в онлайновом учебном курсе «Системное мышление», который мы проводим в сотрудничестве с новосибирским ИнА Центром. 

Хотел бы немного рассказать о программе и о том, как будет построено обучение. 

Контекст. Как следует из названия курса, мы будем рассматривать системное мышление в контексте социального проектирования, оценки социальных программ и управления НКО. Это означает, что основная часть примеров и практических заданий будет иметь отношение к этим трем сферам.

Теоретическая база. Разговор о системном мышлении невозможен без обсуждения некоторых базовых положений, которые так или иначе встречаются в большинстве публикаций по данной теме. В качестве концептуальной основы для формирования структуры данного курса я использовал публикации Боба Вильямса (Bob Williams), широко известные среди специалистов по оценке и социальному проектированию во всем мире. При этом будет много ссылок и на другие источники, конечно.  

Практическая ориентация. Основным приоритетом для нас при подготовке учебного курса было стремление сделать так, чтобы каждый участник смог вынести для себя что-то полезное и даже начать применять свои находки на практике уже по ходу обучения. На каждом занятии мы будем рассматривать несколько инструментов разной степени сложности. 

Интерактивность. Курс будет построен как сочетание мини-лекций с обсуждениями в различных форматах. Мы также планируем, что домашние задания будут выполняться не индивидуально, а в малых группах.

Думаю, будет интересно! :)

пятница, 28 марта 2025 г.

Этика консультанта: по следам одной онлайновой дискуссии

XCeval — это рассылка для лиц, интересующихся вопросами, связанными с международной и кросс-культурной оценкой. В списке рассылки сегодня, полагаю, более 2000 человек со всего мира. Подробнее о группе и возможность подписаться здесь.

Я подписался на эту рассылку с момента создания группы (лет 20 назад, наверное), читаю регулярно. Пишу крайне редко.

В последние несколько дней в группе идет дискуссия, о которой хотел бы сказать пару слов сегодня. Переписка открытая, но имен авторов сообщений упоминать не стану. Интересующиеся могут сами посмотреть. 

Итак, все началось с письма о том, что некий консультант отправил заявку на тендер на проведение внешней оценки для одного из офисов Международной организации труда (МОТ). Этот консультант сетовал в своем письме, что ему не пришло никакого ответа. Дальше – больше. Сразу несколько человек написали, что у них тоже такое было с МОТ. И что вообще, наверное, МОТ формально объявляет тендеры, а консультантов выбирает заранее. В развитие этой мысли люди, которые, по их словам, имели опыт проведения оценки для МОТ, стали писать, что МОТ работает из рук вон плохо, а ценные рекомендации, которые дают консультанты по результатам оценки, не внедряет (приводились конкретные примеры). Были замечания типа того, что надо принимать «суровую правду» (которую можно найти в отчетах по оценке), а не «вычищенные тексты» для публикаций из отчетов делать. Были жалобы на сокращение бюджетов на проведение оценки (при этом задания не сокращаются). Сегодня после небольшой паузы еще один специалист, знающий МОТ, написал, что, по его мнению, МОТ не адаптировала свои подходы к меняющейся среде, и что это коренная причина проблем МОТ.

В ходе этой дискуссии появилось письмо от Офиса оценки МОТ с призывом обращаться к ним «напрямую для конструктивного и уважительного обсуждения, а не размещать в этом списке рассылки клеветнические заявления, которые могут нанести вред работе и репутации преданных своему делу специалистов МОТ». И дальше было требование модерировать список рассылки, чтобы подобные публикации не появлялись. 

Я не собираюсь здесь обсуждать, что из этого правда, а что – нет, но хочу сказать следующее.

Если ты – внешний консультант, то ты многое узнаёшь о своем клиенте. Иначе ты не сделаешь свою работу. Но как же можно публично обсуждать то, что тебе стало известно в силу выполнения тобой (за деньги клиента!) профессиональных обязанностей по договору?  У меня это в голове не укладывается!  

Подозреваю, что здесь дело в том, что некоторые специалисты по оценке занимают позицию «активистов», для которых задача улучшения мира (как они ее понимают) имеет приоритетное значение. Майкл Скривен, критикуя «традиционный» подход с иронией написал в своей статье «Активистская оценка» (Michael Scriven (2007) Activist evaluation) следующее: «Как правило, дело обстоит так, что клиенты хотят рекомендаций, а оценщики делают их в надежде, что они будут приняты. Другими словами, вы пытаетесь оказать влияние. Это довольно проактивно, не так ли?». Радикально настроенные оценщики вообще намерены «бросить вызов привилегированным дискурсам власть имущих» (читай – клиентов). 

На мой взгляд, такая позиция противоречит базовым этическим принципам, которыми должен руководствоваться внешний консультант, работающий с организацией. С любой организацией.  


понедельник, 17 марта 2025 г.

Цифровой Фотоголос

Американская ассоциация оценки ведет уникальный блог, на который я неоднократно ссылался Новые публикации в нём появляются ежедневно. Этого удается добиться за счет активного привлечения членов ассоциации через тематические группы, объединяющие специалистов по сферам их профессиональных интересов в сфере оценки. Таких групп в ассоциации несколько десятков, и каждая получает возможность вести блог в течение недели. Сейчас идет неделя группы «Оценка потребностей». Во вчерашней публикации речь шла об использовании цифровой (онлайновой) версии метода Photovoice (Фотоголос). 

Наши американские коллеги пишут: «Photovoice — это широко используемый в развитии сообществ и оценке потребностей качественный метод исследования. Он предполагает применение фотографии для фиксации точек зрения участников, стимулирования обсуждения и сбора историй… Цифровой Фотоголос, объединяющий традиционный Фотоголос с социальными сетями, создает мощный, гибкий и интерактивный подход к сбору данных с помощью виртуальных встреч, выставок и обсуждений, что делает его особенно эффективным для привлечения молодых участников».

Этот метод у нас достаточно давно известен в классическом варианте с использованием одноразовых фотокамер и печатью фотографий. У меня есть несколько знакомых, которые использовали Фотоголос с применением цифровой фотографии. А теперь и у нас в стране уже появляется опыт применения этого метода в формате онлайн

Вот основные этапы использования Photovoice для нужд местного сообщества. 

  1. Определение исследовательской темы и целей. Выбор проблемы или вопроса, который требует внимания и решения в конкретном сообществе. Формулирование целей. Основные цели Photovoice включают вовлечение сообщества в обсуждение проблем.
  2. Подготовка участников и оборудования. Обучение участников. Проведение брифингов для участников, где им объясняется цель проекта и предоставляется информация о том, как использовать камеры или смартфоны для фотографирования. Оборудование: использование камер или смартфонов для фотографирования.
  3. Сбор данных через фотографии. Фотографирование: участники запечатлевают фотографии, которые отражают их взгляд на исследовательскую тему. Отбор фотографий: участники выбирают наиболее значимые фотографии для дальнейшего обсуждения.
  4. Обсуждение и интерпретация фотографий. Проведение групповых дискуссий, где участники обсуждают выбранные фотографии, объясняют их значение и делятся своими мыслями о фотографиях других участников. Запись и транскрибирование групповых дискуссий для дальнейшего анализа.
  5. Анализ и презентация результатов. Анализ фотографий и дискуссий для выявления ключевых тем и проблем. Презентация результатов заинтересованным сторонам, политикам или общественности для стимулирования социальных изменений.
  6. Вовлечение сообщества. Использование результатов для вовлечения сообщества в процесс планирования и осуществления социальных изменений. 

четверг, 27 февраля 2025 г.

Eval4Action вновь зажигает факел оценки

2015 год был объявлен ООН Международным годом оценки. Решение было принято в 2013 году, о чем можно прочесть, например, здесь. В течение 2015 года по всему миру была проведена серия мероприятий, посвященных развитию оценки. В качестве символической эстафеты использовался факел (см. фото, датированное ноябрем 2015). 

И вот спустя 10 лет факел оценки (#EvalTorch) загорится вновь. Об этом сообщила Международная инициатива #Eval4Action.  Инициатива #Eval4Action стала откликом международного сообщества специалистов по оценке на призыв Генерального секретаря ООН «активизировать срочные и масштабные действия для своевременного достижения Целей устойчивого развития (ЦУР)». 

К чему же нам готовиться? 

#Eval4Action сообщает: «Приготовьтесь к возрождению мощного символа и всемирного призыва к действию: #EvalTorch! EvalTorch воплощает страсть, экспертизу и дух сотрудничества сообщества в сфере оценки. Он представляет собой жизненно важную передачу знаний и вдохновения, гарантируя, что пламя оценки будет ярко гореть из поколения в поколение. EvalTorch — это не просто символ, это призыв к действию, побуждающий сообщество оценщиков активно формировать будущее оценки путем адаптации и инноваций, гарантируя, что оценка будет соответствовать своему предназначению для решения глобальных проблем и реализации возникающих возможностей».

Планируется, что лидеры инициативы передадут факел оценки на мартовской конференции в Риме Президенту IDEAS  и Генеральному директору Офиса независимой оценки Нового банка развития (БРИКС). И факел будет путешествовать далее вплоть до Конклава оценки

К пафосным акциям с факелом можно относиться по-разному, но сама по себе активизация международного сообщества специалистов по оценке – дело несомненно важное. И здесь я хотел бы просто снять шляпу перед моих хорошим знакомым Марко Сегоне (на фото – справа в белой рубашке), который совершенно точно опять приложил ко всему этому руку! 

PS Кстати, зажигать, вообще-то, начал ИнА-Центр в этом году. Если кто еще не слышал 😊, Ассоциация ИнА-Центр реализует проект «Созвездия оценки» при поддержке Фонда президентских грантов под девизом «Зажигаем звезды оценки». Так что мы точно в тренде.

вторник, 25 февраля 2025 г.

Ракурсы

Вместе с ИнАЦентром готовимся к проведению нового онлайнового курса «Системное мышление в контексте социального проектирования, оценки и организационного развития НКО». Регистрация и подробная информация появятся в апреле в телеграм-канале. Сам курс пройдет с мая по август. 
В системном мышлении существует «принцип ракурсов». Состоит он в том, что анализировать сложные ситуации следует с различных точек зрения. Два мероприятия, которые прошли в прошлый четверг и сегодня, были хорошей иллюстрацией этого принципа. 
Первое – заседание клуба PROОЦЕНКУ (презентация и видеозапись доступны), где мы обсуждали сравнительную оценку онлайн и офлайн форматов проведения Школы приемных родителей. Второе – представление того же самого отчета представителям Школ приемных родителей (ШПР) из разных регионов России. 
В клуб люди приходят поговорить про оценку. Соответственно, при обсуждении отчета разговор шел о постановке задачи, взаимодействии с заказчиком оценки, о том, что может дать оценка для развития программы. Пример одного из выводов, сделанных участниками: «Оценка и ее результаты могут открывать дискурс, расширять его, становиться темой для профессионального обсуждения».
На сегодняшней встрече были те, кто проводит ШПР и, возможно, представители опеки. Естественно, ракурс был совершенно другой. Участники говорили о том, как можно перевести ШПР в онлайн формат, что это даёт, какие при этом возникают трудности, какой имеется опыт проведения онлайновых ШПР. Вот пример одного из высказываний участников встречи: «Главное не онлайн или оффлайн, а подходы, ценности, формы работы, которые применяются.  Важно создание пространства, где участники могут примерить роль приемного родителя и увидеть свои сильные и слабые стороны».