Самые популярные публикации в блоге в 2025 году

По традиции в конце года отмечу топ-5 публикаций, вызвавших наибольший интерес (максимальное число просмотров на Blogspot):

1. Практикуй то, что проповедуешь 
2. Результаты оценки клуба PROОЦЕНКУ 
3. Мой начальник велел использовать ИИ 
4. Ракурсы 
5. 14 привычек системного мыслителя 

Первые два поста относятся к самооцениванию клуба PROОЦЕНКУ, отметившему в этом году свое четырехлетие. На третьем месте по числу просмотров один из постов про искусственный интеллект и его использование в НКО. На четвертом и пятом местах посты о системном мышлении.

Когда увидел эту статистику, то подумал, что все три темы были для меня точно в числе самых важных:

• Онлайновый курс по системному мышлению, который мы провели вместе с новосибирским ИнА-Центром, прошел хорошо. Очень рад, что получилось интересно. Несколько публикаций о системном мышлении именно с этим курсом связаны.
• С искусственным интеллектом работаю практически каждый день. Накапливается интересный опыт. Стараюсь следить за тем, что в этой сфере в мире происходит. 
• Само-оценивание клуба PROОЦЕНКУ считаю важным этапом в развитии этой инициативы. С группой волонтеров мы смогли за месяц провести большую работу и получили важные с практической точки зрения результаты.

В общем, из того, о чем можно было написать в блоге, это было самым интересным и важным для меня. Конечно, было ещё много интересного и важного с профессиональной точки зрения. По понятным причинам оно осталось «за кадром» 😊 

С наступающим Новым Годом! Всего самого доброго! До встречи в 2026!

Компетенции специалиста по оценке: всё непросто

В середине 90-х годов канадские коллеги (Канадское общество оценки) начали работу по описанию компетенций специалиста по оценке. Вскоре после этого аналогичная работа была проведена американцами (Американская ассоциация оценки) и австралийцами (Австралийское общество оценки). Во всех трех случаях подходы по формированию перечня компетенций были идентичными ("снизу -  вверх"): коллеги просили опытных специалистов по оценке отрефлексировать свой опыт. На основании их ответов были подготовлены проекты документов, которые предлагались для обсуждения в профессиональном сообществе. По итогам этих обсуждений принимались окончательные версии. Таким образом, первые перечни компетенций формировались на основании многолетнего практического опыта проведения оценки в странах, где степень зрелости оценки как профессии была достаточно высокой. Можно предположить, что проведение подобной работы было признаком зрелости профессии в этих странах. В этой презентации есть информация о профессионализации оценки. 

В начале 2000-х было опубликовано уже около полутора десятков перечней компетенций. В 2016 году появились компетенции специалиста по оценки от Группы оценки ООН. В этой презентации есть несколько перечней компетенций, включая ооновский.   

Многие считают, что сущностных отличий между этими перечнями нет. Именно поэтому Американская ассоциация оценки выступила с инициативой договориться всем о некотором «ядре» компетенций, которое стало бы общим для всех стран и составило бы ориентировочно 60-80% от национальных перечней. Оставшиеся 20-40% могли бы быть специфичными для конкретной страны. Была даже сформирована международная рабочая группа для реализации этой идеи. Вроде бы, все логично: речь же идет об одной и той же профессии. Но не тут-то было…

И здесь перехожу к тому, что всё непросто 😊 (см. заголовок). Список сложностей, конечно, не исчерпывающий. 

• Договориться не удалось. Не буду вдаваться в подробности, но полагаю, что, степень зрелости оценки как профессии в мировом масштабе оказалась недостаточно высокой для достижения консенсуса даже по 60% компетенций. 
• Одна из сложностей связана с тем, что в зависимости от особенностей выбранной карьеры в оценке (практик, теоретик, преподаватель, менеджер – см. рисунок) перечни компетенций могут быть разными. В связи с этим возникают интересные вопросы, связанные с различными сочетаниями особенностей карьеры, например, «практик + преподаватель». Подробнее здесь можно посмотреть об этом.  
• Еще одна сложность связана с тем, что при наличии большого количества публикаций о компетенциях повышается вероятность принятия компетенций по принципу «сверху вниз» без обсуждения с профессиональным сообществом в той или иной стране. В принципе, такое возможно даже до появления такого сообщества в отдельно взятой стране.
• В заключение хотел бы сказать еще об одной сложности, о которой писал и говорил ранее (подробнее здесь). На мой взгляд, внешняя оценка является одним из видов консультирования, что предполагает включение навыков консультирования в перечень компетенций специалиста по оценке. Пока этого не происходит.

Оценка или измерение?

Если очень коротко, то это, конечно, не одно и то же: оценка (применительно к социальным проектам и программам) – это про ценность, а измерение – это про показатели. Если кого-то спросят: «Как тебе новая квартира?», он, скорее всего, скажет что-то вроде «уютная, удобная, просторная, тихая, вид из окна замечательный» и т.д. Ответ типа «44 кв.м., кухня 12 кв.м.» в этом случае выглядел бы немного странно, хотя эти показатели, безусловно, характеризуют квартиру и связаны с тем, как она воспринимается хозяином. Однако вопрос был о ценности квартиры для хозяина, а не о ее параметрах. Уточню: я ни в коем случае не против использования показателей. Я о том, что не всё ценное измеримо и что измерение не может и не должно заменять смысл. 

Несколько лет назад в публичной дискуссии об оценке социальных проектов и программ участвовал Епископ Пантелеимон. Закончу эту публикацию его словами: «Нельзя посчитать добро и любовь, сострадание и сочувствие. Считать можно только деньги».

PS В качестве иллюстрации использована обложка книги Дугласа Хаббарда «Как измерить все, что угодно». Позиция автора: «Среди людей бытует мнение, что многие вещи в мире не поддаются количественной оценке. Это широко распространенное заблуждение наносит существенный ущерб экономике, общественному благосостоянию, окружающей среде и даже национальной безопасности».

Про «лучшие практики» от Майкла Пэттона

В очередной раз столкнулся по работе с обсуждением «лучших практик». Многие ведущие специалисты считают этот термин некорректным, по крайней мере, применительно к социально-ориентированным программам и проектам. Они указывают на то, что для оценки практики следует учитывать контекст, в котором она реализуется, и ракурсы, с которых она рассматривается (привет участникам семинара по системному мышлению!). 

Приведу немного сокращенные рекомендации Майкла Пэттона относительно (не)использования термина «лучшие практики» (опубликовано на портале BetterEvaluation в 2015 году):

1. «Избегайте как задавать, так и принимать вопрос «Что есть лучшее?». Как это часто бывает, проблема начинается с неправильного вопроса. Задайте более тонкий вопрос, чтобы направить ваше исследование, вопрос, который самой своей формулировкой уводит от понятия «лучшего». Спросите, что работает, для кого, какими способами, с какими результатами, при каких условиях и в каких контекстах, в течение какого периода времени.
2. Откажитесь от ярлыка «лучшая практика». Не используйте его даже в повседневной речи, не говоря уже о профессиональной.
3. Когда вы слышите, как другие используют этот термин, поинтересуйтесь подтверждающими доказательствами. Обычно оказывается, что они хлипкие – это мнение, маскирующееся под исследование. Там, где выводы в значительной степени достоверны, они все равно не будут соответствовать стандарту определенности и универсальности, требуемому обозначением «лучший». Поэтому я заявляю, что единственная лучшая практика, в которой я полностью уверен, – это избегать ярлыка «лучшая практика».
4. Когда существуют достоверные доказательства эффективности, используйте такие термины как более совершенные практики, эффективные практики или перспективные практики. 
5. Вместо поддержки поиска «самого лучшего» поощряйте диалог и обсуждение множественных интерпретаций и ракурсов».

Почувствуйте разницу

Международная сеть «Оценка программ» (IPEN) была создана в 2000 году и стала первым профильным объединением в сфере оценки на территории бывшего СССР. В партнёрстве с местными НКО Сеть проводила ежегодные конференции в разных странах региона. Первая конференция прошла в Новосибирске. Хорошо помню, что на одной из сессий в течение 1,5 часов участники обсуждали, что такое оценка и как они это понимают…

Прошло 25 лет.

На 50-м (!) ежемесячном заседании клуба PROОЦЕНКУ на прошлой неделе обсуждали, как на практике работает оценка в НКО. Приведу некоторые результаты онлайн-анкетирования участников заседания (кстати, в 2000 году мы вряд ли могли себе представить онлайн-анкетирование).

85% опрошенных сообщили, что специалисты их организации проходили обучение в области мониторинга и оценки. 45% из числа представленных на заседании НКО используют для проведения мониторинга современные информационные технологии. У 30% НКО есть внутренние документы, регламентирующие проведение мониторинга и оценки. Мониторинг проектов чаще всего входит в зону ответственности менеджеров этих проектов. На диаграмме показано распределение ответов на вопрос о том, какие виды оценки ПРОВОДИЛИСЬ организациями участников заседания клуба. 

Как говорится, почувствуйте разницу!

Осенний Институт оценки в США: ИИ рулит

Сегодня начались занятия в Институте оценки (США) в онлайновом формате. За неделю предлагается 8 курсов, 3 из которых посвящены использованию ИИ в оценке. Предлагаю ниже названия и описания этих трех курсов. 

Оценка программ с помощью искусственного интеллекта: от административных данных к автоматизированным инсайтам (3 дня)

Практический курс для специалистов, желающих использовать ИИ и машинное обучение в оценке программ, особенно при работе с административными данными. Основа курса — автоматизация процессов оценки, применение визуальной платформы KNIME (не требует навыков программирования) для каузального моделирования, анализа структурированных и неструктурированных данных, а также извлечения качественных инсайтов с помощью больших языковых моделей. Курс рассчитан на опытных оценщиков и даёт навыки преобразования данных, проведения каузального анализа и автоматизации оценочных процедур.

Анализ и представление данных с помощью искусственного интеллекта: практическое введение (2 дня)

Курс посвящён применению инструментов ИИ на всех этапах работы с данными — от обзора литературы и проектирования исследований до анализа, визуализации и подготовке отчётов. Участники изучат методы очистки и исследования данных с помощью ИИ, автоматизации статистических анализов, улучшения визуализаций и создания отчётов. Особое внимание уделяется критической оценке результатов, полученных с помощью ИИ, и типичным ошибкам, которых следует избегать. Курс нацелен на специалистов, знакомых с основами статистики, которые хотят интегрировать ИИ в свою профессиональную деятельность.

Лидерство нового поколения для специалистов по оценке: использование инструментов искусственного интеллекта для развития лидерских качеств (2 дня)

Курс ориентирован на развитие лидерских навыков у специалистов в области оценки с помощью современных ИИ-инструментов. В процессе обучения рассматриваются индивидуализированные траектории развития, поддержка принятия управленческих решений, освоение новых компетенций и формирование стиля современного лидера-оценщика с учётом вызовов быстро меняющейся профессиональной среды. Уделяется внимание персонализированному обучению, аналитике и внедрению инноваций в управлении командой и проектами с опорой на ИИ.

Само-оценивание клуба PROОЦЕНКУ: уроки

Только что завершилась сессия на конференции АСОПП, где мы обсуждали уроки само-оценивания клуба PROОЦЕНКУ, о которой я писал ранее. Постарались подняться на уровень выше собственно результатов оценки. Разговор получился очень интересный и в хорошей компании! :)

Вот уроки, которые мы с Владимиром Балакиревы сформулировали: 

1. Неформальное сообщество оказалось хорошим ресурсом для проведения само-оценивания. 
2. Само-оценивание является возможностью для освоения и совершенствования навыков оценки. Особенно в том случае, когда в команде есть люди, которые могут поделиться опытом. 
3. Само-оценивание позволяет выявить «актив» и дает возможность людям проявить себя.
4. Само-оценивание позволяет узнать то, о чем по-другому узнать сложно либо вообще невозможно.
5. Само-оценивание помогает уточнить замысел инициативы.
6. Само-оценивание помогает определить, какие изменения точно назрели.
7. Четырехлетний опыт клуба PROОЦЕНКУ подтвердил базовые теоретические положения, касающиеся формирования и развития сообщества практиков. Эта теория работает.
8. Возможности для оценки влияния инициативы в формате само-оценивания могут быть существенно ограничены.

«Импакт» или «воздействие»?

Тема конференции АСОПП в этом году «Импакт и оценка». Организаторы конференции поясняют, что «английский термин «импакт» (impact - АК) на русский переводят и как влияние, и как воздействие, а в последнее время все чаще используют и без перевода». Оправдано ли такое заимствование? 

РБК-тренды справедливо пишут о том, что споры вокруг заимствований в русском языке не утихают со времен Пушкина.  Действительно, как удобнее сказать «кешбэк» или «деньги обратно»? Языковое «импортозамещение» является предметом серьезных исследований. К примеру, ИНИОН в 2018 году выпустил целый сборник научных трудов, где современная языковая ситуация рассматривается как следствие процесса глобализации. 

До последнего времени в русском языке на практике чаще использовалось выражение «оценка социального воздействия», а не «оценка импакта». Это было связано с устоявшейся терминологией, привычными для специалистов концепциями и традиционным понятием результата социально-ориентированных проектов, программ и инициатив. Замечу, что термин «импакт» не особенно приживался несмотря на то, что в хрестоматийном варианте логики социального проекта на английском языке (outputs-outcomes-impact) этот термин присутствовал. 

Мне кажется, что переломным моментом стало продвижение в нашей стране концепции импакт-инвестиций. Так называют "вложения капитала в предприятия, проекты и фонды, которые имеют целью не только получение финансовой прибыли, но и создание измеримого позитивного социального или экологического эффекта для общества". Варианты «инвестиции социального воздействия» или «социально-преобразующие инвестиции», похоже оказались тяжеловатыми (вроде «денег обратно»). Кроме того, к продвижению термина приложили руку ведущие международные консалтинговые компании, исопльзующие английскую терминологию. «Импакт» стали использовать в бизнесе в значении «измеримый, ощутимый, экономически доказанный социальный либо экологический эффект». 

В итоге, сегодня оба термина существуют параллельно: «социальное воздействие» сохраняется как устоявшийся и понятный термин; «импакт» широко используется бизнесом в контексте ESG-инвестирования и/или импакт-инвестирования.  

По большому счету, надо просто понимать, что стоит за тем или иным термином. Тогда общий язык найти несложно. Но есть один важный нюанс. В оценке социальных проектов и программ существует общепринятое и общепризнанное определение «impact evaluation» (оценка социального воздействия), которое подразумевает выявление и обоснование причинно-следственной связи между воздействием и его эффектами. 

«Мой начальник велел использовать ИИ»

Стефани Эвергрин (Stephanie Evergreen) известна в США и в мире как ведущий специалист по визуализации данных. Она ведет блог, опубликовала несколько книг, разработала один из самых популярных чек-листов по визуализации данных.

Позавчера Стефани рассказала в блоге о том, что один из ее подписчиков прислал письмо следующего содержания: «Сейчас я работаю в [название крупной компании, которую все знают], и мой руководитель просит меня использовать ИИ для быстрого создания более качественных визуальных материалов и формирования аналитических заключений...». Стефани считает, что вокруг ИИ сегодня имеет место искусственно созданный ажиотаж, который очень похож на события 15-летней давности, когда была мода на дашборды (визуальные панели, отображающие ключевые данные из разных источников в виде графиков и диаграмм). Тогда считалось, что это шедевр визуализации и решение многих проблем. Любопытно, что Стефани в то время получала письма про дашборды точно такого же содержания как сейчас про ИИ ("начальник велит использовать"). 

Стефани провела серьезное исследование и опробовала более дюжины нейросетей, которые специализируются на визуализации данных. Обещает рассказать об этом на конференции и наверняка напишет статью. 

То, что у нас пока нет ажиотажа вокруг использования ИИ для визуализации данных, можно сказать почти наверняка. А вот вокруг использования ИИ для других целей хайп серьезный. Гугл даёт 2,170,000 ссылок на «хайп вокруг ИИ». 

Форбс, к примеру, публикует статью под интригующим названием «Горе от интеллекта: как хайп вокруг ИИ вредит IT-продуктам». 

Систему Антиплагиат уже научили распознавать тексты, сгенерированные нейросетями. 

Эксперты, занимающиеся оценкой заявок на гранты, говорят о все более активном использовании ИИ заявителями и сами даже не всегда замечают это. 

Но вот, чтобы руководитель НКО велел своему сотруднику использовать ИИ, такое бывает довольно редко. Впрочем, ситуация может измениться в ближайшее время. Знаю, что многие НКО либо размышляют, либо уже присутпили к интегрированию ИИ в свою деятельность. Посмотрим…

Эффект бабочки

Эффект бабочки — это явление в сложных динамических системах, при котором малое изменение начальных условий может привести к качественно иным и непредсказуемым последствиям в долгосрочной перспективе. Термин был введен метеорологом Эдвардом Лоренцем в 1960-х. Он показал, что даже взмах крыльев бабочки (микровозмущение воздуха) теоретически может изменить траекторию урагана через месяц.

В середине 90-х один специалист по оценке социальных программ в Великобритании серьезно приболел. Так, что ему пришлось отменить поездку в Москву. Они должны были ехать вдвоем, чтобы провести семинар по оценке для представителей НКО. Вторым преподавателем была женщина с большим опытом проведения оценки в некоммерческом секторе, но не столь опытная в проведении тренингов. Поскольку времени для поиска замены заболевшего тренера в Великобритании уже не было, она попросила подобрать ей напарника для проведения тренинга из России со знанием английского и опытом консультирования/обучения НКО. В момент, когда этот запрос поступил в московский офис организаторов тренинга, я был там по каким-то делам. Они рассказали мне о сложившейся ситуации и спросили, не соглашусь ли поучаствовать в качестве ко-тренера. Замечу: в тот момент я про оценку особо ничего не знал и согласился быть «группой поддержки». 

Так я познакомился с Сарой дел Туфо (это она проводила тренинг) и – заодно – с оценкой 😊 Тема меня заинтересовала. Сара по возвращении домой выслала мне несколько книжек. Одна из них называлась «Практическая оценка». Написал ее Майкл Пэттон. Рассказ об оценке в его версии меня окончательно убедил в том, что надо двигаться в этом направлении. С Сарой мы подружились и еще несколько раз поработали вместе – проводили обучение специалистов из НКО и оценку международных проектов. Когда я поступил на программу PhD, Майкл стал моим научным руководителем.

И я даже не знаю, как звали того англичанина, который приболел и не смог приехать в Москву...