BRICS и оценка

Сегодня открылся прием заявок на выступления на международной конференции, тему которой звучит примерно примерно так: «Многомерная оценка, ориентированная на влияние и трансформацию». Организаторы конференции – Ассоциация оценки международного развития (IDEAS) и (внимание!) Новый банк развития (НБР), ранее известный как Новый банк развития БРИКС (международная финансовая организация, которая создана странами-членами БРИКС - Бразилией, Россией, Индией, Китаем и ЮАР). Конференция пройдет с 4 по 6 марта 2025 года в Риме (Италия). Для всех докладчиков формат участия – офлайн. 

Программа конференции включает 6 тематических направлений: 

1. Актуальность и сложность оценки Целей устойчивого развития
2. Оценка трансформационных изменений 
3. Контекст оценки и культура
4. Гендер, права человека и равенство
5. Развитие потенциала оценки
6. Оценка устойчивого развития в странах БРИКС и других странах с развивающейся экономикой

Насколько мне известно, это первое событие глобального масштаба, где рассматривается тема оценки в странах BRICS. Можно предположить, что НБР не случайно стал со-организатором данной конференции, и что он продолжит поддержку инициатив, связанных с оценкой. Политика НБР в сфере оценки, принятая в 2022 году, подтверждает, что банк придает большое значение этому направлению деятельности. 

Сайт конференции здесь.

Интеграция инструментов искусственного интеллекта в процессы оценки

Вчера в городе Портленд (шт.Орегон) в конгресс-центре (на фото) открылась очередная конференция Американской ассоциации оценки. Одна из тем, которую коллеги будут обсуждать, конечно же, связана с использованием искусственного интеллекта. Я насчитал порядка 10 сессий, в названия которых включены слова «искусственный интеллект». Одна из них, например, называется так: «Призраки в оценочной машине: этика, защита данных, метаоценка и качество оценки в эпоху искусственного интеллекта»… Было бы интересно послушать 😊 Ну, это, "когда воротимся мы в Портленд", как поётся в известной песне. 

Мы готовимся обсудить вопросы практического использования ИИ в оценке на одной из сессий в рамках Института оценки, который пройдет в Москве в декабре. Заявки на участие в Институте принимаются до 5 ноября ЗДЕСЬ.

Пока же посмотрим, что зарубежные коллеги пишут о проблемах, связанных с использованием искусственного интеллекта (ИИ):

1. Проблемы конфиденциальности и безопасности данных. Использование ИИ в оценке часто подразумевает обработку больших объемов конфиденциальных данных, что вызывает серьезные проблемы. Неспособность должным образом защитить персонально идентифицируемую информацию может привести к юридическим последствиям и потере доверия.
2. Проблемы предвзятости. Системы ИИ могут наследовать и усиливать предвзятость, заложенную при их обучении, что, в свою очередь, может привести к несправедливым или даже дискриминационным результатам оценок. От специалистов по оценке потребуются сознательные усилия для того, чтобы этого избежать.
3. Закрытость процесса. Многие системы ИИ, особенно основанные на сложных алгоритмах, функционируют как «черные ящики», что затрудняет понимание того, как был получен тот или иной результат. Такое отсутствие прозрачности может подорвать доверие к результатам, полученным с помощью ИИ, и в целом усложнить обоснование результатов оценки. 
4. Интеграция с существующими процессами. Внедрение инструментов ИИ требует существенных изменений в устоявшихся процессах оценки. Удастся ли их органично соединить с новыми технологиями? 
5. Вопросы нормативного регулирования. Специалистам по оценке, использующим ИИ, может быть сложно ориентироваться в нормативно-правовом поле. Обеспечение соответствия систем ИИ правовым стандартам и этическим нормам может потребовать дополнительных усилий.
6. Развитие новых навыков. По мере развития технологий ИИ растет необходимость в приобретении оценщиками новых навыков, имеющих отношение к внедрению и использованию ИИ. Следовательно, нужны качественные специализированные программы обучения. Их пока явно недостаточно.

С Днем учителя!

В 1986 году в Россию приезжал Карл Роджерс – один из основателей гуманистической психологии. В то время я учился на факультете психологии МГУ и попал на его выступление в университете. Очень повезло! 

К чему это я? Вчера был День учителя. Хотел бы поздравить всех причастных к этой замечательной профессии и напомнить вопросы, которые Карл Роджерс задал бы себе, если бы был учителем (статья с этими вопросами здесь): 

1. Умею ли я входить во внутренний мир человека, который учится и взрослеет? Смог ли бы я отнестись к этому миру без предрассудков, без предвзятых оценок, смог ли бы я личностно, эмоционально откликнуться на этот мир?
2. Умею ли я позволить самому себе быть личностью и строить открытые, эмоционально насыщенные, неролевые взаимоотношения с моими учениками, отношения, в которых все участники учатся? Хватит ли у меня мужества разделить со своими учениками эту интенсивность наших взаимоотношений?
3. Сумею ли я обнаружить интересы каждого в моем классе и смогу ли позволить ему или ей следовать этим индивидуальным интересам, куда бы они ни вели?
4. Смогу ли помочь моим ученикам сохранить живой интерес, любопытство по отношению к самим себе, к миру, который их окружает, сохранить и поддержать самое дорогое, чем обладает человек?
5. В достаточной ли степени я сам творческий человек, который сможет столкнуть детей с людьми и с их внутренним миром, с книгами, всеми видами источников знаний – с тем, что действительно стимулирует любознательность и поддерживает интерес?
6. Смог ли бы я принимать и поддерживать нарождающиеся и в первый момент несовершенные идеи и творческие задумки моих учеников, этих посланников будущих творческих форм учения и активности? Смог ли бы я принять тех творческих детей, которые так часто выглядят беспокойными и не отвечают принятым стандартам в поведении?
7. Смог ли бы я помочь ребенку расти целостным человеком, чувства которого порождают идеи, а идеи – чувства?

Искусственный интеллект и оценка

По мнению многих экспертов, 2023 год стал прорывным с точки зрения практического использования искусственного интеллекта (ИИ) самыми разными специалистами, включая высших руководителей крупнейших компаний. Не остались в стороне и специалисты по оценке проектов и программ. Как уже сегодня можно использовать ИИ в оценке? Вот что по этому поводу говорит сам искусственный интеллект (GigaChat). Картинку он же сделал по моей просьбе.

“Искусственный интеллект (ИИ) можно использовать для автоматизации процессов и повышения эффективности при проведении оценки социальных проектов и программ. Вот несколько способов:

• Автоматическая обработка данных: ИИ может обрабатывать большие объемы данных, собираемых в ходе реализации проекта, и анализировать их для получения инсайтов.
• Прогнозирование результатов: Используя алгоритмы машинного обучения, ИИ способен предсказывать возможные результаты проекта на основе исторических данных и текущих тенденций.
• Мониторинг и контроль: С помощью ИИ можно отслеживать выполнение задач и достижение целей проекта в реальном времени, что позволяет своевременно корректировать стратегию и бюджет.
• Интерактивная отчетность: Современные технологии ИИ позволяют создавать интерактивные отчеты, которые предоставляют информацию в удобном для восприятия формате, включая визуализацию данных и автоматическое генерирование рекомендаций.
• Персонализация: Использование ИИ позволяет адаптировать подход к оценке проекта в зависимости от индивидуальных особенностей и потребностей участников проекта.
• Диагностика проблем: Благодаря ИИ становится возможным обнаружить скрытые проблемы и слабые места в проекте, которые могут негативно сказаться на его успешности.
• Создание рекомендаций: На основе анализа данных ИИ может предложить рекомендации по улучшению текущих практик и стратегий в рамках проекта.
• Образование и обучение: Встроенные обучающие системы на базе ИИ могут помогать участникам проекта развивать новые навыки и компетенции, необходимые для достижения успеха.

Применение ИИ в оценке социальных проектов значительно повышает качество и скорость принятия решений, улучшает прогнозируемость результатов и способствует эффективному использованию ресурсов».

Пандемия и системные изменения в НКО

Вчерашнее заседание клуба PROОЦЕНКУ было посвящено системным изменениям и их оценке. Это заседание было проведено совместно с Центром развития филантропии (ЦРФ) Фонда Владимира Потанина, тема для обсуждения была выбрана в связи с недавним выходом в свет дайджеста ЦРФ «Системные изменения в благотворительных организациях».

По ходу обсуждения мы обратились к «пандемийному» опыту участников и предложили проанализировать изменения, которые произошли в их организациях в результате неожиданно возникшей экстремальной внешней ситуации. 

Вот лишь некоторые из проблем, с которыми столкнулись НКО в тот период: 

• У многих НКО возникли сложности в общении с благополучателями (детские дома, больницы, хосписы, помощь на дому и т.д.). 
• У многих НКО сократились объемы пожертвований в силу экономических сложностей, с которыми столкнулись жертвователи. 
• У подавляющего большинства НКО отсутствуют резервные фонды, которые можно использовать для осуществления необходимых выплат – зарплаты сотрудников, аренды помещений и т.д. 
• Практически все НКО получают финансирование на проектной основе. Выполнение многих проектов оказалось под угрозой в силу того, что нельзя было проводить мероприятия. При этом по некоторым мероприятиям уже была произведена предоплата, и средства вернуть было невозможно. Было непонятно, как отчитаться перед донорами . 
• Переход на удаленную работу оказался весьма непростым. Многие НКО к этому не были готовы технически. У многих сотрудников не было нормальных условий для удаленной работы из дома. 
• Интенсивность и объем работы на «удаленке» возросли настолько, что это в сочетании с общим стрессом от пандемии стало приводить к массовому выгоранию специалистов НКО.

По результатам обсуждения в малых группах стало понятно, что изменения в НКО не просто имели место, но и носили системный характер. Модель, предложенная Каниа и др., позволяет выделить в таких изменениях три уровня: 

1) Структурные изменения (относятся к политикам, практикам и потокам ресурсов). Они носят явный характер, их можно наблюдать.

2) Изменения в отношениях (связи, взаимоотношения, динамика власти). Что-то из этих изменений можно наблюдать, а что-то скрыто от внешнего наблюдателя.

3) Трансформационные изменения, характеризующиеся глубиной, существенностью и значимостью. Они относятся к ментальным моделям и происходят незаметно для внешнего наблюдателя, хотя, естественно, влияют на поведение людей.

Сравнение традиционного очного обучения с дистанционным

Традиционным очным обучением мы называем такой формат, когда ученики и преподаватель приходят в учебную аудиторию. В последние годы, особенно в связи с пандемией, все чаще стали говорить об "очном онлайновом обучении". Вот один из примеров ("Новая форма обучения - очное обучение в формате онлайн"). Подразумевается, что присутствие в едином виртуальном пространстве эквивалентно присутствию в аудитории. В английском языке для такой формы обучения придумали специальный термин: синхронное дистанционное обучение. Дело в том, что дистанционное обучение может проводиться синхронно или асинхронно. До пандемии наиболее используемым и изученным методом обучения было асинхронное (Asynchronous) дистанционное обучение, при котором участникам предлагались записанные видео для просмотра в любое время. Синхронное (Synchronous) дистанционное обучение обеспечивает участникам интерактивное общение с преподавателем и друг с другом в реальном времени. 

Естественно, возник вопрос о сравнении традиционного очного обучения (ТОО) с синхронным дистанционным обучением (СДО). В начале 20-х годов за рубежом был проведен ряд оценок и оценочных исследований по этому поводу. Вот некоторые выводы:

• Результативность СДО оказалась примерно такой же, как в ТОО.
• В тех случаях, когда при проведении СДО использовались возможности для ответов на вопросы учащихся, выдачи ведущим индивидуальной «обратной связи» и групповых обсуждений с участием ведущего, значимой разницы в освоении материала по сравнению с ТОО не было обнаружено. 
• Степень удовлетворенности учащихся при СДО и ТОО оказалась примерно одинаковой. 
• Преимущества СДО: использование инновационных технологий для представления нового и интересного контента; сокращение времени/стоимости поездок на учебу; гибкий график; дополнительный доступ к материалам для повторения; интервальность обучения (паузы), способствующая лучшему усвоению материала; возможность лучше подстраиваться под индивидуальные потребности учащегося  (что может быть невозможно в условиях ТОО).
• Недостатки СДО: ограничения в доступе к интернету у отдельных категорий участников; неумение некоторых учащихся пользоваться современными компьютерными технологиями на должном уровне; снижение концентрации внимания участников, когда занятия оказываются более продолжительными; уменьшение возможностей взаимодействия между участниками, когда продолжительность занятий невелика. 

Новости Международной академии оценки

«Международная академия оценки (IEAc) — это всемирное движение волонтеров, стремящихся к влиянию на политику в сфере оценки, к профессионализму и преобразующему (трансформационному) воздействию». Так кратко описывают замысел академии ее лидеры.

На сайте академии перечислены основные направления деятельности: 

• Исследования в сфере оценки
• Эдвокаси (процесс, направленный на изменение политики и законодательства в сфере оценки, практики его применения отдельными лицами, группами и институтами)
• Образование в сфере оценки (продвижение качественного университетского образования)
• Развитие потенциала в сфере оценки
• Профессионализация оценки  
• Трансформационная оценка
• Оценщики без границ
• Экспертные услуги в сфере оценки

Одно из существенных организационных нововведений – это создание института «друзей академии», которые делятся на три уровня: просто друзья (готовы участвовать в активностях академии), ученые (Evaluation Scientists) и научные лидеры (Evaluation Scientific Leaders). Желающим присоединиться к академии предлагают заполнить форму. Зачисление в друзья  происходит не автоматически, а по результатам рассмотрения заявки. 

Модель AGES: как превратить обязательное мероприятие в приобретение значимого опыта

NeuroLeadership Institute (NLI) предлагает 4 условия эффективного обучения, которые можно иметь в виду как при планировании и проведении обучения, так и для оценки его эффективности. Эти условия объединены в модели AGES (Attention, Generation, Emotions, Spacing):

Внимание: для того, чтобы происходило обучение, участники должны уделять пристальное внимание тому, что они изучают. Высокая концентрация внимания предполагает фокусировку на чем-то одном, без отвлечений.

Привязка к собственному контексту: поскольку мы формируем воспоминания, создавая ассоциации, обучение работает лучше всего, когда участники создают собственные связи с материалом, связывают новые идеи со своими знаниями и опытом.

Эмоции: информация хорошо закрепляется в памяти, если ознакомление с ней сопровождается эмоциями.

Интервалы: обучение наиболее эффективно, когда учебные сессии разнесены во времени, особенно когда промежуток между сессиями включает одну или несколько ночей, чтобы учащиеся могли спокойно переспать с полученными знаниями.

Один из важных выводов, к которым пришли специалисты NLI, состоит в том, что описанные выше условия можно успешно соблюдать при проведении виртуального обучения, когда ведущий и участники обучения взаимодействуют в реальном времени онлайн. Более того, по мнению NLI виртуальное обучение может быть в разы (!) эффективнее традиционного очного обучения.

3 года работы клуба PROОЦЕНКУ

Прошлое заседание клуба PROОЦЕНКУ стало 36-м по счету. Поскольку заседания проходят ежемесячно, можно считать, что клуб работает уже три года (на самом деле, чуть больше – с учетом летних каникул). По итогам каждого заседания на сайте клуба размещаются презентация и видеозапись. За три года получился уникальный ресурс. Вот темы заседаний в хронологическом порядке: 

1. Оценка обучения
2. Оценка стратегии
3. Оценка воздействия 
4. Мониторинг
5. Индикаторы
6. Моделирование и оценка
7. Система мониторинга и оценки
8. Как рассказать про оценку
9. Оценка и ценности
10. Оценка организаций
11. Оценка замысла проекта
12. Оценка с участием
13. Принципы оценки 
14. Принципы оценки (продолжение)
15. Оценка потребностей
16. Оценка услуг
17. Как научиться проводить оценку
18. Оценка оцениваемости
19. Оценка рисков
20. Анализ стейкхолдеров
21. Использование рубрик для оценки воздействия
22. Оценка качества жизни
23. Феминистская оценка
24. Трудные ситуации в оценке
25. Интегрирование оценки в деятельность НКО
26. Обоснованность суждений или как мы анализируем данные
27. Готовимся к конференции АСОПП
28. Доказательный подход и оценка в социальной сфере
29. Оценка Школы приемных родителей ИРСУ (кейс)
30. Обсуждение дальнейшей работы клуба
31. Data-driven и BI-системы в мониторинге и оценке
32. Этический кодекс для экспертов
33. Задание на проведение оценки
34. Анкетирование
35. Дизайн оценки
36. Этика оценки

Нетрудно заметить, что какого-либо содержательного плана у клуба не было и нет. Темы возникают по ходу дела и определяются разными факторами. Например, тему «Использование рубрик для оценки воздействия» предложил наш бразильский коллега Томаз Чианка, который этот подход активно использует и развивает. Тема «Готовимся к конференции АСОПП» была предложена организаторами клуба, чтобы дать возможность выступающим на грядущей конференции кратко анонсировать свои доклады. Это помогло будущим участникам конференции выбрать наиболее актуальные для них сессии. Кейс «Оценка Школы приемных родителей ИРСУ» был представлен в связи с тем, что многие участники клуба предлагали по возможности рассматривать реальный опыт проведения оценки. В данном случае результаты оценки были опубликованы, и потому появилась возможность их показать и обсудить. 

Полагаю, продолжим в том же духе. Наверняка будет больше предложений по тематике обсуждений от участников клуба. Следующее заседание клуба пройдет в четверг 12 сентября 2024 года с 11 до 12.30 мск. Тему уже обсуждаем…

Риск ошибки при интерпретации неполных данных

Обсудим ситуацию, описанную во вчерашней публикации. 

Сотрудники НКО, проводившие само-оценивание, пришли к неправильному выводу относительно решения руководителя организации. Это произошло потому, что они не знали всех обстоятельств, повлиявших на принятие решения. Такую информацию можно было получить только у самого руководителя организации, который был очень занят и не принимал участия в оценке. Возможность поговорить с руководителем представилась только на совещании по результатам оценки, где возникла довольно напряженная ситуация, поскольку сотрудники сообщили о своем выводе касательно ошибочности принятого руководителем решения. Они выбрали меньшее из двух зол (по их мнению): рассказать все как есть (как они думали), рискуя вызвать негативную реакцию руководителя. Когда руководитель на совещании объяснил свое решение, ошибочность вывода стала очевидной. Как здесь не вспомнить еще раз мудрое изречение Шерлока Холмса о том, как опасно строить гипотезы на основе неполных данных!

Команде, проводившей само-оценивание, следовало на совещании рассказать о полученных данных и попросить руководителя проверить их полноту и дать свою интерпретацию ситуации. В этом случае негативные последствия оценки были бы минимизированы.

Этика оценки: как правильно поступить?

В прошлый четверг состоялось очередное заседание клуба PROОЦЕНКУ. Говорили об этике оценки. Видеозапись заседания и презентация – на сайте клуба. 

Этика — это учение о нравственности. Нравственность или мораль – это принятые в обществе представления о хорошем и плохом, правильном и неправильном, добре и зле, а также совокупность норм поведения, вытекающих из этих представлений. Профессиональная этика предлагает нормы поведения, характерные для определенных видов профессиональной деятельности, например, для оценки программ и проектов социальной направленности.

Группа оценки ООН предложила такое определение этики оценки: «Согласованные ценности и принципы, которые определяют правильное поведение специалиста по оценке в конкретном культурном контексте, в котором заказывается или проводится оценка (проекта или программы - АК)». На всякий случай отмечу, что при переводе с английского я это определение слегка подредактировал 😊 

Обсуждение этических вопросов, на мой взгляд, всегда получается эмоциональным, поскольку оно имеет прямое отношение к ценностям. А ценности – это не то, что мы склонны подвергать сомнению или легко менять. Заседание клуба в этом плане не стало исключением. В результате мы не успели обсудить всё, что запланировали. Предлагаю вашему вниманию следующую ситуацию из необсужденных (основана на реальных событиях).

Само-оценивание в НКО. Сотрудники собрали данные, которые, по их мнению, свидетельствуют об ошибочном решении руководителя. По мнению сотрудников, это решение надо отменить. Руководитель непосредственного участия в проведении само-оценивания не принимал.

Проблема в том, что такого рода рекомендация может вызвать негативную эмоциональную реакцию со стороны руководителя. Это может привести к внутриорганизационному конфликту и существенно ухудшить психологический климат в НКО. 

Вопрос: как поступить команде, проводившей само-оценивание?  

PS Проблема здесь в том, чтобы минимизировать негативные последствия оценки либо вовсе их избежать. При этом необходимо показать ситуацию как она есть, то есть и хорошее, и плохое.

Чем может быть полезен дайджест

Сегодня у меня спросили, чем может быть полезен дайджест «Системные изменения в благотворительных организациях», опубликованный на днях Центром развития филантропии Фонда Потанина.

Дайджест содержит много идей, которые могут быть полезны как в плане организационного развития самих НКО, так и в плане развития деятельности НКО и их воздействия на окружение. К дайджесту следует отнестись как к ресурсу, в котором какие-то мысли, модели, схемы могут оказаться созвучны тому, с чем имеет дело та или иная организация. Надо обращать внимание, в первую очередь, именно на то, что «откликается» сейчас. Ну и, конечно, взять на заметку то, что может пригодиться в перспективе. Дайджест по жанру ни в коем случае не претендует на сколько-нибудь развернутое описание. Он содержит лишь краткие обзоры либо основные положения значимых публикаций, связанных с системными изменениями в организациях вообще и в благотворительных организациях в частности. Соответственно, можно рассматривать дайджест и как некое собрание «точек входа», позволяющих перейти к более детальному изучению заинтересовавших читателя вопросов.

Системные изменения и их оценка

Вышел в свет очередной дайджест Центра развития филантропии Фонда Потанина. Он посвящен системным изменениям в благотворительных организациях. 

«Воспринимаем ли мы свою НКО как цельную совокупность взаимодействующих элементов? Меняем ли именно систему — основные компоненты структуры и связи между ними? Или ограничиваемся содержанием программ и отдельными шагами бизнес-процесса? Как определить, какие изменения и почему нужны? На чьи модели опираться при планировании и внедрении? Как преодолевать внутреннее сопротивление, неизбежное при изменении системы? Какой опыт наработан в мире, в стране, в некоммерческом секторе?».

Материалы, включенные в дайджест, могут пригодиться всем, кто интересуется вопросами организационного развития НКО и оценкой социальных программ и проектов. Принципы и методы оценки системных изменений рассматриваются в заключительном разделе. 

Оцените теорию вашего Дела

Термин «теория бизнеса» был предложен Питером Дракером – одним из самых известных специалистов по менеджменту. «Теория» здесь – это совокупность представлений о том, как должен работать бизнес. То есть, это некоторая гипотеза, в соответствии с которой строится работа больших и малых организаций. В этом смысле чем-то похоже на «теорию изменений», которая показывает, как и почему деятельность в рамках программы должна приводить к ожидаемым результатам. Но «теория бизнеса» - понятие более широкое. 

Дракер поясняет: 

«Это представления, которые определяют поведение любой организации, принятие решений о том, что делать, а чего не делать, а также какие результаты считать значимыми. Эти представления касаются рынков. Они касаются определения клиентов и конкурентов, понимания их ценностей и поведения. Они о технологии и ее динамике, о сильных и слабых сторонах компании. Эти представления о том, за что компания получает деньги. Это то, что я называю теорией бизнеса компании». (Drucker, P. F. (1994). The Theory of the Business. Harward Business Review, September-October. )

Дракер приводит 4 ключевые характеристики «теории бизнеса», на основании которых можно сформулировать 4 важных вопроса для оценки вашего Дела. Подчеркну, что вопросы сформулированы на основании публикации Дракера, так что все претензии, если что, ко мне, а не к Питеру :). Исхожу из того, что идею Дракера можно применить к любому Делу, то есть и к деятельности НКО, в том числе. 

Итак, 4 вопроса для оценки теории вашего Дела:

1. В какой мере ваши представления об окружении, миссии вашей организации и её ключевых компетенциях соответствуют реальности? 
2. В какой мере ваши представления об окружении, миссии вашей организации и её ключевых компетенциях соответствуют друг другу? 
3. Насколько сотрудники вашей организации знакомы с этими представлениями и разделяют их? 
4. В какой мере вы открыты для того, чтобы корректировать эти представления? Насколько регулярно вы их проверяете?

Дизайн (или план проведения) оценки

В ближайший четверг на заседании клуба PROОЦЕНКУ поговорим о дизайне оценки. Мы чаще называем этот этап планированием оценки, а то, что получается в результате, – планом проведения оценки. Термин «дизайн» обозначает и процесс, и результат. Он также ассоциируется с творчеством, с искусством. На мой взгляд, это тоже правильно: придумать, как провести оценку или само-оценивание с учетом имеющихся ресурсов, умений и временных ограничений – задача творческая. Интересно, что в англоязычном варианте термин «дизайн оценки» (evaluation design) встречается в интернете в 2 раза реже, чем термин «план оценки» (evaluation plan). Применительно же к исследованиям термин «дизайн» в английском варианте встречается в интернете в 15 раз чаще, чем термин «план», а в русском варианте – почти в 10 раз чаще. 

Так что, похоже, в случае с оценкой планируем, а в случае с исследованием – занимаемся дизайном. Или нет? Обсудим.

Регистрация на сайте клуба PROОЦЕНКУ (кнопка «Регистрация на ближайшее заседание»).

Новый номер журнала «Позитивные изменения»

Вышел в свет новый номер журнала «Позитивные изменения». Как всегда, интересное интервью от главного редактора Натальи Гладких в рубрике «Гость номера» и много разнообразных материалов по социальному проектированию, социальному предпринимательству и оценке социальных проектов. Наша с Владимиром Балакиревым статья называется «Я люблю свою работу». В ней, как и планировалось, мы рассказали о том, как системное внедрение оценки в НКО может позитивно повлиять на корпоративное благополучие сотрудников. Статья написана по мотивам нашего с Владимиром выступления на прошлой конференции АСОПП. 

Новый номер журнала здесь.

Наша статья здесь.

Политика организации в сфере оценки

Политика организации — это набор базовых правил которые регулируют поведение различных субъектов, связанных с организацией, таких как сотрудники, руководство, партнеры, поставщики и т.д. Каждая политика регламентирует определенную сферу деятельности организации. Например, учётная политика (УП) относится к тому, как ведётся бухгалтерский учет в конкретной организации. Точнее, УП - это «совокупность способов ведения бухгалтерского учёта — первичного наблюдения, стоимостного измерения, текущей группировки и итогового обобщения фактов хозяйственной деятельности».  

Что именно должна содержать политика организации в сфере оценки? По мнению американского специалиста Билла Трочима, политика должна определять: 

• Цели или предназначение оценки.
• Кто и как может и должен вовлекаться в процесс проведения оценки.
• Как организация развивает собственный потенциал в сфере оценки.
• Как осуществляется управление оценкой. 
• Как распределяются роли и ответственность сотрудников в сфере оценки.
• Как должен быть организован процесс оценки и какие методы используются при ее проведении.
• Как используются результаты оценки. 
• Как осуществляется мета-оценка, то есть оценивание оценки – системы, процесса и результатов. 

Трочим предлагает инструмент для анализа политики в сфере оценки, представленный на рисунке. Если определить уровень по каждому из параметров (затемнить соответствующее количество сегментов), то получится профиль, наглядно характеризующий сильные и слабые стороны политики организации в сфере оценки. 

Ссылка на источник: Trochim, W.M.K. (2009). Evaluation policy and evaluation practice. In W.M.K. Trochim, M. M. Mark, & L.J. Cooksy (Eds.), Evaluation policy and evaluation practice. New Directions for Evaluation, 123, 13–32.

Деколонизация оценки

Колонизация – это выделение поселений или основание новых поселений на чужой территории либо заселение и освоение своих окраинных земель (внутренняя колонизация). Соответственно, деколонизация – это превращение колониальных и зависимых территорий в свободные и независимые государства.

В последние годы много говорят и пишут о деколонизации науки. При желании можно найти много публикаций на эту тему в рунете (например, здесь). Одна из основных целей деколонизации науки - признание и устранение неравенств, которые возникают в результате колониального наследия. Колониальная наука часто приводила к маргинализации знаний и практик коренных народов, подавлению альтернативных мировоззрений и установлению гегемонии западной науки.  Деколонизация науки предполагает критический анализ научной методологии и признание в качестве научных традиционных способов познания и критериев доказательности. Деколонизация науки также ориентирована на диверсификацию академических сообществ. 

Не остались в стороне и специалисты по оценке. В прошлом году вышел в свет специальный выпуск Журнала мультидисплинарной оценки (Journal of MultiDisciplinary Evaluation), посвященный деколонизации оценки. Деколонизация – одно из приоритетных направлений деятельности Международной академии оценки (International Evaluation Academy), которая приняла самое активное участие в подготовке этой публикации. 

Общая направленность деколонизации оценки примерно такая же, как в науке. Оценка в том виде, как она сегодня есть, родилась и развивалась на западе при полном игнорировании традиций коренных народов. Это надо менять, считают сторонники деколонизации оценки, и бросают вызов широко известным и общепринятым подходам к проведению оценки – от постановки задачи и выбора методов получения знаний до представления результатов оценки и их визуализации. 

Вначале я хотел озаглавить эту публикацию так: «Надо ли нам деколонизировать оценку в России?», но потом решил, что лучше закончить этим вопросом. Тут есть, о чем подумать.

Чек-лист для анкеты

При проведении оценки проектов и программ часто используется анкетирование. Предлагаю чек-лист, который поможет проверить вашу анкету на наличие часто встречающихся ошибок. 

• Связаны ли вопросы анкеты с вопросами задания? Понимаем ли мы, как будем использовать ответы на вопросы анкеты для ответа на вопросы задания?
• Нет ли в анкете вопросов, содержащих «два и более в одном»?
• Хорошо ли будут понятны респондентам формулировки вопросов?
• Нет ли в вопросах и вариантах ответов терминов, которые могут неоднозначно трактоваться респондентами?
• Нет ли в вариантах ответов шкал «от забора до обеда»? Являются ли варианты ответов рядоположенными? Нет ли среди вариантов ответов таких, которые относятся к другому вопросу?
• Если есть вопросы, предполагающие сравнение, понятны ли и корректны ли основания для сравнения?
• Не слишком ли много в анкете открытых вопросов?
• Четко ли мы для себя определили, о чем спрашиваем (например, о знаниях, о мнении или о живом опыте)?
• Хватит ли респондентам предложенных вариантов ответов?
• Следуем ли мы правилу «развернутый вопрос – компактный ответ» (варианты ответов должны быть по возможности компактными)?

Модель для диагностики организации

Эта модель (Six-Box Model) была разработана Марвином Вайсбордом в середине 70-х годов.

При её использовании нужно ответить на следующие вопросы:

• Цели. Почему вы существуете? Какие проблемы вы решаете для людей? Каков ваш целевой рынок? Каково ваше видение? Какова ваша миссия? Каковы ваши стратегические цели?
• Структура. Подходит ли существующая структура для того, чего вы пытаетесь достичь? Правильное ли соотношение количества руководителей и сотрудников? По какому принципу формируются подразделения? Насколько эффективны процессы внутри организации?
• Поощрения. Какова система оплаты? Какие схемы поощрения существуют помимо оплаты? Случается ли, что чьи-то достижения остаются незамеченными? Как вы ставите цели перед членами команды?
• Полезные механизмы.  Какие системы и процессы сейчас используются в работе организации? Как часто проверяются системы на предмет их эффективности? Каковы отзывы членов команды о системах и процессах?
• Взаимоотношения. Как люди общаются? Как люди сотрудничают? Каковы ваши основные ценности? Как вы разрешаете конфликты?
• Лидерство. Как ведут себя менеджеры? Проявляются ли ценности компании в их взаимодействии между собой и с сотрудниками? Все ли менеджеры знают и понимают стратегию организации? Чувствуют ли сотрудники поддержку со стороны менеджеров?

Источник: Weisbord, M. R. (1978). Organizational diagnosis: a workbook of theory and practice. Addison-Wesley Pub. Co.

Рефрейминг организаций

Ли Болман и Теренс Дил предложили интересный подход к анализу организаций. На картинке – обложка 7-го (!) издания их книги, которое можно буквально перевести как «Рефрейминг организаций» ((Bolman, L. G., & Deal, T. E. (2021). Reframing organizations: artistry, choice, and leadership (Seventh Edition. ed.). Jossey-Bass.). 

Центральная идея этого подхода – использование для анализа четырех разных «рамок» (frames). Соответственно, «рефрейминг» в данном случае – это смена «рамок» анализа для того, чтобы лучше понять организацию. С позиции системного мышления можно было бы назвать эти «рамки» ракурсами. 

В приведенной ниже таблице показано, как эти рамки работают.

Таблица позаимствована из этой презентации (перевод мой). 

Оценка и информированное согласие

В медицине с информированным согласием все понятно. Взрослые жители нашей страны наверняка такой документ подписывали, например, у стоматолога. «Информированное добровольное согласие — доктрина в медицинской этике и медицинском праве, согласно которой для медицинского вмешательства, особенно сопряженного с риском, должно быть получено согласие пациента».  

В социальных науках у нас в стране эта тема возникла несколько позже. Но, можно считать, что процесс пошел. Информированное согласие на участие в исследовании содержит примерно такой текст: «Подписывая данную форму информированного согласия, я подтверждаю, что прочитал(а) и понял(а) цели, процедуру, методы и возможные неудобства участия в исследовании. Я был(а) проинформирован о продолжительности экспериментального воздействия и сроках проведения подобных исследований вообще. Я получил(а) информацию о действиях в случае непредвиденного влияния на мое здоровье. У меня была возможность задать все интересующие меня вопросы. Я получил(а) удовлетворительные ответы и уточнения по всем вопросам, интересовавшим меня в связи с данным исследованием. Данное согласие дается не под влиянием обмана, психического или физического насилия или в условиях несвободы. Мое согласие не вынуждено стечением тяжелых жизненных обстоятельств (недостатком материальных средств) и/или не обусловлено какой-либо зависимостью от экспериментатора (-ов). Я даю свое согласие на участие в исследовании».

При проведении оценки социально-ориентированных проектов и программ подписывать такого рода документ не принято. Это, в частности, связано с тем, что оценка является функцией управления, и реализация этой функции осуществляется вне зависимости от согласия участников программы. Ещё одно отличие оценки от исследования, между прочим... Однако получение устного информированного согласия от участников процесса оценки мне кажется все же очень важным шагом. Мы информируем людей о том, зачем проводится оценка, по каким правилам, как будут использованы результаты. Затем предлагаем задать вопросы. И только после этого переходим, например, к интервью. Такой подход помогает выстроить доверительные отношения с участниками программы и повышает качество оценки. 

Но есть одна ситуация, в которой правильнее получить письменное информированное согласие о проведении оценки. Имею в виду проведение обучения, в ходе которого слушателям предлагается осуществить оценку реального проекта в качестве учебного задания. В этой ситуации оценку проводит человек, не имеющий необходимого опыта и квалификации. А проект настоящий! Поэтому логично попросить информированное согласие руководителя организации, реализующей данный проект. 

Вот текст, который мы использовали в Школе оценки, которую проводим в партнерстве с новосибирским ИнаЦентром в рамках проекта #экосистема_оценки: «Настоящим письмом подтверждаю, что сотрудник нашей организации (ФИО) согласовал со мной техническое задание на проведение оценки нашего проекта (Название проекта) в качестве учебно-практического задания. Я даю согласие на использование результатов данной оценки в процессе обучения указанного выше специалиста в Школе оценки при условии, что эти результаты не будут опубликованы полностью либо частично без письменного разрешения со стороны нашей организации».

Оценка влияния мероприятий на целевую аудиторию: все непросто

Счетная палата проверила деятельность Роспатриотцентра*. Аудитор Счетной палаты Даниил Шилков сообщил, что в целом все неплохо.  

При этом отмечаются два недостатка: 

1. Невозможно оценить охват целевой аудитории из-за того, что в разных мероприятиях могут по несколько раз участвовать одни и те же люди. Регистрация уникальных участников (по аналогии с уникальными посетителями сайтов) не организована. 
2. «Государственное задание Центра и результаты федеральных проектов, в реализации которых он участвует, не содержат параметров, позволяющих оценивать влияние проводимых мероприятий на целевую аудиторию. В связи с этим отсутствует возможность оценки возникающих социальных эффектов, что в свою очередь не позволяет оценить обоснованность масштабов организации мероприятий в сфере молодежной политики».

Неоднократный учет одних и тех же участников – проблема, с которой сталкиваются и многие НКО. Скажем, в 5 мероприятиях участвует один и тот же человек. При определении общего числа участников мероприятий его учитывают 5 раз, т.к. подсчитывается общая сумма по спискам участников. При такой системе подсчета результаты могут быть парадоксальными: если группа из 5 человек соберётся 20 раз, то общее число участников мероприятий будет 100! 

Оценка влияния программ патриотического воспитания на целевую аудиторию действительно представляется весьма сложной задачей. Тут одними индикаторами, скорее всего, не обойтись. 

* ФГБУ «Российский центр гражданского и патриотического воспитания детей и молодежи» был создан в 2002 году для реализации полномочий государства в сфере молодежной политики. В его задачи входит организация мероприятий, направленных на гражданско-патриотическое воспитание молодежи, развитие ее гражданской активности, вовлечение в добровольческую деятельность, а также популяризацию волонтерства в России. Ежегодно в мероприятиях Центра участвуют около 5 млн человек. Ежегодный общий объем субсидий составляет около 1 млрд рублей.

Участники заседания клуба PROОЦЕНКУ голосуют за кодекс эксперта

Обсуждение на вчерашнем заседании клуба было оживленным и интересным (видеозапись, презентация). Судя по всему, тема оказалась актуальной. После обсуждения аргументов «за» и «против» разработки кодекса для эксперта грантовых конкурсов мы предложили участникам ответить на два вопроса. Результаты голосования – на диаграммах. Ответили 23 человека из 32 присутствовавших на заседании.

Таким образом, три четверти опрошенных (17 человек) сочли, что кодекс нужен. Не согласны с этим только 13% (3 человека).

Если принять во внимание первый из ответов на открытый вопрос («кому-то ещё») насчет потенциальных разработчиков кодекса, то можно констатировать, что на первом месте (12 голосов) оказалось сообщество экспертов грантовых конкурсов, а на втором (10 голосов) – сами грантодающие организации. Довольно много голосов (по 8, 3 место) набрали Форум Доноров и АСОПП. Идею разработки кодекса госструктурой федерального уровня поддержали только 2 участника.

В предыдущей публикации я написал, что у нас нет сообщества экспертов грантовых конкурсов. Имел в виду формальное (как АСОПП) или неформальное объединение таких экспертов на национальном уровне. В ходе обсуждения на клубе это подтвердилось, но выяснилось также, что на региональном уровне у нас в стране есть устойчивые неформальные сообщества экспертов грантовых конкурсов. Сложились сообщества экспертов и вокруг некоторых грантодающих организаций. Такие сообщества могли бы предложить проект Кодекса эксперта для региональных грантовых конкурсов либо для конкретной грантодающей организации. 

Не знаю, в какой мере разработка такого кодекса находится в сфере интересов АСОПП и Форума доноров. На заседании клуба были представители обеих организаций. Посмотрим...

На мой взгляд, самым реалистичным является на данный момент разработка кодексов самими грантодающими организациями с участием экспертов. Требование соблюдать такой кодекс может быть в таком случае включено в контракт грантодателя с экспертом, а ознакомление с кодексом может войти в программу обучения экспертов.

Этический кодекс для эксперта

Следующее заседание клуба PROОЦЕНКУ будет посвящено обсуждению того, нужен ли этический кодекс для экспертов, занимающихся оценкой заявок на получение гранта. 

Можно с уверенностью сказать, что число специалистов, занимающихся экспертной оценкой заявок в нашей стране, существенно превышает число тех, кто проводит эмпирическую оценку проектов и программ социальной направленности. При этом принципы проведения эмпирической оценки были разработаны и приняты АСОПП (Ассоциация специалистов по оценке программ и политик) несколько лет тому назад. А вот для экспертов грантовых конкурсов ни принципы, ни этический кодекс пока не разработаны. Наверняка тому есть причины, которые мы обсудим через неделю на заседании клуба PROОЦЕНКУ. Одна из этих причин состоит в том, что, как правило, этические кодексы разрабатываются профессиональными объединениями. Профессионального объединения экспертов грантовых конкурсов у нас нет. Почему? Возможно, эта деятельность не является профессией? В таком случае и объединение, наверное, не нужно…

Хотя в других сферах деятельности этические кодексы для экспертов существуют. Вот три примера: 

• Этический кодекс Уполномоченных Общественных Экспертов всероссийской сети представителей Общероссийской общественной организации инвалидов – больных рассеянным склерозом. 
• Кодекс профессиональной этики эксперта - члена Гильдии экспертов в сфере профессионального образования 
• Кодекс профессиональной этики экспертов в сфере государственной экспертизы проектной документации и результатов инженерных изысканий 

В общем, здесь есть, над чем поразмышлять и что обсудить.

PS Регулярные публикации в блоге возобновляю. Перерыв пришлось сделать по независящим от меня причинам.