Само-оценивание онлайн

Продолжаем тему, о которой шла речь в предыдущей публикации. 

Если говорить об «уходе в онлайн», то, на мой взгляд, само-оценивание в этом плане выглядит намного перспективнее, чем внешняя оценка. Тому есть несколько причин:

1. При проведении само-оценивания снимается вопрос о понимании и ощущении контекста: авторы и исполнители проекта погружены в контекст изначально. Для внешнего консультанта, работающего онлайн, эта задача может оказаться нерешаемой.
2. У организации, проводящей само-оценивание, уже установлены достаточно доверительные отношения с различными заинтересованными сторонами. Для внешнего консультанта, работающего дистанционно, установление доверительных отношений может быть проблематичным.
3. В ситуации само-оценивания известно, с кем получится, а с кем не получится работать онлайн. Внешнему консультанту придется это выяснять отдельно, и могут быть неожиданности.
4. При проведении само-оценивания можно «уйти в онлайн» лишь частично, а остальное сделать офлайн. Причем такие решения можно принимать по ходу проведения работ. У внешнего консультанта такой возможности нет: онлайн-формат оговаривается в контракте. 

Все эти рассуждения, конечно, относятся к проектам, которые хотя бы отчасти выполняются офлайн. Внешняя оценка онлайн-проектов вполне реалистична, хотя первая и вторая из перечисленных выше проблем все равно будут иметь место. 

На месте финансирующей организации, которая по каким-то причинам собирается проводить внешнюю оценку онлайн, я бы рассмотрел вопрос о сочетании внешней оценки с само-оцениванием. Внешнему консультанту можно было бы поставить задачу, которую он сможет выполнить качественно, а оцениваемой организации можно поручить выполнить вторую часть работы самостоятельно.

Дистанционная оценка проекта: что можно, а чего нельзя оценить на расстоянии?

Эту тему вчера обсуждали на очередном заседании клуба PROОЦЕНКУ. Видеозапись и презентация уже доступны на сайте клуба. 

Хотел бы отметить несколько комментариев, которые есть на видео. Вероятно, не все будут его смотреть от начала до конца… 😊 Речь шла о том, как найти правильный баланс между онлайн и офлайн-форматами. 

Ирина Решта отметила несколько моментов: 

• "Следует всегда выбирать те методы, которые адекватны конкретной ситуации (онлайн или офлайн) и использовать именно те форматы работы, которые учитывают специфику целевых групп. 
• Онлайн-формат работы требует от тех, кто проводит оценку, особой подготовки по сравнению с привычным офлайн-форматом (сюда относятся и технические вопросы).
• Представители наших целевых групп могут оказаться в разной степени знакомы с онлайн-технологиями. Поэтому полный уход в онлайн может автоматически исключить часть целевой группы из выборки.
• При переходе в онлайн-формат может быть сложно понять и прочувствовать контекст, в котором реализуется проект. А это при проведении оценки очень важно".

Алёна Богомолова добавила следующее: 

"Разговор про перевод оценки онлайн-формат возвращает нас к очень важному этапу планирования и продумывания оценки. Нам надо прояснить: 

• На такие вопросы нам надо получить ответы?
• Какие данные нам надо для этого собрать? 
• Какими ресурсами мы располагаем?

Пока мы не ответим на эти три вопроса, мы не сможем определить, подходит нам онлайн-формат или не подходит, полностью мы можем уйти в онлайн или только частично. Но, конечно, отказываться априори от онлайн формата было бы просто глупо". 

В презентации, есть много интересных идей по поводу преимуществ и ограничений онлайн и офлайн форматов, а также по поводу особенностей проведения индивидуальных интервью и фокус-групп онлайн. 

BRICS и оценка

Сегодня открылся прием заявок на выступления на международной конференции, тему которой звучит примерно примерно так: «Многомерная оценка, ориентированная на влияние и трансформацию». Организаторы конференции – Ассоциация оценки международного развития (IDEAS) и (внимание!) Новый банк развития (НБР), ранее известный как Новый банк развития БРИКС (международная финансовая организация, которая создана странами-членами БРИКС - Бразилией, Россией, Индией, Китаем и ЮАР). Конференция пройдет с 4 по 6 марта 2025 года в Риме (Италия). Для всех докладчиков формат участия – офлайн. 

Программа конференции включает 6 тематических направлений: 

1. Актуальность и сложность оценки Целей устойчивого развития
2. Оценка трансформационных изменений 
3. Контекст оценки и культура
4. Гендер, права человека и равенство
5. Развитие потенциала оценки
6. Оценка устойчивого развития в странах БРИКС и других странах с развивающейся экономикой

Насколько мне известно, это первое событие глобального масштаба, где рассматривается тема оценки в странах BRICS. Можно предположить, что НБР не случайно стал со-организатором данной конференции, и что он продолжит поддержку инициатив, связанных с оценкой. Политика НБР в сфере оценки, принятая в 2022 году, подтверждает, что банк придает большое значение этому направлению деятельности. 

Сайт конференции здесь.

Интеграция инструментов искусственного интеллекта в процессы оценки

Вчера в городе Портленд (шт.Орегон) в конгресс-центре (на фото) открылась очередная конференция Американской ассоциации оценки. Одна из тем, которую коллеги будут обсуждать, конечно же, связана с использованием искусственного интеллекта. Я насчитал порядка 10 сессий, в названия которых включены слова «искусственный интеллект». Одна из них, например, называется так: «Призраки в оценочной машине: этика, защита данных, метаоценка и качество оценки в эпоху искусственного интеллекта»… Было бы интересно послушать 😊 Ну, это, "когда воротимся мы в Портленд", как поётся в известной песне. 

Мы готовимся обсудить вопросы практического использования ИИ в оценке на одной из сессий в рамках Института оценки, который пройдет в Москве в декабре. Заявки на участие в Институте принимаются до 5 ноября ЗДЕСЬ.

Пока же посмотрим, что зарубежные коллеги пишут о проблемах, связанных с использованием искусственного интеллекта (ИИ):

1. Проблемы конфиденциальности и безопасности данных. Использование ИИ в оценке часто подразумевает обработку больших объемов конфиденциальных данных, что вызывает серьезные проблемы. Неспособность должным образом защитить персонально идентифицируемую информацию может привести к юридическим последствиям и потере доверия.
2. Проблемы предвзятости. Системы ИИ могут наследовать и усиливать предвзятость, заложенную при их обучении, что, в свою очередь, может привести к несправедливым или даже дискриминационным результатам оценок. От специалистов по оценке потребуются сознательные усилия для того, чтобы этого избежать.
3. Закрытость процесса. Многие системы ИИ, особенно основанные на сложных алгоритмах, функционируют как «черные ящики», что затрудняет понимание того, как был получен тот или иной результат. Такое отсутствие прозрачности может подорвать доверие к результатам, полученным с помощью ИИ, и в целом усложнить обоснование результатов оценки. 
4. Интеграция с существующими процессами. Внедрение инструментов ИИ требует существенных изменений в устоявшихся процессах оценки. Удастся ли их органично соединить с новыми технологиями? 
5. Вопросы нормативного регулирования. Специалистам по оценке, использующим ИИ, может быть сложно ориентироваться в нормативно-правовом поле. Обеспечение соответствия систем ИИ правовым стандартам и этическим нормам может потребовать дополнительных усилий.
6. Развитие новых навыков. По мере развития технологий ИИ растет необходимость в приобретении оценщиками новых навыков, имеющих отношение к внедрению и использованию ИИ. Следовательно, нужны качественные специализированные программы обучения. Их пока явно недостаточно.

С Днем учителя!

В 1986 году в Россию приезжал Карл Роджерс – один из основателей гуманистической психологии. В то время я учился на факультете психологии МГУ и попал на его выступление в университете. Очень повезло! 

К чему это я? Вчера был День учителя. Хотел бы поздравить всех причастных к этой замечательной профессии и напомнить вопросы, которые Карл Роджерс задал бы себе, если бы был учителем (статья с этими вопросами здесь): 

1. Умею ли я входить во внутренний мир человека, который учится и взрослеет? Смог ли бы я отнестись к этому миру без предрассудков, без предвзятых оценок, смог ли бы я личностно, эмоционально откликнуться на этот мир?
2. Умею ли я позволить самому себе быть личностью и строить открытые, эмоционально насыщенные, неролевые взаимоотношения с моими учениками, отношения, в которых все участники учатся? Хватит ли у меня мужества разделить со своими учениками эту интенсивность наших взаимоотношений?
3. Сумею ли я обнаружить интересы каждого в моем классе и смогу ли позволить ему или ей следовать этим индивидуальным интересам, куда бы они ни вели?
4. Смогу ли помочь моим ученикам сохранить живой интерес, любопытство по отношению к самим себе, к миру, который их окружает, сохранить и поддержать самое дорогое, чем обладает человек?
5. В достаточной ли степени я сам творческий человек, который сможет столкнуть детей с людьми и с их внутренним миром, с книгами, всеми видами источников знаний – с тем, что действительно стимулирует любознательность и поддерживает интерес?
6. Смог ли бы я принимать и поддерживать нарождающиеся и в первый момент несовершенные идеи и творческие задумки моих учеников, этих посланников будущих творческих форм учения и активности? Смог ли бы я принять тех творческих детей, которые так часто выглядят беспокойными и не отвечают принятым стандартам в поведении?
7. Смог ли бы я помочь ребенку расти целостным человеком, чувства которого порождают идеи, а идеи – чувства?

Искусственный интеллект и оценка

По мнению многих экспертов, 2023 год стал прорывным с точки зрения практического использования искусственного интеллекта (ИИ) самыми разными специалистами, включая высших руководителей крупнейших компаний. Не остались в стороне и специалисты по оценке проектов и программ. Как уже сегодня можно использовать ИИ в оценке? Вот что по этому поводу говорит сам искусственный интеллект (GigaChat). Картинку он же сделал по моей просьбе.

“Искусственный интеллект (ИИ) можно использовать для автоматизации процессов и повышения эффективности при проведении оценки социальных проектов и программ. Вот несколько способов:

• Автоматическая обработка данных: ИИ может обрабатывать большие объемы данных, собираемых в ходе реализации проекта, и анализировать их для получения инсайтов.
• Прогнозирование результатов: Используя алгоритмы машинного обучения, ИИ способен предсказывать возможные результаты проекта на основе исторических данных и текущих тенденций.
• Мониторинг и контроль: С помощью ИИ можно отслеживать выполнение задач и достижение целей проекта в реальном времени, что позволяет своевременно корректировать стратегию и бюджет.
• Интерактивная отчетность: Современные технологии ИИ позволяют создавать интерактивные отчеты, которые предоставляют информацию в удобном для восприятия формате, включая визуализацию данных и автоматическое генерирование рекомендаций.
• Персонализация: Использование ИИ позволяет адаптировать подход к оценке проекта в зависимости от индивидуальных особенностей и потребностей участников проекта.
• Диагностика проблем: Благодаря ИИ становится возможным обнаружить скрытые проблемы и слабые места в проекте, которые могут негативно сказаться на его успешности.
• Создание рекомендаций: На основе анализа данных ИИ может предложить рекомендации по улучшению текущих практик и стратегий в рамках проекта.
• Образование и обучение: Встроенные обучающие системы на базе ИИ могут помогать участникам проекта развивать новые навыки и компетенции, необходимые для достижения успеха.

Применение ИИ в оценке социальных проектов значительно повышает качество и скорость принятия решений, улучшает прогнозируемость результатов и способствует эффективному использованию ресурсов».

Пандемия и системные изменения в НКО

Вчерашнее заседание клуба PROОЦЕНКУ было посвящено системным изменениям и их оценке. Это заседание было проведено совместно с Центром развития филантропии (ЦРФ) Фонда Владимира Потанина, тема для обсуждения была выбрана в связи с недавним выходом в свет дайджеста ЦРФ «Системные изменения в благотворительных организациях».

По ходу обсуждения мы обратились к «пандемийному» опыту участников и предложили проанализировать изменения, которые произошли в их организациях в результате неожиданно возникшей экстремальной внешней ситуации. 

Вот лишь некоторые из проблем, с которыми столкнулись НКО в тот период: 

• У многих НКО возникли сложности в общении с благополучателями (детские дома, больницы, хосписы, помощь на дому и т.д.). 
• У многих НКО сократились объемы пожертвований в силу экономических сложностей, с которыми столкнулись жертвователи. 
• У подавляющего большинства НКО отсутствуют резервные фонды, которые можно использовать для осуществления необходимых выплат – зарплаты сотрудников, аренды помещений и т.д. 
• Практически все НКО получают финансирование на проектной основе. Выполнение многих проектов оказалось под угрозой в силу того, что нельзя было проводить мероприятия. При этом по некоторым мероприятиям уже была произведена предоплата, и средства вернуть было невозможно. Было непонятно, как отчитаться перед донорами . 
• Переход на удаленную работу оказался весьма непростым. Многие НКО к этому не были готовы технически. У многих сотрудников не было нормальных условий для удаленной работы из дома. 
• Интенсивность и объем работы на «удаленке» возросли настолько, что это в сочетании с общим стрессом от пандемии стало приводить к массовому выгоранию специалистов НКО.

По результатам обсуждения в малых группах стало понятно, что изменения в НКО не просто имели место, но и носили системный характер. Модель, предложенная Каниа и др., позволяет выделить в таких изменениях три уровня: 

1) Структурные изменения (относятся к политикам, практикам и потокам ресурсов). Они носят явный характер, их можно наблюдать.

2) Изменения в отношениях (связи, взаимоотношения, динамика власти). Что-то из этих изменений можно наблюдать, а что-то скрыто от внешнего наблюдателя.

3) Трансформационные изменения, характеризующиеся глубиной, существенностью и значимостью. Они относятся к ментальным моделям и происходят незаметно для внешнего наблюдателя, хотя, естественно, влияют на поведение людей.

Сравнение традиционного очного обучения с дистанционным

Традиционным очным обучением мы называем такой формат, когда ученики и преподаватель приходят в учебную аудиторию. В последние годы, особенно в связи с пандемией, все чаще стали говорить об "очном онлайновом обучении". Вот один из примеров ("Новая форма обучения - очное обучение в формате онлайн"). Подразумевается, что присутствие в едином виртуальном пространстве эквивалентно присутствию в аудитории. В английском языке для такой формы обучения придумали специальный термин: синхронное дистанционное обучение. Дело в том, что дистанционное обучение может проводиться синхронно или асинхронно. До пандемии наиболее используемым и изученным методом обучения было асинхронное (Asynchronous) дистанционное обучение, при котором участникам предлагались записанные видео для просмотра в любое время. Синхронное (Synchronous) дистанционное обучение обеспечивает участникам интерактивное общение с преподавателем и друг с другом в реальном времени. 

Естественно, возник вопрос о сравнении традиционного очного обучения (ТОО) с синхронным дистанционным обучением (СДО). В начале 20-х годов за рубежом был проведен ряд оценок и оценочных исследований по этому поводу. Вот некоторые выводы:

• Результативность СДО оказалась примерно такой же, как в ТОО.
• В тех случаях, когда при проведении СДО использовались возможности для ответов на вопросы учащихся, выдачи ведущим индивидуальной «обратной связи» и групповых обсуждений с участием ведущего, значимой разницы в освоении материала по сравнению с ТОО не было обнаружено. 
• Степень удовлетворенности учащихся при СДО и ТОО оказалась примерно одинаковой. 
• Преимущества СДО: использование инновационных технологий для представления нового и интересного контента; сокращение времени/стоимости поездок на учебу; гибкий график; дополнительный доступ к материалам для повторения; интервальность обучения (паузы), способствующая лучшему усвоению материала; возможность лучше подстраиваться под индивидуальные потребности учащегося  (что может быть невозможно в условиях ТОО).
• Недостатки СДО: ограничения в доступе к интернету у отдельных категорий участников; неумение некоторых учащихся пользоваться современными компьютерными технологиями на должном уровне; снижение концентрации внимания участников, когда занятия оказываются более продолжительными; уменьшение возможностей взаимодействия между участниками, когда продолжительность занятий невелика. 

Новости Международной академии оценки

«Международная академия оценки (IEAc) — это всемирное движение волонтеров, стремящихся к влиянию на политику в сфере оценки, к профессионализму и преобразующему (трансформационному) воздействию». Так кратко описывают замысел академии ее лидеры.

На сайте академии перечислены основные направления деятельности: 

• Исследования в сфере оценки
• Эдвокаси (процесс, направленный на изменение политики и законодательства в сфере оценки, практики его применения отдельными лицами, группами и институтами)
• Образование в сфере оценки (продвижение качественного университетского образования)
• Развитие потенциала в сфере оценки
• Профессионализация оценки  
• Трансформационная оценка
• Оценщики без границ
• Экспертные услуги в сфере оценки

Одно из существенных организационных нововведений – это создание института «друзей академии», которые делятся на три уровня: просто друзья (готовы участвовать в активностях академии), ученые (Evaluation Scientists) и научные лидеры (Evaluation Scientific Leaders). Желающим присоединиться к академии предлагают заполнить форму. Зачисление в друзья  происходит не автоматически, а по результатам рассмотрения заявки. 

Модель AGES: как превратить обязательное мероприятие в приобретение значимого опыта

NeuroLeadership Institute (NLI) предлагает 4 условия эффективного обучения, которые можно иметь в виду как при планировании и проведении обучения, так и для оценки его эффективности. Эти условия объединены в модели AGES (Attention, Generation, Emotions, Spacing):

Внимание: для того, чтобы происходило обучение, участники должны уделять пристальное внимание тому, что они изучают. Высокая концентрация внимания предполагает фокусировку на чем-то одном, без отвлечений.

Привязка к собственному контексту: поскольку мы формируем воспоминания, создавая ассоциации, обучение работает лучше всего, когда участники создают собственные связи с материалом, связывают новые идеи со своими знаниями и опытом.

Эмоции: информация хорошо закрепляется в памяти, если ознакомление с ней сопровождается эмоциями.

Интервалы: обучение наиболее эффективно, когда учебные сессии разнесены во времени, особенно когда промежуток между сессиями включает одну или несколько ночей, чтобы учащиеся могли спокойно переспать с полученными знаниями.

Один из важных выводов, к которым пришли специалисты NLI, состоит в том, что описанные выше условия можно успешно соблюдать при проведении виртуального обучения, когда ведущий и участники обучения взаимодействуют в реальном времени онлайн. Более того, по мнению NLI виртуальное обучение может быть в разы (!) эффективнее традиционного очного обучения.