Модель AGES: как превратить обязательное мероприятие в приобретение значимого опыта

NeuroLeadership Institute (NLI) предлагает 4 условия эффективного обучения, которые можно иметь в виду как при планировании и проведении обучения, так и для оценки его эффективности. Эти условия объединены в модели AGES (Attention, Generation, Emotions, Spacing):

Внимание: для того, чтобы происходило обучение, участники должны уделять пристальное внимание тому, что они изучают. Высокая концентрация внимания предполагает фокусировку на чем-то одном, без отвлечений.

Привязка к собственному контексту: поскольку мы формируем воспоминания, создавая ассоциации, обучение работает лучше всего, когда участники создают собственные связи с материалом, связывают новые идеи со своими знаниями и опытом.

Эмоции: информация хорошо закрепляется в памяти, если ознакомление с ней сопровождается эмоциями.

Интервалы: обучение наиболее эффективно, когда учебные сессии разнесены во времени, особенно когда промежуток между сессиями включает одну или несколько ночей, чтобы учащиеся могли спокойно переспать с полученными знаниями.

Один из важных выводов, к которым пришли специалисты NLI, состоит в том, что описанные выше условия можно успешно соблюдать при проведении виртуального обучения, когда ведущий и участники обучения взаимодействуют в реальном времени онлайн. Более того, по мнению NLI виртуальное обучение может быть в разы (!) эффективнее традиционного очного обучения.

3 года работы клуба PROОЦЕНКУ

Прошлое заседание клуба PROОЦЕНКУ стало 36-м по счету. Поскольку заседания проходят ежемесячно, можно считать, что клуб работает уже три года (на самом деле, чуть больше – с учетом летних каникул). По итогам каждого заседания на сайте клуба размещаются презентация и видеозапись. За три года получился уникальный ресурс. Вот темы заседаний в хронологическом порядке: 

1. Оценка обучения
2. Оценка стратегии
3. Оценка воздействия 
4. Мониторинг
5. Индикаторы
6. Моделирование и оценка
7. Система мониторинга и оценки
8. Как рассказать про оценку
9. Оценка и ценности
10. Оценка организаций
11. Оценка замысла проекта
12. Оценка с участием
13. Принципы оценки 
14. Принципы оценки (продолжение)
15. Оценка потребностей
16. Оценка услуг
17. Как научиться проводить оценку
18. Оценка оцениваемости
19. Оценка рисков
20. Анализ стейкхолдеров
21. Использование рубрик для оценки воздействия
22. Оценка качества жизни
23. Феминистская оценка
24. Трудные ситуации в оценке
25. Интегрирование оценки в деятельность НКО
26. Обоснованность суждений или как мы анализируем данные
27. Готовимся к конференции АСОПП
28. Доказательный подход и оценка в социальной сфере
29. Оценка Школы приемных родителей ИРСУ (кейс)
30. Обсуждение дальнейшей работы клуба
31. Data-driven и BI-системы в мониторинге и оценке
32. Этический кодекс для экспертов
33. Задание на проведение оценки
34. Анкетирование
35. Дизайн оценки
36. Этика оценки

Нетрудно заметить, что какого-либо содержательного плана у клуба не было и нет. Темы возникают по ходу дела и определяются разными факторами. Например, тему «Использование рубрик для оценки воздействия» предложил наш бразильский коллега Томаз Чианка, который этот подход активно использует и развивает. Тема «Готовимся к конференции АСОПП» была предложена организаторами клуба, чтобы дать возможность выступающим на грядущей конференции кратко анонсировать свои доклады. Это помогло будущим участникам конференции выбрать наиболее актуальные для них сессии. Кейс «Оценка Школы приемных родителей ИРСУ» был представлен в связи с тем, что многие участники клуба предлагали по возможности рассматривать реальный опыт проведения оценки. В данном случае результаты оценки были опубликованы, и потому появилась возможность их показать и обсудить. 

Полагаю, продолжим в том же духе. Наверняка будет больше предложений по тематике обсуждений от участников клуба. Следующее заседание клуба пройдет в четверг 12 сентября 2024 года с 11 до 12.30 мск. Тему уже обсуждаем…

Риск ошибки при интерпретации неполных данных

Обсудим ситуацию, описанную во вчерашней публикации. 

Сотрудники НКО, проводившие само-оценивание, пришли к неправильному выводу относительно решения руководителя организации. Это произошло потому, что они не знали всех обстоятельств, повлиявших на принятие решения. Такую информацию можно было получить только у самого руководителя организации, который был очень занят и не принимал участия в оценке. Возможность поговорить с руководителем представилась только на совещании по результатам оценки, где возникла довольно напряженная ситуация, поскольку сотрудники сообщили о своем выводе касательно ошибочности принятого руководителем решения. Они выбрали меньшее из двух зол (по их мнению): рассказать все как есть (как они думали), рискуя вызвать негативную реакцию руководителя. Когда руководитель на совещании объяснил свое решение, ошибочность вывода стала очевидной. Как здесь не вспомнить еще раз мудрое изречение Шерлока Холмса о том, как опасно строить гипотезы на основе неполных данных!

Команде, проводившей само-оценивание, следовало на совещании рассказать о полученных данных и попросить руководителя проверить их полноту и дать свою интерпретацию ситуации. В этом случае негативные последствия оценки были бы минимизированы.

Этика оценки: как правильно поступить?

В прошлый четверг состоялось очередное заседание клуба PROОЦЕНКУ. Говорили об этике оценки. Видеозапись заседания и презентация – на сайте клуба. 

Этика — это учение о нравственности. Нравственность или мораль – это принятые в обществе представления о хорошем и плохом, правильном и неправильном, добре и зле, а также совокупность норм поведения, вытекающих из этих представлений. Профессиональная этика предлагает нормы поведения, характерные для определенных видов профессиональной деятельности, например, для оценки программ и проектов социальной направленности.

Группа оценки ООН предложила такое определение этики оценки: «Согласованные ценности и принципы, которые определяют правильное поведение специалиста по оценке в конкретном культурном контексте, в котором заказывается или проводится оценка (проекта или программы - АК)». На всякий случай отмечу, что при переводе с английского я это определение слегка подредактировал 😊 

Обсуждение этических вопросов, на мой взгляд, всегда получается эмоциональным, поскольку оно имеет прямое отношение к ценностям. А ценности – это не то, что мы склонны подвергать сомнению или легко менять. Заседание клуба в этом плане не стало исключением. В результате мы не успели обсудить всё, что запланировали. Предлагаю вашему вниманию следующую ситуацию из необсужденных (основана на реальных событиях).

Само-оценивание в НКО. Сотрудники собрали данные, которые, по их мнению, свидетельствуют об ошибочном решении руководителя. По мнению сотрудников, это решение надо отменить. Руководитель непосредственного участия в проведении само-оценивания не принимал.

Проблема в том, что такого рода рекомендация может вызвать негативную эмоциональную реакцию со стороны руководителя. Это может привести к внутриорганизационному конфликту и существенно ухудшить психологический климат в НКО. 

Вопрос: как поступить команде, проводившей само-оценивание?  

PS Проблема здесь в том, чтобы минимизировать негативные последствия оценки либо вовсе их избежать. При этом необходимо показать ситуацию как она есть, то есть и хорошее, и плохое.

Чем может быть полезен дайджест

Сегодня у меня спросили, чем может быть полезен дайджест «Системные изменения в благотворительных организациях», опубликованный на днях Центром развития филантропии Фонда Потанина.

Дайджест содержит много идей, которые могут быть полезны как в плане организационного развития самих НКО, так и в плане развития деятельности НКО и их воздействия на окружение. К дайджесту следует отнестись как к ресурсу, в котором какие-то мысли, модели, схемы могут оказаться созвучны тому, с чем имеет дело та или иная организация. Надо обращать внимание, в первую очередь, именно на то, что «откликается» сейчас. Ну и, конечно, взять на заметку то, что может пригодиться в перспективе. Дайджест по жанру ни в коем случае не претендует на сколько-нибудь развернутое описание. Он содержит лишь краткие обзоры либо основные положения значимых публикаций, связанных с системными изменениями в организациях вообще и в благотворительных организациях в частности. Соответственно, можно рассматривать дайджест и как некое собрание «точек входа», позволяющих перейти к более детальному изучению заинтересовавших читателя вопросов.

Системные изменения и их оценка

Вышел в свет очередной дайджест Центра развития филантропии Фонда Потанина. Он посвящен системным изменениям в благотворительных организациях. 

«Воспринимаем ли мы свою НКО как цельную совокупность взаимодействующих элементов? Меняем ли именно систему — основные компоненты структуры и связи между ними? Или ограничиваемся содержанием программ и отдельными шагами бизнес-процесса? Как определить, какие изменения и почему нужны? На чьи модели опираться при планировании и внедрении? Как преодолевать внутреннее сопротивление, неизбежное при изменении системы? Какой опыт наработан в мире, в стране, в некоммерческом секторе?».

Материалы, включенные в дайджест, могут пригодиться всем, кто интересуется вопросами организационного развития НКО и оценкой социальных программ и проектов. Принципы и методы оценки системных изменений рассматриваются в заключительном разделе. 

Оцените теорию вашего Дела

Термин «теория бизнеса» был предложен Питером Дракером – одним из самых известных специалистов по менеджменту. «Теория» здесь – это совокупность представлений о том, как должен работать бизнес. То есть, это некоторая гипотеза, в соответствии с которой строится работа больших и малых организаций. В этом смысле чем-то похоже на «теорию изменений», которая показывает, как и почему деятельность в рамках программы должна приводить к ожидаемым результатам. Но «теория бизнеса» - понятие более широкое. 

Дракер поясняет: 

«Это представления, которые определяют поведение любой организации, принятие решений о том, что делать, а чего не делать, а также какие результаты считать значимыми. Эти представления касаются рынков. Они касаются определения клиентов и конкурентов, понимания их ценностей и поведения. Они о технологии и ее динамике, о сильных и слабых сторонах компании. Эти представления о том, за что компания получает деньги. Это то, что я называю теорией бизнеса компании». (Drucker, P. F. (1994). The Theory of the Business. Harward Business Review, September-October. )

Дракер приводит 4 ключевые характеристики «теории бизнеса», на основании которых можно сформулировать 4 важных вопроса для оценки вашего Дела. Подчеркну, что вопросы сформулированы на основании публикации Дракера, так что все претензии, если что, ко мне, а не к Питеру :). Исхожу из того, что идею Дракера можно применить к любому Делу, то есть и к деятельности НКО, в том числе. 

Итак, 4 вопроса для оценки теории вашего Дела:

1. В какой мере ваши представления об окружении, миссии вашей организации и её ключевых компетенциях соответствуют реальности? 
2. В какой мере ваши представления об окружении, миссии вашей организации и её ключевых компетенциях соответствуют друг другу? 
3. Насколько сотрудники вашей организации знакомы с этими представлениями и разделяют их? 
4. В какой мере вы открыты для того, чтобы корректировать эти представления? Насколько регулярно вы их проверяете?

Дизайн (или план проведения) оценки

В ближайший четверг на заседании клуба PROОЦЕНКУ поговорим о дизайне оценки. Мы чаще называем этот этап планированием оценки, а то, что получается в результате, – планом проведения оценки. Термин «дизайн» обозначает и процесс, и результат. Он также ассоциируется с творчеством, с искусством. На мой взгляд, это тоже правильно: придумать, как провести оценку или само-оценивание с учетом имеющихся ресурсов, умений и временных ограничений – задача творческая. Интересно, что в англоязычном варианте термин «дизайн оценки» (evaluation design) встречается в интернете в 2 раза реже, чем термин «план оценки» (evaluation plan). Применительно же к исследованиям термин «дизайн» в английском варианте встречается в интернете в 15 раз чаще, чем термин «план», а в русском варианте – почти в 10 раз чаще. 

Так что, похоже, в случае с оценкой планируем, а в случае с исследованием – занимаемся дизайном. Или нет? Обсудим.

Регистрация на сайте клуба PROОЦЕНКУ (кнопка «Регистрация на ближайшее заседание»).

Новый номер журнала «Позитивные изменения»

Вышел в свет новый номер журнала «Позитивные изменения». Как всегда, интересное интервью от главного редактора Натальи Гладких в рубрике «Гость номера» и много разнообразных материалов по социальному проектированию, социальному предпринимательству и оценке социальных проектов. Наша с Владимиром Балакиревым статья называется «Я люблю свою работу». В ней, как и планировалось, мы рассказали о том, как системное внедрение оценки в НКО может позитивно повлиять на корпоративное благополучие сотрудников. Статья написана по мотивам нашего с Владимиром выступления на прошлой конференции АСОПП. 

Новый номер журнала здесь.

Наша статья здесь.

Политика организации в сфере оценки

Политика организации — это набор базовых правил которые регулируют поведение различных субъектов, связанных с организацией, таких как сотрудники, руководство, партнеры, поставщики и т.д. Каждая политика регламентирует определенную сферу деятельности организации. Например, учётная политика (УП) относится к тому, как ведётся бухгалтерский учет в конкретной организации. Точнее, УП - это «совокупность способов ведения бухгалтерского учёта — первичного наблюдения, стоимостного измерения, текущей группировки и итогового обобщения фактов хозяйственной деятельности».  

Что именно должна содержать политика организации в сфере оценки? По мнению американского специалиста Билла Трочима, политика должна определять: 

• Цели или предназначение оценки.
• Кто и как может и должен вовлекаться в процесс проведения оценки.
• Как организация развивает собственный потенциал в сфере оценки.
• Как осуществляется управление оценкой. 
• Как распределяются роли и ответственность сотрудников в сфере оценки.
• Как должен быть организован процесс оценки и какие методы используются при ее проведении.
• Как используются результаты оценки. 
• Как осуществляется мета-оценка, то есть оценивание оценки – системы, процесса и результатов. 

Трочим предлагает инструмент для анализа политики в сфере оценки, представленный на рисунке. Если определить уровень по каждому из параметров (затемнить соответствующее количество сегментов), то получится профиль, наглядно характеризующий сильные и слабые стороны политики организации в сфере оценки. 

Ссылка на источник: Trochim, W.M.K. (2009). Evaluation policy and evaluation practice. In W.M.K. Trochim, M. M. Mark, & L.J. Cooksy (Eds.), Evaluation policy and evaluation practice. New Directions for Evaluation, 123, 13–32.