Оценка внедрения инноваций

Мgогие проекты и программы бывают связаны с внедрением нововведений. Легкость внедрения нововведения зависит от многих факторов, включая свойства самой инновации. На это, в частности, обратил внимание Эверетт Роджерс в книге "Диффузия инноваций" (написана 60 лет назад!). Он выделил 5 характеристик нововведения, которые влияют на процесс его внедрения: 

1. Преимущество новой идеи перед тем, что было раньше.
2. Совместимость новой идеи с существующими ценностями, прошлым опытом и сегодняшними потребностями.
3. Легкость понимания нововведения. 
4. Возможность опробовать нововведение – внедрить временно, для апробации. 
5. Возможность наблюдать со стороны за результатами внедрения. 

Соответственно, ход внедрения можно оценивать с учетом этих характеристик. Они, в числе прочего, помогут понять причины успехов либо трудностей. Для многих социальных инноваций, как мне кажется, проблематична апробация (пробное или временное внедрение - п.4). 

Актуальность концепции Роджерса (естественно, она не ограничивается вышеприведенными пятью характеристиками) для социальных инноваций - тема интересная и заслуживающая отдельного обсуждения. Три статьи для примера: 

• Hains, Bryan & Hains, & Hains, Kristina. (2020). Community Reaction towards Social Innovation: A Discussion of Rogers’ Diffusion of Innovations Theory in Consideration of Community Emotional Response. Journal of International Agricultural and Extension Education. 27. 34-46. 10.5191/jiaee.2020.27103. 
• Schuster, J. and N. Kolleck (2020). "The Global Diffusion of Social Innovations – An Analysis of Twitter Communication Networks Related to Inclusive Education." Frontiers in Education 5(193).
• Сурнина Т.В. Социально-педагогические возможности диффузии инноваций в системе социальных служб // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 7, №3 (2015) http://naukovedenie.ru/PDF/187PVN315.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ. DOI: 10.15862/187PVN315

Профессионализация оценки - видео

АСОПП разместила в сети видео с недавней конференции, на котором есть запись презентации "Профессионализация оценки". Сама презентация (PDF) здесь. Продолжительность моего выступления - 40 минут (со 2-й по 42-ю). 

Моделирование и оценка

Этой теме будет посвящено очередное заседание клуба PROОЦЕНКУ, которое пройдет онлайн в четверг 11 ноября с 11 до 12.30 мск. Официальное объявление о заседании будет опубликовано сразу после длинных выходных 8 ноября. 

Разговор пойдет о различных видах моделей, относящихся к объекту оценки, - проекту, программе или деятельности организации в целом. К таким моделям относятся, в частности, логическая рамка (logical framework), логическая модель (logic model), карта результатов (outcomes map), теория изменений (theory of change), теория программы (program theory), теория филантропии (theory of philanthropy), теория фонда (theory of the foundation), системные диаграммы (system diagram). О последних я недавно писал (см. ссылку). 

Сегодня хотел бы особо отметить циклические модели, в которых учитывается нелинейность процессов, происходящих в реальной жизни. Такие модели не только позволяют точнее представить оцениваемую деятельность, но и посмотреть, как развиваются процессы в динамике. При оценке программ и проектов такие модели применяются не очень часто. Приглашаю посмотреть простой пример такой модели. Там представлена т.н. "усиливающая петля" (см рисунок): и позитивные, и негативные тренды в данном случае усиливаются. Для того, чтобы запустить процесс, надо нажать PLAY, а затем выбрать точку, с которой вы хотите начать, и кликнуть по стрелке вверх или вниз, чтобы обозначить тенденцию. Например, если вы решите начать с моего настроения и кликните стрелку вверх, это будет означать улучшение моего настроения. И, наоборот, если вы кликните стрелку вниз, вы увидите, что произойдет при ухудшении моего настроения.

Первое очное заседание клуба PROоценку

17 октября в Москве в рамках семинара по проекту "Ступени эффективности" ИнаЦентра (Новосибирск) мы впервые провели 1,5-часовое очное заседание клуба PROоценку. По понятным причинам в заседании участвовали те, кто был на семинаре, и организаторы проекта :)  Другими словами, одну из сессий мы провели в формате клуба. 

Тема заседания - "Система оценки в инфраструктурной НКО". Такая тема полностью соответствовала замыслу семинара и интересам участников, которые как раз и представляли инфраструктурные НКО - универсальные и специализированные ресурсные центры из разных регионов России. 

Основные вопросы, которые мы обсудили:

• Насколько универсальна «универсальная» модель инфраструктурной НКО? Каковы ее преимущества? Какие существуют ограничения для ее использования при оценке инфраструктурных НКО? 
• Как можно использовать в оценке универсальные модели для отдельных направлений деятельности инфраструктурной НКО? Требуют ли они доработки? Какие есть риски? 
• Есть ли смысл создавать библиотеки показателей для инфраструктурных НКО?

Модель деятельности, которая упоминается в первом вопросе (см. рисунок справа), основана на опыте Сибирского центра поддержки общественных инициатив (Новосибирск) и нескольких других ведущих Центров общественного развития России. Модели для отдельных направлений деятельности инфраструктурной НКО (см. вопрос №2) были разработаны в ходе проекта "Ступени эффективности" совместно с участниками проекта. 

Разговор получился живой и очень интересный. "Универсальная" модель определенно подходит не всем, если считать, что каждая инфраструктурная организация должна заниматься всеми направлениями. В частности, многие отметили, что они пока не планируют заниматься инновациями как отдельным направлением. Другой  вопрос, по которому возникли разногласия касался позиции, которую должен занимать ресурсный центр по отношению к НКО-благополучателям. Следует ли инфраструктурной организации брать на себя мотивирование НКО, побуждать их к определенным действиям или достаточно обучить их, а дальше работать с теми, кто проявит инициативу? 

Очный формат проведения клуба всем понравился. Многие из участников мероприятия побывали ранее на онлайновых заседаниях, так что им было, с чем сравнивать. Будем и дальше по возможности проводить очные заседания клуба. Следующее онлайновое заседание - 11 ноября. Тема будет объявлена в ближайшее время.

Профессионализация оценки

Непростая и интересная тема. Вчера обсудили на конференции АСОПП-2021. Моя презентация здесь. Хотел бы обратить внимание интересующихся данной темой на 2 момента. Во-первых, на последний слайд презентации. Там много вопросов, о которых стоит подумать в связи с профессионализацией оценки. Во-вторых, на то, что не включено в слайды. Я говорил об этом вчера в связи с публикацией Тома Швандта. Судя по всему, профессионализация может происходить по-разному в разных контекстах. Модель Виленски, которую можно видеть как иллюстрацию к этому посту, предполагает формирование саморегулируемого профессионального сообщества, обладающего своего рода монополией в профессиональной сфере. Швандт указывает на то, что, например, в скандинавских странах, где оценка успешно развивается, подавляющее большинство специалистов по оценке работает в государственных структурах. Это ситуация, которая модели Виленски не вполне соответствует. Добавлю, что надо еще учитывать разный уровень развития профессии в разных странах. Очень неравномерно идет развитие оценки. Это объяснимо и нормально. Но - вне всякого сомнения - стратегия профессионализации должна формироваться с учетом контекста.

Выступление Майкла Пэттона

Вчера вечером в рамках конференции АСОПП-2021 выступил Майкл Пэттон, который рассказал об опыте синтеза независимых диалогов Саммита по продовольственным системам. Об этой работе я писал ранее. Там же есть ссылка на русскоязычный отчет. Вчерашняя презентация Майкла здесь.

Конференция АСОПП-2021

Очередная конференция Ассоциации специалистов по оценке программ и политик (АСОПП) пройдет 19-21 октября в онлайн-формате. На сайте конференции можно ознакомиться с темой конференции («Оценка в меняющемся мире: партнерства и инфраструктура»), программой и выступающими. Там же можно бесплатно зарегистрироваться для участия в конференции. Считаю, программа получилась очень насыщенной и интересной. 

Отличная новость: Майкл Пэттон (Michael Quinn Patton) - признанный гуру в области оценки -  выступит с сообщением "Опыт анализа и синтеза материалов глобальных консультаций в преддверии Саммита ООН по продовольственным системам". Я писал недавно об этой уникальной работе. Выступление Пэттона запланировано на 18.00 мск 19 октября. Будет синхронный перевод на русский.

Мое выступление запланировано на 12.30 19 октября. Планирую обсудить тему профессионализации оценки. Вот некоторые вопросы, которые собираюсь затронуть: 

• Что такое "профессионализация оценки"? 
• Что означает "профессионализм" в оценке? 
• Как профессия оценщика развивается в различных контекстах (регионах, странах, культурах и т. д.)? Можно ли по-разному определять «профессионализацию» в разных контекстах?
• Можно ли прийти к международному консенсусу в отношении основных компетенций оценщика? Готовы ли различные участники, вовлеченные в развитие основных компетенций, работать вместе для достижения такого консенсуса? 
• Какова роль оценочной науки для статуса оценки как профессии, отрасли прикладной социальной науки, дисциплины и трансдисциплины?

Как это будет по-русски?

Очередное онлайновое заседание клуба PROоценку в следующий четверг будет посвящено показателям. Один из вопросов, которые мы планируем обсудить, связан с тем, как их (показатели) следует называть. Сегодня для этого широко используются еще два термина: индикаторы и метрики. Почему используются три разных термина? Можно ли считать их синонимами? Какой из терминов использовать предпочтительнее и почему? Зависит ли это от контекста? 

Очень надеюсь, что участники заседания клуба поделятся своим опытом и размышлениями на эту тему.

Для "затравки": 

1) Английское слово indicator переводится на русский язык как показатель.

2) Слово показатель, является синонимом слова метрика (см. словарь синонимов).

3) Министерство образования и науки РФ руководствуется следующими определениями: 

Показатель — количественное значение, характеризующее деятельность вуза. Как правило, выражается элементарными единицами измерения (чел, млн. рублей, штук, единиц и пр.).

Индикатор — вычисляемый элемент, формируемый на основе показателей университета. Как правило, выражается относительными единицами измерения (доли, проценты) или производными (статьи/человек, тыс. рублей/человек и пр.).

Главное - полёт

В 1968 году в СССР был снят мультфильм "Человек, который умел летать" (по мотивам одноименного рассказа Карела Чапека). Это история обычного человека, который очень захотел летать - и научился. Сам. Его заметили и пригласили на заседание специально собранного по этому случаю экспертного совета. Он разбежался и на глазах у экспертов взлетел. Те посовещались и вынесли заключение, что полет в целом нормальный, а вот техника разбега и физические кондиции у объекта экспертизы - не очень. Над этим предложили   поработать. И вот через некоторое время вновь собрался экспертный совет. Перед ним предстал атлет с идеальной техникой бега. Вот только взлететь он не смог....

Вспомнил я эту историю в связи с обсуждением вопроса о том, насколько могут быть полезны для практиков различные инструменты и технологии управления некоммерческой организацией. Например, может ли НКО успешно работать, не имея стратегии? Или можно ли НКО обойтись без оценки собственной деятельности? 

Считаю, что главное в данном случае - это полёт. Надо, чтобы НКО делала то, ради чего она создавалась. Если какие-то инструменты и технологии не кажутся органичными, не стоит тратить время на их освоение и внедрение. 

А вот когда в развитии организации возникнут сложности, и без их преодоления дальнейший полет будет затруднен, можно обратиться к уже имеющимся знаниям и опыту. Как-то раз нам написал руководитель некоммерческой организации с просьбой проанализировать построение и функционирование их системы мониторинга и оценки. Естественно, мы поинтересовались, с чем связан такой запрос. Руководитель пояснил, что география их деятельности существенно расширилась, и они стали терять контроль за происходящим. Старая система не позволяла оперативно получать информацию по ключевым для организации вопросам, что стало критичным. 

Интересный документ

На днях неожиданно пришло письмо от Майкла Пэттона (Michael Patton), в котором он сообщил, что "наконец-то подготовил отчет на русском языке". Понятно, что русского языка он не знает, потому я с интересом перешел по ссылке, где действительно обнаружил русскую версию отчета под названием "Синтез независимых диалогов Саммита по продовольственным системам". Отчет подготовлен BLUE MARBLE EVALUATION (Майкл является основателем этой компании).

Идея состояла в том, чтобы провести диалоги в разных странах для поиска ответов на следующие вопросы: 

• Какие преобразования продовольственных систем являются необходимыми и ожидаемыми (для достижения Целей в области устойчивого развития)?
• Кто должен участвовать в преобразовании продовольственных систем?
• Как проводить преобразование продовольственных систем?
• Какие факторы успеха являются ключевыми для достижения результатов?

Масштабы мероприятия впечатляют. Было проведено 447 диалогов, в которых приняло участие более 41000 человек. В упомянутом выше документе предлагается краткое описание результатов всего этого. Было бы, конечно, очень интересно понять, как удалось обработать такой массив качественных данных. 

В отчете даже предложена "теория преобразования" (см. ниже). Вероятно, в оригинале было "theory of transformation".