Система МиО в НКО

На следующей неделе пройдет очередное онлайновое заседание клуба PROОЦЕНКУ, которое будет посвящено системам мониторинга и оценки в НКО. Объявление о заседании в ФБ-группе "Проектирование и оценка в социальной сфере". Регистрация участников здесь. Думаю, будет интересно. К большому сожалению, не смогу присоединиться в этот раз. 

Вообще появление систем свидетельствует о важном этапе в развитии организации - о развитии т.н. "формальной" организации, об отделении собственно организации от людей, которые в ней работают. НКО часто начинают свою деятельность как совсем небольшие группы энтузиастов (или даже отдельные люди), движимые желанием изменить мир к лучшему. Поэтому на первых порах абсолютным приоритетом является содержательная деятельность, а решение организационных вопросов происходит по мере их поступления. Но по мере усложнения деятельности, накопления опыта, увеличения числа сотрудников возникает необходимость введения неких внутренних правил, чтобы все работало как надо. Организационная система – это формализованное описание того, как сотрудникам организации следует действовать в значимых повторяющихся ситуациях. Хорошие системы основаны на успешном опыте, отделены от людей и постоянно совершенствуются. 

Один из самых интересных для меня вопросов в повестке следующего заседания клуба PROОЦЕНКУ: "Как понять, что пришло время для формирования системы МиО в вашей организации?". Система мониторинга и оценки (МиО) позволяет отслеживать ход и результаты деятельности организации. Система МиО своевременно предоставляет руководителям и специалистам организации информацию, необходимую для принятия решений. Но создание системы и поддержание ее работы требуют времени и ресурсов, которых у НКО всегда не хватает. Поэтому вопрос о том, пора создавать систему или можно повременить с этим - отнюдь не праздный. Посмотрим, что скажут участники клуба...

Оценка внедрения инноваций

Мgогие проекты и программы бывают связаны с внедрением нововведений. Легкость внедрения нововведения зависит от многих факторов, включая свойства самой инновации. На это, в частности, обратил внимание Эверетт Роджерс в книге "Диффузия инноваций" (написана 60 лет назад!). Он выделил 5 характеристик нововведения, которые влияют на процесс его внедрения: 

1. Преимущество новой идеи перед тем, что было раньше.
2. Совместимость новой идеи с существующими ценностями, прошлым опытом и сегодняшними потребностями.
3. Легкость понимания нововведения. 
4. Возможность опробовать нововведение – внедрить временно, для апробации. 
5. Возможность наблюдать со стороны за результатами внедрения. 

Соответственно, ход внедрения можно оценивать с учетом этих характеристик. Они, в числе прочего, помогут понять причины успехов либо трудностей. Для многих социальных инноваций, как мне кажется, проблематична апробация (пробное или временное внедрение - п.4). 

Актуальность концепции Роджерса (естественно, она не ограничивается вышеприведенными пятью характеристиками) для социальных инноваций - тема интересная и заслуживающая отдельного обсуждения. Три статьи для примера: 

• Hains, Bryan & Hains, & Hains, Kristina. (2020). Community Reaction towards Social Innovation: A Discussion of Rogers’ Diffusion of Innovations Theory in Consideration of Community Emotional Response. Journal of International Agricultural and Extension Education. 27. 34-46. 10.5191/jiaee.2020.27103. 
• Schuster, J. and N. Kolleck (2020). "The Global Diffusion of Social Innovations – An Analysis of Twitter Communication Networks Related to Inclusive Education." Frontiers in Education 5(193).
• Сурнина Т.В. Социально-педагогические возможности диффузии инноваций в системе социальных служб // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 7, №3 (2015) http://naukovedenie.ru/PDF/187PVN315.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ. DOI: 10.15862/187PVN315

Профессионализация оценки - видео

АСОПП разместила в сети видео с недавней конференции, на котором есть запись презентации "Профессионализация оценки". Сама презентация (PDF) здесь. Продолжительность моего выступления - 40 минут (со 2-й по 42-ю). 

Моделирование и оценка

Этой теме будет посвящено очередное заседание клуба PROОЦЕНКУ, которое пройдет онлайн в четверг 11 ноября с 11 до 12.30 мск. Официальное объявление о заседании будет опубликовано сразу после длинных выходных 8 ноября. 

Разговор пойдет о различных видах моделей, относящихся к объекту оценки, - проекту, программе или деятельности организации в целом. К таким моделям относятся, в частности, логическая рамка (logical framework), логическая модель (logic model), карта результатов (outcomes map), теория изменений (theory of change), теория программы (program theory), теория филантропии (theory of philanthropy), теория фонда (theory of the foundation), системные диаграммы (system diagram). О последних я недавно писал (см. ссылку). 

Сегодня хотел бы особо отметить циклические модели, в которых учитывается нелинейность процессов, происходящих в реальной жизни. Такие модели не только позволяют точнее представить оцениваемую деятельность, но и посмотреть, как развиваются процессы в динамике. При оценке программ и проектов такие модели применяются не очень часто. Приглашаю посмотреть простой пример такой модели. Там представлена т.н. "усиливающая петля" (см рисунок): и позитивные, и негативные тренды в данном случае усиливаются. Для того, чтобы запустить процесс, надо нажать PLAY, а затем выбрать точку, с которой вы хотите начать, и кликнуть по стрелке вверх или вниз, чтобы обозначить тенденцию. Например, если вы решите начать с моего настроения и кликните стрелку вверх, это будет означать улучшение моего настроения. И, наоборот, если вы кликните стрелку вниз, вы увидите, что произойдет при ухудшении моего настроения.

Первое очное заседание клуба PROоценку

17 октября в Москве в рамках семинара по проекту "Ступени эффективности" ИнаЦентра (Новосибирск) мы впервые провели 1,5-часовое очное заседание клуба PROоценку. По понятным причинам в заседании участвовали те, кто был на семинаре, и организаторы проекта :)  Другими словами, одну из сессий мы провели в формате клуба. 

Тема заседания - "Система оценки в инфраструктурной НКО". Такая тема полностью соответствовала замыслу семинара и интересам участников, которые как раз и представляли инфраструктурные НКО - универсальные и специализированные ресурсные центры из разных регионов России. 

Основные вопросы, которые мы обсудили:

• Насколько универсальна «универсальная» модель инфраструктурной НКО? Каковы ее преимущества? Какие существуют ограничения для ее использования при оценке инфраструктурных НКО? 
• Как можно использовать в оценке универсальные модели для отдельных направлений деятельности инфраструктурной НКО? Требуют ли они доработки? Какие есть риски? 
• Есть ли смысл создавать библиотеки показателей для инфраструктурных НКО?

Модель деятельности, которая упоминается в первом вопросе (см. рисунок справа), основана на опыте Сибирского центра поддержки общественных инициатив (Новосибирск) и нескольких других ведущих Центров общественного развития России. Модели для отдельных направлений деятельности инфраструктурной НКО (см. вопрос №2) были разработаны в ходе проекта "Ступени эффективности" совместно с участниками проекта. 

Разговор получился живой и очень интересный. "Универсальная" модель определенно подходит не всем, если считать, что каждая инфраструктурная организация должна заниматься всеми направлениями. В частности, многие отметили, что они пока не планируют заниматься инновациями как отдельным направлением. Другой  вопрос, по которому возникли разногласия касался позиции, которую должен занимать ресурсный центр по отношению к НКО-благополучателям. Следует ли инфраструктурной организации брать на себя мотивирование НКО, побуждать их к определенным действиям или достаточно обучить их, а дальше работать с теми, кто проявит инициативу? 

Очный формат проведения клуба всем понравился. Многие из участников мероприятия побывали ранее на онлайновых заседаниях, так что им было, с чем сравнивать. Будем и дальше по возможности проводить очные заседания клуба. Следующее онлайновое заседание - 11 ноября. Тема будет объявлена в ближайшее время.

Профессионализация оценки

Непростая и интересная тема. Вчера обсудили на конференции АСОПП-2021. Моя презентация здесь. Хотел бы обратить внимание интересующихся данной темой на 2 момента. Во-первых, на последний слайд презентации. Там много вопросов, о которых стоит подумать в связи с профессионализацией оценки. Во-вторых, на то, что не включено в слайды. Я говорил об этом вчера в связи с публикацией Тома Швандта. Судя по всему, профессионализация может происходить по-разному в разных контекстах. Модель Виленски, которую можно видеть как иллюстрацию к этому посту, предполагает формирование саморегулируемого профессионального сообщества, обладающего своего рода монополией в профессиональной сфере. Швандт указывает на то, что, например, в скандинавских странах, где оценка успешно развивается, подавляющее большинство специалистов по оценке работает в государственных структурах. Это ситуация, которая модели Виленски не вполне соответствует. Добавлю, что надо еще учитывать разный уровень развития профессии в разных странах. Очень неравномерно идет развитие оценки. Это объяснимо и нормально. Но - вне всякого сомнения - стратегия профессионализации должна формироваться с учетом контекста.

Выступление Майкла Пэттона

Вчера вечером в рамках конференции АСОПП-2021 выступил Майкл Пэттон, который рассказал об опыте синтеза независимых диалогов Саммита по продовольственным системам. Об этой работе я писал ранее. Там же есть ссылка на русскоязычный отчет. Вчерашняя презентация Майкла здесь.

Конференция АСОПП-2021

Очередная конференция Ассоциации специалистов по оценке программ и политик (АСОПП) пройдет 19-21 октября в онлайн-формате. На сайте конференции можно ознакомиться с темой конференции («Оценка в меняющемся мире: партнерства и инфраструктура»), программой и выступающими. Там же можно бесплатно зарегистрироваться для участия в конференции. Считаю, программа получилась очень насыщенной и интересной. 

Отличная новость: Майкл Пэттон (Michael Quinn Patton) - признанный гуру в области оценки -  выступит с сообщением "Опыт анализа и синтеза материалов глобальных консультаций в преддверии Саммита ООН по продовольственным системам". Я писал недавно об этой уникальной работе. Выступление Пэттона запланировано на 18.00 мск 19 октября. Будет синхронный перевод на русский.

Мое выступление запланировано на 12.30 19 октября. Планирую обсудить тему профессионализации оценки. Вот некоторые вопросы, которые собираюсь затронуть: 

• Что такое "профессионализация оценки"? 
• Что означает "профессионализм" в оценке? 
• Как профессия оценщика развивается в различных контекстах (регионах, странах, культурах и т. д.)? Можно ли по-разному определять «профессионализацию» в разных контекстах?
• Можно ли прийти к международному консенсусу в отношении основных компетенций оценщика? Готовы ли различные участники, вовлеченные в развитие основных компетенций, работать вместе для достижения такого консенсуса? 
• Какова роль оценочной науки для статуса оценки как профессии, отрасли прикладной социальной науки, дисциплины и трансдисциплины?

Как это будет по-русски?

Очередное онлайновое заседание клуба PROоценку в следующий четверг будет посвящено показателям. Один из вопросов, которые мы планируем обсудить, связан с тем, как их (показатели) следует называть. Сегодня для этого широко используются еще два термина: индикаторы и метрики. Почему используются три разных термина? Можно ли считать их синонимами? Какой из терминов использовать предпочтительнее и почему? Зависит ли это от контекста? 

Очень надеюсь, что участники заседания клуба поделятся своим опытом и размышлениями на эту тему.

Для "затравки": 

1) Английское слово indicator переводится на русский язык как показатель.

2) Слово показатель, является синонимом слова метрика (см. словарь синонимов).

3) Министерство образования и науки РФ руководствуется следующими определениями: 

Показатель — количественное значение, характеризующее деятельность вуза. Как правило, выражается элементарными единицами измерения (чел, млн. рублей, штук, единиц и пр.).

Индикатор — вычисляемый элемент, формируемый на основе показателей университета. Как правило, выражается относительными единицами измерения (доли, проценты) или производными (статьи/человек, тыс. рублей/человек и пр.).

Главное - полёт

В 1968 году в СССР был снят мультфильм "Человек, который умел летать" (по мотивам одноименного рассказа Карела Чапека). Это история обычного человека, который очень захотел летать - и научился. Сам. Его заметили и пригласили на заседание специально собранного по этому случаю экспертного совета. Он разбежался и на глазах у экспертов взлетел. Те посовещались и вынесли заключение, что полет в целом нормальный, а вот техника разбега и физические кондиции у объекта экспертизы - не очень. Над этим предложили   поработать. И вот через некоторое время вновь собрался экспертный совет. Перед ним предстал атлет с идеальной техникой бега. Вот только взлететь он не смог....

Вспомнил я эту историю в связи с обсуждением вопроса о том, насколько могут быть полезны для практиков различные инструменты и технологии управления некоммерческой организацией. Например, может ли НКО успешно работать, не имея стратегии? Или можно ли НКО обойтись без оценки собственной деятельности? 

Считаю, что главное в данном случае - это полёт. Надо, чтобы НКО делала то, ради чего она создавалась. Если какие-то инструменты и технологии не кажутся органичными, не стоит тратить время на их освоение и внедрение. 

А вот когда в развитии организации возникнут сложности, и без их преодоления дальнейший полет будет затруднен, можно обратиться к уже имеющимся знаниям и опыту. Как-то раз нам написал руководитель некоммерческой организации с просьбой проанализировать построение и функционирование их системы мониторинга и оценки. Естественно, мы поинтересовались, с чем связан такой запрос. Руководитель пояснил, что география их деятельности существенно расширилась, и они стали терять контроль за происходящим. Старая система не позволяла оперативно получать информацию по ключевым для организации вопросам, что стало критичным.