Об оценке в очередном эпизоде подкаста ИРСУ «Чейные дети»

Беседуем с Мариной Ивановой об оценке в 12 выпуске подкаста «Чейные дети» (его поддерживает Институт развития семейного устройства - ИРСУ). Этот эпизод о том, что такое оценка социальных программ, почему это не проверка, а пространство для развития. Как оценка может быть связана не с внешним контролем, а с внутренней честностью и какие нужны качества человеку, который может всерьёз говорить об эффективности социальной деятельности.

Онлайновый курс «Системное мышление»

Сегодня было объявлено о регистрации заявок на участие в онлайновом учебном курсе «Системное мышление», который мы проводим в сотрудничестве с новосибирским ИнА Центром. 

Хотел бы немного рассказать о программе и о том, как будет построено обучение. 

Контекст. Как следует из названия курса, мы будем рассматривать системное мышление в контексте социального проектирования, оценки социальных программ и управления НКО. Это означает, что основная часть примеров и практических заданий будет иметь отношение к этим трем сферам.

Теоретическая база. Разговор о системном мышлении невозможен без обсуждения некоторых базовых положений, которые так или иначе встречаются в большинстве публикаций по данной теме. В качестве концептуальной основы для формирования структуры данного курса я использовал публикации Боба Вильямса (Bob Williams), широко известные среди специалистов по оценке и социальному проектированию во всем мире. При этом будет много ссылок и на другие источники, конечно.  

Практическая ориентация. Основным приоритетом для нас при подготовке учебного курса было стремление сделать так, чтобы каждый участник смог вынести для себя что-то полезное и даже начать применять свои находки на практике уже по ходу обучения. На каждом занятии мы будем рассматривать несколько инструментов разной степени сложности. 

Интерактивность. Курс будет построен как сочетание мини-лекций с обсуждениями в различных форматах. Мы также планируем, что домашние задания будут выполняться не индивидуально, а в малых группах.

Думаю, будет интересно! :)

Этика консультанта: по следам одной онлайновой дискуссии

XCeval — это рассылка для лиц, интересующихся вопросами, связанными с международной и кросс-культурной оценкой. В списке рассылки сегодня, полагаю, более 2000 человек со всего мира. Подробнее о группе и возможность подписаться здесь.

Я подписался на эту рассылку с момента создания группы (лет 20 назад, наверное), читаю регулярно. Пишу крайне редко.

В последние несколько дней в группе идет дискуссия, о которой хотел бы сказать пару слов сегодня. Переписка открытая, но имен авторов сообщений упоминать не стану. Интересующиеся могут сами посмотреть. 

Итак, все началось с письма о том, что некий консультант отправил заявку на тендер на проведение внешней оценки для одного из офисов Международной организации труда (МОТ). Этот консультант сетовал в своем письме, что ему не пришло никакого ответа. Дальше – больше. Сразу несколько человек написали, что у них тоже такое было с МОТ. И что вообще, наверное, МОТ формально объявляет тендеры, а консультантов выбирает заранее. В развитие этой мысли люди, которые, по их словам, имели опыт проведения оценки для МОТ, стали писать, что МОТ работает из рук вон плохо, а ценные рекомендации, которые дают консультанты по результатам оценки, не внедряет (приводились конкретные примеры). Были замечания типа того, что надо принимать «суровую правду» (которую можно найти в отчетах по оценке), а не «вычищенные тексты» для публикаций из отчетов делать. Были жалобы на сокращение бюджетов на проведение оценки (при этом задания не сокращаются). Сегодня после небольшой паузы еще один специалист, знающий МОТ, написал, что, по его мнению, МОТ не адаптировала свои подходы к меняющейся среде, и что это коренная причина проблем МОТ.

В ходе этой дискуссии появилось письмо от Офиса оценки МОТ с призывом обращаться к ним «напрямую для конструктивного и уважительного обсуждения, а не размещать в этом списке рассылки клеветнические заявления, которые могут нанести вред работе и репутации преданных своему делу специалистов МОТ». И дальше было требование модерировать список рассылки, чтобы подобные публикации не появлялись. 

Я не собираюсь здесь обсуждать, что из этого правда, а что – нет, но хочу сказать следующее.

Если ты – внешний консультант, то ты многое узнаёшь о своем клиенте. Иначе ты не сделаешь свою работу. Но как же можно публично обсуждать то, что тебе стало известно в силу выполнения тобой (за деньги клиента!) профессиональных обязанностей по договору?  У меня это в голове не укладывается!  

Подозреваю, что здесь дело в том, что некоторые специалисты по оценке занимают позицию «активистов», для которых задача улучшения мира (как они ее понимают) имеет приоритетное значение. Майкл Скривен, критикуя «традиционный» подход с иронией написал в своей статье «Активистская оценка» (Michael Scriven (2007) Activist evaluation) следующее: «Как правило, дело обстоит так, что клиенты хотят рекомендаций, а оценщики делают их в надежде, что они будут приняты. Другими словами, вы пытаетесь оказать влияние. Это довольно проактивно, не так ли?». Радикально настроенные оценщики вообще намерены «бросить вызов привилегированным дискурсам власть имущих» (читай – клиентов). 

На мой взгляд, такая позиция противоречит базовым этическим принципам, которыми должен руководствоваться внешний консультант, работающий с организацией. С любой организацией.  

Цифровой Фотоголос

Американская ассоциация оценки ведет уникальный блог, на который я неоднократно ссылался Новые публикации в нём появляются ежедневно. Этого удается добиться за счет активного привлечения членов ассоциации через тематические группы, объединяющие специалистов по сферам их профессиональных интересов в сфере оценки. Таких групп в ассоциации несколько десятков, и каждая получает возможность вести блог в течение недели. Сейчас идет неделя группы «Оценка потребностей». Во вчерашней публикации речь шла об использовании цифровой (онлайновой) версии метода Photovoice (Фотоголос). 

Наши американские коллеги пишут: «Photovoice — это широко используемый в развитии сообществ и оценке потребностей качественный метод исследования. Он предполагает применение фотографии для фиксации точек зрения участников, стимулирования обсуждения и сбора историй… Цифровой Фотоголос, объединяющий традиционный Фотоголос с социальными сетями, создает мощный, гибкий и интерактивный подход к сбору данных с помощью виртуальных встреч, выставок и обсуждений, что делает его особенно эффективным для привлечения молодых участников».

Этот метод у нас достаточно давно известен в классическом варианте с использованием одноразовых фотокамер и печатью фотографий. У меня есть несколько знакомых, которые использовали Фотоголос с применением цифровой фотографии. А теперь и у нас в стране уже появляется опыт применения этого метода в формате онлайн. 

Вот основные этапы использования Photovoice для нужд местного сообщества. 

1. Определение исследовательской темы и целей. Выбор проблемы или вопроса, который требует внимания и решения в конкретном сообществе. Формулирование целей. Основные цели Photovoice включают вовлечение сообщества в обсуждение проблем.
2. Подготовка участников и оборудования. Обучение участников. Проведение брифингов для участников, где им объясняется цель проекта и предоставляется информация о том, как использовать камеры или смартфоны для фотографирования. Оборудование: использование камер или смартфонов для фотографирования.
3. Сбор данных через фотографии. Фотографирование: участники запечатлевают фотографии, которые отражают их взгляд на исследовательскую тему. Отбор фотографий: участники выбирают наиболее значимые фотографии для дальнейшего обсуждения.
4. Обсуждение и интерпретация фотографий. Проведение групповых дискуссий, где участники обсуждают выбранные фотографии, объясняют их значение и делятся своими мыслями о фотографиях других участников. Запись и транскрибирование групповых дискуссий для дальнейшего анализа.
5. Анализ и презентация результатов. Анализ фотографий и дискуссий для выявления ключевых тем и проблем. Презентация результатов заинтересованным сторонам, политикам или общественности для стимулирования социальных изменений.
6. Вовлечение сообщества. Использование результатов для вовлечения сообщества в процесс планирования и осуществления социальных изменений. 

Eval4Action вновь зажигает факел оценки

2015 год был объявлен ООН Международным годом оценки. Решение было принято в 2013 году, о чем можно прочесть, например, здесь. В течение 2015 года по всему миру была проведена серия мероприятий, посвященных развитию оценки. В качестве символической эстафеты использовался факел (см. фото, датированное ноябрем 2015). 

И вот спустя 10 лет факел оценки (#EvalTorch) загорится вновь. Об этом сообщила Международная инициатива #Eval4Action.  Инициатива #Eval4Action стала откликом международного сообщества специалистов по оценке на призыв Генерального секретаря ООН «активизировать срочные и масштабные действия для своевременного достижения Целей устойчивого развития (ЦУР)». 

К чему же нам готовиться? 

#Eval4Action сообщает: «Приготовьтесь к возрождению мощного символа и всемирного призыва к действию: #EvalTorch! EvalTorch воплощает страсть, экспертизу и дух сотрудничества сообщества в сфере оценки. Он представляет собой жизненно важную передачу знаний и вдохновения, гарантируя, что пламя оценки будет ярко гореть из поколения в поколение. EvalTorch — это не просто символ, это призыв к действию, побуждающий сообщество оценщиков активно формировать будущее оценки путем адаптации и инноваций, гарантируя, что оценка будет соответствовать своему предназначению для решения глобальных проблем и реализации возникающих возможностей».

Планируется, что лидеры инициативы передадут факел оценки на мартовской конференции в Риме Президенту IDEAS  и Генеральному директору Офиса независимой оценки Нового банка развития (БРИКС). И факел будет путешествовать далее вплоть до Конклава оценки. 

К пафосным акциям с факелом можно относиться по-разному, но сама по себе активизация международного сообщества специалистов по оценке – дело несомненно важное. И здесь я хотел бы просто снять шляпу перед моих хорошим знакомым Марко Сегоне (на фото – справа в белой рубашке), который совершенно точно опять приложил ко всему этому руку! 

PS Кстати, зажигать, вообще-то, начал ИнА-Центр в этом году. Если кто еще не слышал 😊, Ассоциация ИнА-Центр реализует проект «Созвездия оценки» при поддержке Фонда президентских грантов под девизом «Зажигаем звезды оценки». Так что мы точно в тренде.

Ракурсы

Вместе с ИнАЦентром готовимся к проведению нового онлайнового курса «Системное мышление в контексте социального проектирования, оценки и организационного развития НКО». Регистрация и подробная информация появятся в апреле в телеграм-канале. Сам курс пройдет с мая по август. 

В системном мышлении существует «принцип ракурсов». Состоит он в том, что анализировать сложные ситуации следует с различных точек зрения. Два мероприятия, которые прошли в прошлый четверг и сегодня, были хорошей иллюстрацией этого принципа. 

Первое – заседание клуба PROОЦЕНКУ (презентация и видеозапись доступны), где мы обсуждали сравнительную оценку онлайн и офлайн форматов проведения Школы приемных родителей. Второе – представление того же самого отчета представителям Школ приемных родителей (ШПР) из разных регионов России. 

В клуб люди приходят поговорить про оценку. Соответственно, при обсуждении отчета разговор шел о постановке задачи, взаимодействии с заказчиком оценки, о том, что может дать оценка для развития программы. Пример одного из выводов, сделанных участниками: «Оценка и ее результаты могут открывать дискурс, расширять его, становиться темой для профессионального обсуждения».

На сегодняшней встрече были те, кто проводит ШПР и, возможно, представители опеки. Естественно, ракурс был совершенно другой. Участники говорили о том, как можно перевести ШПР в онлайн формат, что это даёт, какие при этом возникают трудности, какой имеется опыт проведения онлайновых ШПР. Вот пример одного из высказываний участников встречи: «Главное не онлайн или оффлайн, а подходы, ценности, формы работы, которые применяются.  Важно создание пространства, где участники могут примерить роль приемного родителя и увидеть свои сильные и слабые стороны». 

Ценности автора блога

На прошлой неделе во время Школы оценки Ирина Решта рассказала мне о своем эксперименте. Она попросила искусственный интеллект посмотреть на мой блог и сформулировать ценности, которыми автор блога руководствуется при подготовке публикаций. Для этого задала вопрос и ввела ссылку на блог. Я попробовал, конечно, сделать то же самое. Вот что получилось. В целом согласен!

• Качество и объективность оценки. Автор подчеркивает важность профессионального подхода к оценке программ и проектов, включая использование научно обоснованных методов и инструментов. Он акцентирует внимание на необходимости комплексного анализа, который учитывает как количественные, так и качественные аспекты.
• Этика и ответственность. Вопросы этики занимают центральное место в подходе автора. Он подчеркивает необходимость соблюдения профессиональных стандартов, корректного формулирования выводов и рекомендаций, а также ответственности за последствия оценки, особенно в социальной сфере, где результаты могут напрямую влиять на благополучие людей.
• Ориентированность на реальный результат. Автор акцентирует внимание на том, что оценка должна быть направлена на измерение реального влияния программ на жизнь людей, а не ограничиваться формальными показателями. Это включает эмпирическую оценку, которая помогает понять, как программы меняют социальные условия.
• Инновации и технологии. Автор активно исследует возможности использования инновационных подходов, таких как искусственный интеллект, для повышения эффективности и точности оценки. Он подчеркивает важность адаптации к современным вызовам и внедрения технологий, которые могут улучшить процесс анализа данных и интерпретации результатов.
• Обучение и развитие. Автор уделяет большое внимание обучению специалистов в области оценки, включая использование принципов андрагогики. Он подчеркивает, что обучение должно быть ориентировано на практическое применение знаний и навыков, что особенно важно для оценки социальных программ.
• Справедливость и инклюзивность. Важным аспектом является учет мнений и потребностей различных заинтересованных сторон, включая целевые группы, экспертов и организаторов программ. Автор подчеркивает необходимость справедливого подхода, который учитывает разнообразие контекстов и голосов.
• Прозрачность и честность. Прозрачность в процессе оценки и честное информирование о методах, результатах и ограничениях оценки являются важными принципами. Это особенно актуально в социальной сфере, где доверие участников и заинтересованных сторон имеет ключевое значение.
• Системный подход. Автор рассматривает оценку как часть более широкого процесса управления проектами и программами. Он подчеркивает важность системного мышления, которое позволяет учитывать взаимосвязи между различными элементами программы и ее окружением.
  

Школа оценки-2025

Завершаем подготовку к первому семинару Школы оценки совместно с новосибирским ИнАЦентром в рамках проекта «Созвездия оценки». Продолжительность курса 144 часа, он включает два офлайновых семинара в Москве и выполнение практического задания в период между семинарами. При доработке программы всегда задаемся вопросом, есть ли что-то новое по сравнению с предыдущим курсом (он закончился в июне 2024 года). На этот раз кроме новых примеров и упражнений появилась новая тема: использование искусственного интеллекта в оценке. Надо поговорить об использовании ИИ при проведении различных видов оценки, про стандарты и этику. Ситуация меняется чуть ли не ежемесячно, а то и быстрее!

Экспертиза заявок: какие сложности возникают у грантодающих организаций и операторов грантовых конкурсов

Сегодня прошло очередное заседание клуба PROОЦЕНКУ, посвященное проблемам экспертной оценки заявок. С материалами заседания можно ознакомиться на сайте клуба Было интересно и, конечно же, многое обсудить не успели. Вероятно, к этой теме нужно будет еще вернуться. Пока хотел бы кратко представить те проблемные области, которые выделили представители грантодающих организаций и операторы грантовых конкурсов.

Качество работы экспертов. Качество оценки заявки не всегда высокое. Причины могут быть разными, включая перегрузку экспертов. Есть проблема субъективизма и личных предпочтений относительно темы заявки, предлагаемых в ней подходов. Иногда отношение эксперта к организации-заявителю играет решающую роль в оценке заявки. Не всем экспертам удается сохранить непредвзятость: бывают среди них «добрые» и «злые», и оценки получаются крайние - либо «супер», либо «никуда не годится». Не всегда экспертам хватает специфических знаний, необходимых для комплексной оценки заявки по всем критериям (например, для оценки бизнес-процессов). 

Качество экспертных заключений. Не всегда из комментариев можно понять обоснование оценки и логику вынесения суждения по заявке. При этом комментарии могут быть и слишком короткие, и слишком пространные. Иногда эксперты грешат многократным использованием шаблонных фраз.

Со-настройка экспертов и организаторов конкурса. Не всегда и не всем экспертам удается уловить и принять во внимание приоритеты конкурса и ценности донора. Бывает, что они опираются на опыт своей работы в других конкурсах с другими донорами. Иногда невнимательно относятся к рекомендациям, не приходят на обучение или организационные встречи.

Критерии оценки. Разработка критериев оценки заявок – сложная и ресурсоемкая задача. Не всегда организаторам грантового конкурса удается ее решить безупречно. Бывают случаи, когда критерии оценки допускают множественные интерпретации. Бывает, что при, казалось бы, хорошо проработанных критериях и шкалах комментарии экспертов близки, а оценки сильно отличаются. Формальные критерии не всегда позволяют отсеивать «красивые» заявки, которые соответствуют всем формальным требованиям, но за которыми де-факто нет содержания.

Этика работы экспертов. Не всегда комментарии формулируются корректно и профессионально. Редко, но бывает, что эксперты не сообщают о конфликте интересов, и это очень сложно отследить. Некоторые эксперты допускают информирование знакомых заявителей о том, кто что сказал про их заявки на экспертном совете. Иногда эксперты избегают важных содержательных комментариев, которые могут раскрыть их личность для заявителя. 

Деловая культура экспертов. Случаются проявления необязательности: несоблюдение сроков, небрежное отношение к оформлению документов (включая договоры), задержки в коммуникации.

Подбор экспертов. Найти достаточное количество квалифицированных экспертов непросто. Особенно, если такая необходимость возникает неожиданно (число заявок оказывается значительно больше, чем ожидалось). Особенно большая проблема с поиском экспертов в малых городах. Проблема осложняется необходимостью ротации экспертов. Период ротации – отдельная важная тема.

Организационно-технические вопросы. Контроль работы экспертов (сложно организовать). Оплата экспертов (бюджет ограничен). Технические проблемы – интерфейс, устойчивость связи.

Степень проработанности замысла конкурса и конкурсной документации (это замечание от оператора грантовых конкурсов). Шаблоны заявок не всегда соотносятся со спецификой конкурса и его целями. Не всегда понятна цель конкретного конкурса.

Кодекс этики в сфере ИИ

Альянс в сфере искусственного интеллекта (далее – Альянс) опубликовал Кодекс этики в сфере ИИ. На сайте Альянса также доступна Национальная стратегия развития ИИ до 2030 года. 

Альянс объединяет ведущие технологические компании для совместного развития их компетенций и ускоренного внедрения искусственного интеллекта в образовании, научных исследованиях и в практической деятельности бизнеса. Миссия Альянса: «Быть центром развития искусственного интеллекта в России и обес­печивать технологическое лидерство нашей страны и компаний­участников Альянса на глобальном технологическом рынке».

Основные положения (разделы) Кодекса:

1. Главный приоритет развития технологий ии в защите интересов и прав людей и отдельного человека.
2. Необходимо осознавать ответственность при создании и использовании ИИ.
3. Ответственность за последствия применения систем ИИ всегда несет человек.
4. Технологии ИИ нужно применять по назначению и внедрять там, где это принесёт пользу людям.
5. Интересы развития технологий ИИ выше интересов конкуренции.
6. Важна максимальная прозрачность и правдивость в информировании об уровне развития технологий ИИ, их возможностях и рисках.

В Кодексе также содержатся положения, регламентирующие его применение. 

Полагаю, специалистам по оценке проектов и программ следует принимать во внимание этот важный документ в свете активного внедрения ИИ в практику оценки.