Цифровой Фотоголос

Американская ассоциация оценки ведет уникальный блог, на который я неоднократно ссылался Новые публикации в нём появляются ежедневно. Этого удается добиться за счет активного привлечения членов ассоциации через тематические группы, объединяющие специалистов по сферам их профессиональных интересов в сфере оценки. Таких групп в ассоциации несколько десятков, и каждая получает возможность вести блог в течение недели. Сейчас идет неделя группы «Оценка потребностей». Во вчерашней публикации речь шла об использовании цифровой (онлайновой) версии метода Photovoice (Фотоголос). 

Наши американские коллеги пишут: «Photovoice — это широко используемый в развитии сообществ и оценке потребностей качественный метод исследования. Он предполагает применение фотографии для фиксации точек зрения участников, стимулирования обсуждения и сбора историй… Цифровой Фотоголос, объединяющий традиционный Фотоголос с социальными сетями, создает мощный, гибкий и интерактивный подход к сбору данных с помощью виртуальных встреч, выставок и обсуждений, что делает его особенно эффективным для привлечения молодых участников».

Этот метод у нас достаточно давно известен в классическом варианте с использованием одноразовых фотокамер и печатью фотографий. У меня есть несколько знакомых, которые использовали Фотоголос с применением цифровой фотографии. А теперь и у нас в стране уже появляется опыт применения этого метода в формате онлайн. 

Вот основные этапы использования Photovoice для нужд местного сообщества. 

1. Определение исследовательской темы и целей. Выбор проблемы или вопроса, который требует внимания и решения в конкретном сообществе. Формулирование целей. Основные цели Photovoice включают вовлечение сообщества в обсуждение проблем.
2. Подготовка участников и оборудования. Обучение участников. Проведение брифингов для участников, где им объясняется цель проекта и предоставляется информация о том, как использовать камеры или смартфоны для фотографирования. Оборудование: использование камер или смартфонов для фотографирования.
3. Сбор данных через фотографии. Фотографирование: участники запечатлевают фотографии, которые отражают их взгляд на исследовательскую тему. Отбор фотографий: участники выбирают наиболее значимые фотографии для дальнейшего обсуждения.
4. Обсуждение и интерпретация фотографий. Проведение групповых дискуссий, где участники обсуждают выбранные фотографии, объясняют их значение и делятся своими мыслями о фотографиях других участников. Запись и транскрибирование групповых дискуссий для дальнейшего анализа.
5. Анализ и презентация результатов. Анализ фотографий и дискуссий для выявления ключевых тем и проблем. Презентация результатов заинтересованным сторонам, политикам или общественности для стимулирования социальных изменений.
6. Вовлечение сообщества. Использование результатов для вовлечения сообщества в процесс планирования и осуществления социальных изменений. 

Eval4Action вновь зажигает факел оценки

2015 год был объявлен ООН Международным годом оценки. Решение было принято в 2013 году, о чем можно прочесть, например, здесь. В течение 2015 года по всему миру была проведена серия мероприятий, посвященных развитию оценки. В качестве символической эстафеты использовался факел (см. фото, датированное ноябрем 2015). 

И вот спустя 10 лет факел оценки (#EvalTorch) загорится вновь. Об этом сообщила Международная инициатива #Eval4Action.  Инициатива #Eval4Action стала откликом международного сообщества специалистов по оценке на призыв Генерального секретаря ООН «активизировать срочные и масштабные действия для своевременного достижения Целей устойчивого развития (ЦУР)». 

К чему же нам готовиться? 

#Eval4Action сообщает: «Приготовьтесь к возрождению мощного символа и всемирного призыва к действию: #EvalTorch! EvalTorch воплощает страсть, экспертизу и дух сотрудничества сообщества в сфере оценки. Он представляет собой жизненно важную передачу знаний и вдохновения, гарантируя, что пламя оценки будет ярко гореть из поколения в поколение. EvalTorch — это не просто символ, это призыв к действию, побуждающий сообщество оценщиков активно формировать будущее оценки путем адаптации и инноваций, гарантируя, что оценка будет соответствовать своему предназначению для решения глобальных проблем и реализации возникающих возможностей».

Планируется, что лидеры инициативы передадут факел оценки на мартовской конференции в Риме Президенту IDEAS  и Генеральному директору Офиса независимой оценки Нового банка развития (БРИКС). И факел будет путешествовать далее вплоть до Конклава оценки. 

К пафосным акциям с факелом можно относиться по-разному, но сама по себе активизация международного сообщества специалистов по оценке – дело несомненно важное. И здесь я хотел бы просто снять шляпу перед моих хорошим знакомым Марко Сегоне (на фото – справа в белой рубашке), который совершенно точно опять приложил ко всему этому руку! 

PS Кстати, зажигать, вообще-то, начал ИнА-Центр в этом году. Если кто еще не слышал 😊, Ассоциация ИнА-Центр реализует проект «Созвездия оценки» при поддержке Фонда президентских грантов под девизом «Зажигаем звезды оценки». Так что мы точно в тренде.

Ракурсы

Вместе с ИнАЦентром готовимся к проведению нового онлайнового курса «Системное мышление в контексте социального проектирования, оценки и организационного развития НКО». Регистрация и подробная информация появятся в апреле в телеграм-канале. Сам курс пройдет с мая по август. 

В системном мышлении существует «принцип ракурсов». Состоит он в том, что анализировать сложные ситуации следует с различных точек зрения. Два мероприятия, которые прошли в прошлый четверг и сегодня, были хорошей иллюстрацией этого принципа. 

Первое – заседание клуба PROОЦЕНКУ (презентация и видеозапись доступны), где мы обсуждали сравнительную оценку онлайн и офлайн форматов проведения Школы приемных родителей. Второе – представление того же самого отчета представителям Школ приемных родителей (ШПР) из разных регионов России. 

В клуб люди приходят поговорить про оценку. Соответственно, при обсуждении отчета разговор шел о постановке задачи, взаимодействии с заказчиком оценки, о том, что может дать оценка для развития программы. Пример одного из выводов, сделанных участниками: «Оценка и ее результаты могут открывать дискурс, расширять его, становиться темой для профессионального обсуждения».

На сегодняшней встрече были те, кто проводит ШПР и, возможно, представители опеки. Естественно, ракурс был совершенно другой. Участники говорили о том, как можно перевести ШПР в онлайн формат, что это даёт, какие при этом возникают трудности, какой имеется опыт проведения онлайновых ШПР. Вот пример одного из высказываний участников встречи: «Главное не онлайн или оффлайн, а подходы, ценности, формы работы, которые применяются.  Важно создание пространства, где участники могут примерить роль приемного родителя и увидеть свои сильные и слабые стороны». 

Ценности автора блога

На прошлой неделе во время Школы оценки Ирина Решта рассказала мне о своем эксперименте. Она попросила искусственный интеллект посмотреть на мой блог и сформулировать ценности, которыми автор блога руководствуется при подготовке публикаций. Для этого задала вопрос и ввела ссылку на блог. Я попробовал, конечно, сделать то же самое. Вот что получилось. В целом согласен!

• Качество и объективность оценки. Автор подчеркивает важность профессионального подхода к оценке программ и проектов, включая использование научно обоснованных методов и инструментов. Он акцентирует внимание на необходимости комплексного анализа, который учитывает как количественные, так и качественные аспекты.
• Этика и ответственность. Вопросы этики занимают центральное место в подходе автора. Он подчеркивает необходимость соблюдения профессиональных стандартов, корректного формулирования выводов и рекомендаций, а также ответственности за последствия оценки, особенно в социальной сфере, где результаты могут напрямую влиять на благополучие людей.
• Ориентированность на реальный результат. Автор акцентирует внимание на том, что оценка должна быть направлена на измерение реального влияния программ на жизнь людей, а не ограничиваться формальными показателями. Это включает эмпирическую оценку, которая помогает понять, как программы меняют социальные условия.
• Инновации и технологии. Автор активно исследует возможности использования инновационных подходов, таких как искусственный интеллект, для повышения эффективности и точности оценки. Он подчеркивает важность адаптации к современным вызовам и внедрения технологий, которые могут улучшить процесс анализа данных и интерпретации результатов.
• Обучение и развитие. Автор уделяет большое внимание обучению специалистов в области оценки, включая использование принципов андрагогики. Он подчеркивает, что обучение должно быть ориентировано на практическое применение знаний и навыков, что особенно важно для оценки социальных программ.
• Справедливость и инклюзивность. Важным аспектом является учет мнений и потребностей различных заинтересованных сторон, включая целевые группы, экспертов и организаторов программ. Автор подчеркивает необходимость справедливого подхода, который учитывает разнообразие контекстов и голосов.
• Прозрачность и честность. Прозрачность в процессе оценки и честное информирование о методах, результатах и ограничениях оценки являются важными принципами. Это особенно актуально в социальной сфере, где доверие участников и заинтересованных сторон имеет ключевое значение.
• Системный подход. Автор рассматривает оценку как часть более широкого процесса управления проектами и программами. Он подчеркивает важность системного мышления, которое позволяет учитывать взаимосвязи между различными элементами программы и ее окружением.
  

Школа оценки-2025

Завершаем подготовку к первому семинару Школы оценки совместно с новосибирским ИнАЦентром в рамках проекта «Созвездия оценки». Продолжительность курса 144 часа, он включает два офлайновых семинара в Москве и выполнение практического задания в период между семинарами. При доработке программы всегда задаемся вопросом, есть ли что-то новое по сравнению с предыдущим курсом (он закончился в июне 2024 года). На этот раз кроме новых примеров и упражнений появилась новая тема: использование искусственного интеллекта в оценке. Надо поговорить об использовании ИИ при проведении различных видов оценки, про стандарты и этику. Ситуация меняется чуть ли не ежемесячно, а то и быстрее!

Экспертиза заявок: какие сложности возникают у грантодающих организаций и операторов грантовых конкурсов

Сегодня прошло очередное заседание клуба PROОЦЕНКУ, посвященное проблемам экспертной оценки заявок. С материалами заседания можно ознакомиться на сайте клуба Было интересно и, конечно же, многое обсудить не успели. Вероятно, к этой теме нужно будет еще вернуться. Пока хотел бы кратко представить те проблемные области, которые выделили представители грантодающих организаций и операторы грантовых конкурсов.

Качество работы экспертов. Качество оценки заявки не всегда высокое. Причины могут быть разными, включая перегрузку экспертов. Есть проблема субъективизма и личных предпочтений относительно темы заявки, предлагаемых в ней подходов. Иногда отношение эксперта к организации-заявителю играет решающую роль в оценке заявки. Не всем экспертам удается сохранить непредвзятость: бывают среди них «добрые» и «злые», и оценки получаются крайние - либо «супер», либо «никуда не годится». Не всегда экспертам хватает специфических знаний, необходимых для комплексной оценки заявки по всем критериям (например, для оценки бизнес-процессов). 

Качество экспертных заключений. Не всегда из комментариев можно понять обоснование оценки и логику вынесения суждения по заявке. При этом комментарии могут быть и слишком короткие, и слишком пространные. Иногда эксперты грешат многократным использованием шаблонных фраз.

Со-настройка экспертов и организаторов конкурса. Не всегда и не всем экспертам удается уловить и принять во внимание приоритеты конкурса и ценности донора. Бывает, что они опираются на опыт своей работы в других конкурсах с другими донорами. Иногда невнимательно относятся к рекомендациям, не приходят на обучение или организационные встречи.

Критерии оценки. Разработка критериев оценки заявок – сложная и ресурсоемкая задача. Не всегда организаторам грантового конкурса удается ее решить безупречно. Бывают случаи, когда критерии оценки допускают множественные интерпретации. Бывает, что при, казалось бы, хорошо проработанных критериях и шкалах комментарии экспертов близки, а оценки сильно отличаются. Формальные критерии не всегда позволяют отсеивать «красивые» заявки, которые соответствуют всем формальным требованиям, но за которыми де-факто нет содержания.

Этика работы экспертов. Не всегда комментарии формулируются корректно и профессионально. Редко, но бывает, что эксперты не сообщают о конфликте интересов, и это очень сложно отследить. Некоторые эксперты допускают информирование знакомых заявителей о том, кто что сказал про их заявки на экспертном совете. Иногда эксперты избегают важных содержательных комментариев, которые могут раскрыть их личность для заявителя. 

Деловая культура экспертов. Случаются проявления необязательности: несоблюдение сроков, небрежное отношение к оформлению документов (включая договоры), задержки в коммуникации.

Подбор экспертов. Найти достаточное количество квалифицированных экспертов непросто. Особенно, если такая необходимость возникает неожиданно (число заявок оказывается значительно больше, чем ожидалось). Особенно большая проблема с поиском экспертов в малых городах. Проблема осложняется необходимостью ротации экспертов. Период ротации – отдельная важная тема.

Организационно-технические вопросы. Контроль работы экспертов (сложно организовать). Оплата экспертов (бюджет ограничен). Технические проблемы – интерфейс, устойчивость связи.

Степень проработанности замысла конкурса и конкурсной документации (это замечание от оператора грантовых конкурсов). Шаблоны заявок не всегда соотносятся со спецификой конкурса и его целями. Не всегда понятна цель конкретного конкурса.

Кодекс этики в сфере ИИ

Альянс в сфере искусственного интеллекта (далее – Альянс) опубликовал Кодекс этики в сфере ИИ. На сайте Альянса также доступна Национальная стратегия развития ИИ до 2030 года. 

Альянс объединяет ведущие технологические компании для совместного развития их компетенций и ускоренного внедрения искусственного интеллекта в образовании, научных исследованиях и в практической деятельности бизнеса. Миссия Альянса: «Быть центром развития искусственного интеллекта в России и обес­печивать технологическое лидерство нашей страны и компаний­участников Альянса на глобальном технологическом рынке».

Основные положения (разделы) Кодекса:

1. Главный приоритет развития технологий ии в защите интересов и прав людей и отдельного человека.
2. Необходимо осознавать ответственность при создании и использовании ИИ.
3. Ответственность за последствия применения систем ИИ всегда несет человек.
4. Технологии ИИ нужно применять по назначению и внедрять там, где это принесёт пользу людям.
5. Интересы развития технологий ИИ выше интересов конкуренции.
6. Важна максимальная прозрачность и правдивость в информировании об уровне развития технологий ИИ, их возможностях и рисках.

В Кодексе также содержатся положения, регламентирующие его применение. 

Полагаю, специалистам по оценке проектов и программ следует принимать во внимание этот важный документ в свете активного внедрения ИИ в практику оценки.

Принципы андрагогики и оценка обучающих программ

Андрагогикой называют  раздел теории обучения, раскрывающий специфические закономерности освоения знаний и умений взрослыми учащимися, а также особенности руководства этой деятельностью со стороны профессионального педагога. Несмотря на то, что понятие «андрагогика» было введено в научный обиход в первой половине 19 века, наиболее цитируемым автором и главным популяризатором андрагогики сегодня чаще всего называют Малкольма Ноулза (Malcolm Knowles). Его публикации появились в 70-е и 80-е годы 20 века.  

Ниже приведены базовые положения андрагогики, которые, конечно же, можно принимать во внимание при оценке программ и проектов, включающих обучение взрослых, а также при планировании и проведении обучения оценке. 

• Обучающемуся принадлежит ведущая роль в процессе своего обучения (потому он обучающийся, а не обучаемый).
• Взрослый обучающийся стремится к самореализации, к самостоятельности, к самоуправлению и осознаёт себя таковым.
• Взрослый обучающийся обладает жизненным (бытовым, социальным, профессиональным) опытом, который может быть использован в качестве важного источника обучения как его самого, так и его коллег.
• Взрослый человек обучается для решения важной жизненной проблемы и достижения конкретной цели.
• Взрослый обучающийся рассчитывает на безотлагательное применение полученных в ходе обучения умений, навыков, знаний и качеств.
• Учебная деятельность взрослого обучающегося в значительной степени определяется временными, пространственными, бытовыми, профессиональными, социальными факторами, которые либо ограничивают, либо способствуют процессу обучения.
• Процесс обучения взрослого обучающегося организован в виде совместной деятельности обучающегося и обучающего на всех его этапах: планирования, реализации, оценивания и, в определённой мере, коррекции.

Русскоязычных публикаций по андрагогике на русском языке много. Среди них не только блоги и электронные статьи, но и книги, обложки которых использованы в качестве иллюстрации к данной публикации. 

"Не по бумагам"

РИА Новости сообщает, что сегодня на совещании с членами правительства Путин обсуждал нацпроекты. В частности, он сказал, что: 

(а) вся работа по нацпроектам должна быть ориентирована на реальный результат;

(б) работа по реализации нацпроектов должна идти по плану;

(в) результаты работы над нацпроектами будут оцениваться не "по бумагам", а исходя из реалий и влияния на жизнь людей.

Пункт (а) относится к дизайну проектов и к формулированию их целей. 

Пункт (б) предполагает осуществление мониторинга.

Для реализации пункта (в) понадобится каким-то образом понять реалии и влияние на жизнь людей. Очевидно, что здесь речь должна идти об эмпирической оценке. 

Такое вот начало года!

Самые популярные публикации в блоге в 2024 году и планы на 2025

Самыми популярными и получившими наибольшее число положительных реакций оказались следующие: 

• Системные изменения и их оценка 
• Теория уязвимости 
• Чек-лист для анкеты 

Все три темы планирую развивать в следующем году:

• С новосибирским ИнАЦентром готовим онлайновый семинар по системному мышлению. 
• С БФ «Абсолют-Помощь» продолжим обсуждать теорию уязвимости и возможные совместные публикации. Тема интересная и важная!
• Обязательно сделаю новый вариант чек-листа для анкеты.

Читателей блога от всей души поздравляю с наступающим Новым годом! Картинку сгенерировал с помощью нейросети «Шедеврум».