Систематический сбор информации

Всем, кто интересуется оценкой проектов и программ, хорошо знакомо определение, предложенное Майклом Пэттоном (Patton, 2008): «Оценка программы — это систематический сбор информации о деятельности в рамках программы, её характеристиках и результатах для вынесения суждений о программе, повышения эффективности программы и/или разработки планов на будущее». 

Что же такое «систематический»?

Систематический сбор информации — это регулярный и упорядоченный процесс поиска, получения и фиксации данных по заранее определенным правилам для решения конкретных задач.

Главные особенности:

• Информацию ищут для решения конкретных задач.
• Данные собирают не когда придется, а по четкому графику.
• Процесс сбора данных опирается на единые правила, стандарты и методы.
• Данные не просто беспорядочно накапливаются, а сразу приводятся в определённую форму (таблицы, базы данных, отчёты).
• Фиксируется не только сама информация, но и то, когда, кем и как она была получена.

Что является противоположностью систематического сбора информации?

Хаотичный / Бессистемный сбор

Характеристики: отсутствие плана, цели и методики. Информация собирается случайно, под влиянием момента или внешних обстоятельств. Пример: человек читает новости в ленте соцсетей, перескакивая с темы на тему, не сохраняя и не анализируя прочитанное. 

Разовый / Эпизодический сбор

Характеристики: данные собираются один раз или от случая к случаю, без периодичности. Это «снимок» реальности в конкретный момент, а не динамическая картина. Пример: проведение опроса благополучателей только один раз в начале проекта и больше никогда. 

Интуитивный / Субъективный сбор

Характеристики: основан не на данных и методологии, а на личных ощущениях, догадках, слухах или единичном опыте. Пример: Руководитель НКО решает, на что потратить грант в районе. Он не проводит опросов и не смотрит статистику, а опирается на личные ощущения: «Я гулял по району, площадка старая — значит, детям негде играть». Спрашивает пару знакомых, вспоминает пример из другого города и решает ремонтировать площадку. Итог: деньги потрачены, а выяснилось, что в районе почти не осталось детей, зато много пенсионеров, которым просто некуда пойти и нечем заняться в свободное время.

Нужно ли нам деколонизировать ИИ?

Недавно обсуждал с нейросетью предложенную ООН концепцию Национальной системы мониторинга и оценки, формирование и функционирование которой определяется самой страной, где эта система внедряется. По-английски называется country-owned (или country-led) monitoring and evaluation system. 

Развернутое определение выглядит так: 

Система мониторинга и оценки (МиО), находящаяся в ведении страны (или реализуемая под ее руководством), — это механизм национального управления, в рамках которого правительство самостоятельно организует разработку системы, сбор данных и использование полученной информации для формирования государственной политики и бюджетного планирования.

Мой вопрос состоял в следующем: как может быть НАЦИОНАЛЬНАЯ система МиО не под контролем той страны, где она внедряется? Другими словами, в чем «величие» идеи ООН? Вроде бы, по-другому и быть не может… 

И вот здесь ИИ мне говорит примерно следующее: «Но ведь во многих странах, например, в Центральной Азии, очень высок уровень коррупции, и они не могут нормальную систему МиО разработать и внедрить самостоятельно без внешней помощи и контроля со стороны». 

Как вам такое??? 

Ну, я развернуто ему показал, что подобный ответ совершенно очевидно дан в неоколониальной традиции, когда формально независимые государства, на самом деле, находятся под контролем стран Глобального Севера. 

Реакция ИИ была ожидаемой: согласился и признал свои ошибки. Но недаром говорят и пишут о том, что практически все системы ИИ отражают доминирующие западные нарративы; усиливают стереотипы. И даже появилось движение за деколонизацию ИИ. Деколонизация искусственного интеллекта — это концепция, направленная на устранение неравенства, при котором разработка и доминирование ИИ закрепляют технологическую, экономическую и культурную зависимость стран Глобального Юга от центров силы Глобального Севера.

В мае этого года в Стамбуле прошёл первый Всемирный форум деколонизации — новая интеллектуальная платформа Глобального Юга. Участники заявили: колониализм не исчез, он перешёл в науку, финансы и ИИ. Главная цель — освободить знания и сознание от западной гегемонии.

Как подготовиться к проведению внешней оценки вашего проекта

Многие НКО время от времени оказываются в ситуации, когда финансирующая организация (донор) принимает решение о проведении внешней оценки их проекта. В этом случае, естественно, консультанта выбирает и нанимает донор. Он же ставит задачу перед консультантом. НКО оказывается перед фактом: к вам едет оценщик. 

Сегодня на заседании клуба PROОЦЕНКУ обсуждали, как НКО подготовиться к проведению такой оценки. 

Вот рекомендации, которые могут пригодиться на практике:

1. Организационная и административная подготовка

• Выделить ресурсы. Запланировать время для встреч с оценщиком, подготовить помещение и собрать необходимые документы.
• Назначить ответственных. Руководитель организации должен контролировать весь процесс подготовки.
• Подготовить базу данных. Заранее подготовить материалы, документы и данные, необходимые для проведения оценки.
• Организовать сбор данных. Подготовить волонтеров или сотрудников, которые будут заниматься сбором необходимых данных.
• Сформировать пул респондентов. Запросить списки групп респондентов, договориться с ними об участии и проинформировать их о предстоящей оценке.

2. Взаимодействие с донором и оценщиком

• Запросить критерии. Уточнить у донора критерии оценки проекта.
• Понять цели и инструменты. Выяснить у донора и оценщика цель проведения оценки, перечень вопросов и используемые инструменты.
• Получить контакты. Узнать контакты оценщика, связаться с ним и обсудить специфику вашей организации/проекта.
• Личный контакт. Познакомиться с оценщиком как с человеком, чтобы наладить взаимодействие.
• Уточнить вопросы. Напрямую выяснить у внешнего оценщика, какие именно вопросы будут заданы.
• Оценить последствия. Прояснить возможные последствия проведения оценки и, в зависимости от них, выстроить алгоритм подготовки.

3. Подготовка команды

• Информирование и обучение. Поговорить с командой, объяснить цели и процесс оценки, чтобы снять напряжение.
• Моральная готовность. Подготовиться к тому, что оценка — это стресс для организации.
• Разграничение понятий. Не путать оценку проекта и административную оценку.
• Естественность. Не нужно излишне накручивать команду. Ситуация, когда все стоят «по стойке смирно», неудобна для внешнего оценщика.
• Оценка целесообразности. Задать вопрос: «Стоит ли подготовка к оценке затраченных усилий?»

4. Чего делать НЕ НАДО

• Не пугать. Не нужно нагнетать обстановку и создавать излишнее напряжение.
• Избегать «претензий». Не должно быть незначительных придирок или мелких претензий к процессу.
• Не давать установок. Категорически нельзя давать команде установки о том, что отвечать и о чем говорить. Это искажает данные и вредит оценке.

Оценка ситуации в социальном проектировании

В контексте социального проектирования оценка ситуации или ситуационный анализ — это этап исследования и всестороннего изучения конкретной социальной проблемы и среды, в которой она существует, проводимый до начала разработки самого проекта. Такой анализ иногда еще называют предпроектным, имея в виду, что он является источником информации для формирования и обоснования проектной идеи и проводится на стадии инициирования проекта.

Главная цель такого анализа —разобраться в причинах проблемы, масштабах, взаимосвязях и понять, как она влияет на жизнь конкретной целевой группы. Оценка ситуации в числе прочего, как правило, включает:

• Анализ проблемы. Что именно не так, в чём суть социальной проблемы, как она проявляется и почему её важно решать.
• Анализ причин и следствий. Почему проблема возникла и к каким последствиям она приводит.
• Анализ целевой аудитории. Кто страдает от проблемы, каковы их потребности, интересы, возможности и особенности.
• Анализ заинтересованных сторон (стейкхолдеров). Кто влияет на ситуацию, и кто заинтересован в её изменении.
• Анализ ресурсов и возможностей. Какие кадровые, финансовые, материальные, информационные и другие ресурсы доступны для решения проблемы.

В 80-е годы прошлого века рабочая группа Американской ассоциации оценки, в задачи которой входило определение рамок профессии, включила предпроектный анализ (front-end analysis) в число видов деятельности, относящихся к программной оценке (program evaluation). С одной стороны, это абсолютно логично. Однако, если руководствоваться широко известными определениями оценки программ, такой анализ оказывается «за бортом», поскольку на стадии инициирования проекта самого проекта не существует, то есть объект оценки отсутствует. Может быть, тогда это особый вид деятельности и к оценке программ его относить неправильно? Тут точно есть, над чем подумать.

"Кто бы мог подумать, что это окажется так сложно?"

В 2014 году в Канадском журнале программной оценки была опубликована статья с интригующим названием: «К определению понятия оценки в канадском контексте: кто бы мог подумать, что это окажется так сложно?». Дело в том, что Канадское общество оценки (Canadian Evaluation Society) предприняло тогда попытку сформулировать определение понятия «оценка», с которым бы согласились все члены общества. Итог оказался неутешительным: «Как показали обзор литературы, анализ социальных медиа и дискуссии в профессиональном сообществе, единого определения оценки на сегодняшний день не существует… Более того, есть основания полагать, что выработать такое определение в канадском оценочном сообществе было бы крайне сложно. Среди возможных последствий обсуждался риск того, что единое определение может сузить или упростить существующую практику оценки, учитывая многообразие контекстов и целей, в которых она применяется в Канаде». Короче, не договорились. И это в одной из старейших профессиональных ассоциаций! 

А мы бы могли договориться с учетом российского контекста? Как думаете? Обсудим на Институте оценки в ноябре.