Анализ данных при проведении оценки

Начинаем подготовку к следующему заседанию клуба PROОЦЕНКУ, которое пройдет онлайн в четверг 14 сентября 2023 года с 11.00 до 12.30 мск и будет посвящено анализу данных. Регистрация на заседание откроется в понедельник 4 сентября на сайте клуба. 

Мы планируем обсудить следующие темы: 

• Всегда ли мы можем получить данные для ответа на интересующие нас вопросы?
• В какой мере мы можем доверять полученным в ходе оценки данным? 
• Какие бывают ошибки при интерпретации данных и как их избежать?
• Как перейти от интерпретации к выводу (суждению)?
• Насколько хорошо обоснованы наши суждения и готовы ли мы их отстаивать?

Вице-президент компании Gartner (одна из ведущих исследовательских и консалтинговых компаний, специализирующихся на рынках информационных технологий) Марио Фариа (Mario Faria) считает, что анализ данных — это преобразование данных в выводы, на основе которых будут приниматься решения и строиться действия. Это рабочее определение очень хорошо отражает сущность анализа данных, являющегося важным элементом оценки проектов и программ, ориентированной на практическое использование (Utilization-Focused Evaluation).  

Любая оценка проекта (и внешняя, и внутренняя) завершается вынесением суждений, которые являются ответами на вопросы задания. Особенность эмпирической оценки состоит в том, что суждения основываются на систематически собранных данных. При планировании такой оценки мы определяем, какие именно данные нужны для ответа на вопросы задания и как эти данные можно получить. Важнейший этап оценки – анализ данных, состоящий в извлечении смыслов из полученных данных и переходе от данных к суждениям. Общеизвестная последовательность анализа данных при проведении эмпирической оценки выглядит следующим образом: факты – интерпретации – выводы (суждения) – рекомендации. Отправной точкой для анализа являются факты, эмпирические данные, представленные в удобном для восприятия виде. Далее даются объяснения тому, что полученные данные (факты) означают, а также, каким образом и почему они связаны между собой, если такие связи имеются. Этот этап анализа называется интерпретацией. На основании интерпретаций делаются выводы, выносятся суждения. Именно в этот момент появляются ответы на вопросы задания. На основании выводов даются рекомендации, которые также могут являться ответами на вопросы задания.

SURVEYMONKEY: доступ ограничен

Ровно 4 месяца назад я писал о сервисах для проведения онлайн-опросов. Тогда я рекомендовал SurveyMonkey как лучший, с нашей точки зрения, вариант платного сервиса, которым мы активно пользовались 8 лет. Единственной проблемой в последнее время была оплата в долларах США. В конце прошлой недели у российских пользователей SurveyMonkey возникла другая проблема: доступ к SurveyMonkey из РФ был заблокирован Amazon CloudFront: «403 ERROR. The request could not be satisfied. The Amazon CloudFront distribution is configured to block access from your country». Обойти эту блокировку, в принципе, можно, но при проведении анкетирования придется объяснять всем респондентам, как это сделать, что нереально. Посему мы переехали на российский Тестограф. Работает исправно. Если что, готов поделиться первыми впечатлениями, в том числе, по сравнению с SurveyMonkey. Обращайтесь! :)

Результаты анкетирования представителей НКО

Накануне проведения сегодняшнего заседания клуба PROОЦЕНКУ мы провели анкетирование представителей НКО относительно трудностей, мешающих интегрированию оценки в деятельность их организаций. На вопросы анкеты ответили 35 человек, в числе которых 27 руководителей НКО и 18 сотрудников НКО. 

Доли респондентов, считающих, что перечисленные ниже категории трудностей в какой-то мере относятся к их организациям распределились следующим образом (медианы): ресурсные ограничения (72%), организационные трудности (71%), технические трудности (46%) и психологические трудности (32%).

Результаты анкетирования по каждой из категорий трудностей приведены на диаграммах.

Трудности интегрирования оценки в деятельность НКО

Анализ опыта участников клуба PROОЦЕНКУ и зарубежных публикаций показал, что трудности, препятствующие полноценному интегрированию оценки в деятельность НКО, можно разделить на четыре категории: 

• Психологические. Сюда относятся разного рода опасения, связанные с проведением оценки, например, возможное негативное влияние оценки на ход программ или отношения с заинтересованными сторонами. Может также иметь место скептическое отношение руководства и сотрудников НКО к оценке.  
• Ресурсные. Нехватка денег, времени, специалистов и т.д.  
• Технические. Это затруднения, связанные с выбором, разработкой и/или применением методов и инструментов оценки в определенном контексте.
• Организационные. Для того, чтобы оценка в НКО работала, нужны внутриорганизационные системы, регламентирующие проведение внешней оценки; внутренней оценки/само-оценивания; хранение информации и доступ к ней; мотивирование персонала.

На ближайшем заседании клуба PROОЦЕНКУ (13 июля с 11.00 до 12.30 мск) обсудим все четыре категории трудностей с учетом приоритетов участников заседания. Регистрация на заседание на сайте клуба (кнопка «Регистрация на ближайшее заседание») будет открыта в ближайшее время. Следите за объявлениями в телеграм-каналах "Проектирование и оценка в социальной сфере" и "5 элемент". 

Как «подстелить соломку»: оценка и управление рисками в социальном проектировании

Статья с таким названием опубликована в очередном номере журнала «Позитивные изменения». В ней - в числе прочего - приводятся результаты обсуждения на заседании клуба PROОЦЕНКУ, посвященного оценке рисков. 

Как всегда, в новом номере журнала много интересных материалов об оценке и не только!

Попытки увильнуть от проведения внешней оценки в системе ООН

В конце 90-х годов прошлого века офис оценки ООН опубликовал любопытный документ, который назывался буквально так: «Попытки увильнуть от проведения внешней оценки в системе ООН: список неприемлемых отговорок». В отличие от списка из 10 причин не проводить оценку своего проекта, который я опубликовал недавно, список ООН включает 52 (!) пункта. Привожу их ниже в продолжение разговора о трудностях при проведении оценки. При ознакомлении со списком надо иметь в виду, что речь идет именно о структурах Организации Объединенных Наций, которые призваны работать в контакте с национальными правительствами и местными партнерами. 

Итак...

1. Наш проект - особенный.
2. Это будет слишком дорого.
3. У нас нет времени.
4. Этот проект слишком мал.
5. Это не было запланировано.
6. Мы никогда не делали этого раньше.
7. Правительству это не понравится.
8. Просто отдайте мне деньги, которые вы хотите потратить на оценку.
9. Всё очень сложно; люди со стороны не смогут разобраться.
10. Это упражнение в стиле башни из слоновой кости: далеко от приземленного, суетного мира, мира практических расчетов и житейских забот.
11. У меня отпуск.
12. Это не наша проблема.
13. Зачем что-то менять, если все работает хорошо?
14. Мы пока к этому не готовы.
15. Этого нет в бюджете.
16. Руководитель/партнер только что уволился.
17. Руководитель/партнер только что сменился.
18. Директора проекта еще не назначили.
19. Персонал партнера пока на тренинге/стажировке.
20. Мы отлично справляемся без этого.
21. Мы этого раньше не пробовали.
22. Должна быть дополнительная причина.
23. Я не нуждаюсь в том, чтобы кто-то учил меня моей работе.
24. Это может сработать в любой другой организации/регионе/стране/технической области, но никогда не сработает здесь.
25. Я не уверен, что это сработает.
26. Они просто хотят нас подловить.
27. Подумайте о том, к каким сбоям в работе это приведет.
28. Это невозможно сделать объективно.
29. Менять что-либо – слишком большая головная боль.
30. Мы всегда делали это так.
31. Мы сделали ровно то, что заявляли.
32. Нас уже оценивали.
33. У нас нет никаких проблем.
34. В правительстве – перемены.
35. Финансовый кризис вызвал отставание от графика.
36. У нас только аудит прошел
37. Начальство считает, что это один из лучших проектов.
38. Это пилотный, экспериментальный, модельный, исследовательский проект.
39. Проект только начат/почти закончен/еще долго будет идти.
40. Строительство еще не окончено.
41. Оборудование еще не поступило/не установлено.
42. Правовой статус еще не предоставлен/утвержден.
43. Мы не можем найти исходный рабочий план.
44. Я не был ответственным сотрудником, когда проект начинался.
45. Правительство удовлетворено проектом.
46. Правительство еще не предоставило свои ресурсы.
47. Проект не поддается «оценке» в силу своего характера.
48. У нас нет данных.
49. Дизайн проекта слишком расплывчатый.
50. Мы всегда сами себя оцениваем.
51. Так сезон же дождей…
52. У нас хорошая система мониторинга.

Цитируется по: M. Segone (Ed.), (2006). New Trends in Development Evaluation. 

Размышления об экосистеме оценки социальных программ и проектов

Экосисте́ма - основная природная единица на поверхности Земли, совокупность совместно обитающих организмов и условий их существования, находящихся в закономерной взаимосвязи друг с другом и образующих систему. Чтобы процветать, эти организмы конкурируют и сотрудничают, совместно эволюционируют и адаптируются к внешним потрясениям. 

В начале 1990-х годов специалист по бизнес-стратегиям Джеймс Мур предложил рассматривать компанию не как отдельного игрока, а как представителя бизнес-экосистемы, охватывающей множество участников из разных отраслей. 

Попытаемся представить себе экосистему оценки социальных программ и проектов. Хотел бы сразу подчеркнуть, что это публикация в жанре «мысли вслух» без претензии на представление стройной комплексной модели. Скажем так, для затравки.

Причиной появления и развития экосистемы оценки, вероятно, можно считать потребность в информации, возникающую у лиц, принимающих решения, связанные с социальными программами и проектами. Это, в частности, означает формирование определенной культуры принятия решений, основанной на доказательном подходе. Значит, программы подготовки и повышения квалификации менеджеров для социальной сферы должны включать соответствующие разделы. Содержание подготовки определяют учебные заведения – государственные и негосударственные. Лица, принимающие решения, представляют самые разные организации – от финансирующих (государственных и негосударственных) до специализированных, занимающихся непосредственной реализацией социальных проектов и программ.

Спрос на внешнюю оценку должен удовлетворяться предложением со стороны специализированных компаний и фрилансеров. Качественные услуги в сфере оценки они могут оказать лишь при наличии необходимых компетенций. Здесь мы опять возвращаемся к учебным заведениям, которые должны обеспечить подготовку и повышение квалификации специалистов по оценке. 

Для осуществления внутренней оценки и само-оценивания организациям социальной сферы понадобятся либо штатные специалисты по оценке, либо компетенции, позволяющие программным специалистам квалифицированно проводить оценку своих инициатив. Это еще одно направление деятельности для учебных заведений. 

Для развития оценки необходимо проведение систематических исследований. Это позволит формировать специализированную базу знаний, создавать науку оценивания вместе с зарубежными коллегами, актуализировать образовательные программы. Это – сфера деятельности исследовательских центров, университетов.

Важным элементом экосистемы оценки является профессиональная ассоциация, которая в числе прочего определяет стандарты профессиональной деятельности в сфере оценки и влияет на программы профессиональной подготовки и повышения квалификации специалистов.

Социальные программы и проекты реализуются в интересах граждан (благополучателей), которые также входят в экосистему оценки. Полагаю, в экосистему оценки должны быть включены и депутаты разных уровней, избранные гражданами и представляющие их интересы. 

Информирование и просвещение в сфере оценки – важная функция, которая осуществляется как перечисленными выше участниками экосистемы (обучающие и образовательные учреждения, компании и специалисты, профессиональная ассоциация), но и средствами массовой информации, в том числе, электронными. Сюда надо отнести и блогеров. 

Для проведения оценки нужны современные технологии, программное обеспечение. Говорят, при проведении оценки уже начали использовать искусственный интеллект. Значит, в нашу экосистему войдут и разработчики таких технологий, и провайдеры соответствующих услуг.

Здесь, пожалуй, пора поставить многоточие… 😊 

Трудности при проведении мониторинга и оценки: зарубежный опыт

Разговор на клубе PROоценку сегодня получился интересный. Видеозапись и материалы будут доступны на сайте клуба в ближайшие дни. Пока хотел бы поделиться некоторыми зарубежными материалами по теме заседания. Все три публикации есть в открытом доступе (см. ссылки на источники).

Препятствия, влияющие на эффективный мониторинг и оценку проектов снижения бедности (на основании интервью с социальными работниками и специалистами по развитию сообществ):

• Навыки в сфере мониторинга и оценки. Знания в сфере мониторинга и оценки.
• Потенциал сотрудников в сфере МиО. Недостаточно специалистов, прошедших профессиональную подготовку.
• Мониторинг как проверка на соответствие. Выполняется формально на основе чек-листов («пункт-галочка»).
• Неэффективная работа со стейкхолдерами. Отсутствие поддержки со стороны благополучателей.       Источник

В каких сферах возникают проблемы при оценке проектов и программ в сельской местности (на основе интервью с менеджерами):

• Измерение результатов
• Оценка профилактических инициатив и демонстрация того, что негативный результат «не случился»
• Многофакторный характер проблем со здоровьем
• Разнообразие секторов и заинтересованных сторон, участвующих в программах
• Определение эффективности стратегий воздействия
• Проблемы доступа к благополучателям, характерные для сель
  ских сообществ
• Защищенные группы населения
• Отсутствие методов и инструментов оценки, предназначенных для использования в сельской местности.    Источник

Проблемы, с которыми сталкиваются НКО в сфере мониторинга и оценки (МиО):

• Нехватка ресурсов и времени
• Неточные данные
• Неэффективные стратегии МиО
• Использование стандартных моделей для всех программ
• Вовлечение заинтересованных сторон
• Информирование доноров об отрицательных результатах
• Техническая экспертиза в сфере МиО
• Культура/установки по отношению к МиО в организации
• Отсутствие фокуса (приоритизации)    Источник

10 причин не проводить оценку своего проекта

По мнению компании Grosvenor, предложение провести оценку проекта чаще всего вызывает два варианта реакций: энтузиазм или сопротивление. Энтузиазм связан с возможностью узнать что-то новое и важное о своем проекте, научиться чему-то, получить возможности для развития. Сопротивление всегда сопровождается определенными аргументами. Ниже приводится соответствующий список. Подробнее с этими аргументами и контраргументами от специалистов компании  Grosvenor можно ознакомиться здесь 

1. То, что мы делаем, слишком сложно…
2. Рискованно говорить с заинтересованными сторонами
3. Хм … у нас нет данных для оценки!
4. Я не знаю, как это делается.
5. У нас нет на это денег.
6. Мы и так очень заняты.
7. Я опасаюсь негативных результатов.
8. Я и без оценки знаю, что есть проблемы, а всем наплевать…
9. Мы занимаемся этим уже очень давно … просто поверьте мне
10. В результате все равно ничего не изменится

На мой взгляд, в общем случае отношение к оценке представляет собой смесь энтузиазма и опасений. Но приведенный выше список опасений вполне совпадает с нашим опытом.

Завтра на заседании клуба PROоценку будем обсуждать трудные ситуации, с которыми сталкиваются на практике участники клуба при проведении индикаторной и эмпирической оценки. Особый акцент сделаем на само-оценивании. Информация о заседании и регистрация.

Институт оценки

Через неделю в Москве пройдет т.н. «Институт оценки» - двухдневный семинар для тех, кто знаком с оценкой и имеет опыт практического проведения оценки проектов и программ. Этот семинар пройдет в рамках проекта «Поддержка и развитие оценки и развитие оценочного мышления. Пятый элемент» (телеграм-канал проекта здесь). Мероприятие проводим вместе с новосибирским ИнА-Центром во второй раз. Программу по сравнению прошлогодней не меняли, но содержание сессий обновили с учетом новых публикаций и событий, которые в мире оценки происходят. 

Перечислю основные темы и кое-что интересное по каждой из них.

• Развитие оценочного мышления. Психологи говорят, что надо стремиться к безоценочности, а здесь «оценочное» мышление… Нет ли противоречия? 
• Использование критериев в оценке. Почему известный специалист по оценке Том Швандт 20 лет назад написал статью «Прощание с критериологией». Какую роль играют критерии в оценке проектов и программ сегодня. 
• Оценка потребностей. Можно ли согласиться с тем, что потребность – это разница между желаемым и действительным положением дел, или всё несколько сложнее? 
• Оценка социального эффекта и оценка влияния. Как оценить влияние проекта в ретроспективе и как спрогнозировать возможное влияние проекта или программы. 
• Использование моделей в оценке. Что лучше: пользоваться известными видами моделей или формировать авторские модели? 
• Наука о системах и оценка. В чем состоят принципы системного мышления и как их применить при проведении оценки на практике. 
• Оценка услуг. Кому оказывает услугу детский садик: родителям, детям или, может, государству? Что можно и что не следует оценивать на основании мнения потребителей услуг? 
• Само-оценивание в НКО. В какой мере подходы к оценке зависят от того, как устроена некоммерческая организация. Как влияет на эти подходы организационная культура.