Как «подстелить соломку»: оценка и управление рисками в социальном проектировании

Статья с таким названием опубликована в очередном номере журнала «Позитивные изменения». В ней - в числе прочего - приводятся результаты обсуждения на заседании клуба PROОЦЕНКУ, посвященного оценке рисков. 

Как всегда, в новом номере журнала много интересных материалов об оценке и не только!

Попытки увильнуть от проведения внешней оценки в системе ООН

В конце 90-х годов прошлого века офис оценки ООН опубликовал любопытный документ, который назывался буквально так: «Попытки увильнуть от проведения внешней оценки в системе ООН: список неприемлемых отговорок». В отличие от списка из 10 причин не проводить оценку своего проекта, который я опубликовал недавно, список ООН включает 52 (!) пункта. Привожу их ниже в продолжение разговора о трудностях при проведении оценки. При ознакомлении со списком надо иметь в виду, что речь идет именно о структурах Организации Объединенных Наций, которые призваны работать в контакте с национальными правительствами и местными партнерами. 

Итак...

1. Наш проект - особенный.
2. Это будет слишком дорого.
3. У нас нет времени.
4. Этот проект слишком мал.
5. Это не было запланировано.
6. Мы никогда не делали этого раньше.
7. Правительству это не понравится.
8. Просто отдайте мне деньги, которые вы хотите потратить на оценку.
9. Всё очень сложно; люди со стороны не смогут разобраться.
10. Это упражнение в стиле башни из слоновой кости: далеко от приземленного, суетного мира, мира практических расчетов и житейских забот.
11. У меня отпуск.
12. Это не наша проблема.
13. Зачем что-то менять, если все работает хорошо?
14. Мы пока к этому не готовы.
15. Этого нет в бюджете.
16. Руководитель/партнер только что уволился.
17. Руководитель/партнер только что сменился.
18. Директора проекта еще не назначили.
19. Персонал партнера пока на тренинге/стажировке.
20. Мы отлично справляемся без этого.
21. Мы этого раньше не пробовали.
22. Должна быть дополнительная причина.
23. Я не нуждаюсь в том, чтобы кто-то учил меня моей работе.
24. Это может сработать в любой другой организации/регионе/стране/технической области, но никогда не сработает здесь.
25. Я не уверен, что это сработает.
26. Они просто хотят нас подловить.
27. Подумайте о том, к каким сбоям в работе это приведет.
28. Это невозможно сделать объективно.
29. Менять что-либо – слишком большая головная боль.
30. Мы всегда делали это так.
31. Мы сделали ровно то, что заявляли.
32. Нас уже оценивали.
33. У нас нет никаких проблем.
34. В правительстве – перемены.
35. Финансовый кризис вызвал отставание от графика.
36. У нас только аудит прошел
37. Начальство считает, что это один из лучших проектов.
38. Это пилотный, экспериментальный, модельный, исследовательский проект.
39. Проект только начат/почти закончен/еще долго будет идти.
40. Строительство еще не окончено.
41. Оборудование еще не поступило/не установлено.
42. Правовой статус еще не предоставлен/утвержден.
43. Мы не можем найти исходный рабочий план.
44. Я не был ответственным сотрудником, когда проект начинался.
45. Правительство удовлетворено проектом.
46. Правительство еще не предоставило свои ресурсы.
47. Проект не поддается «оценке» в силу своего характера.
48. У нас нет данных.
49. Дизайн проекта слишком расплывчатый.
50. Мы всегда сами себя оцениваем.
51. Так сезон же дождей…
52. У нас хорошая система мониторинга.

Цитируется по: M. Segone (Ed.), (2006). New Trends in Development Evaluation. 

Размышления об экосистеме оценки социальных программ и проектов

Экосисте́ма - основная природная единица на поверхности Земли, совокупность совместно обитающих организмов и условий их существования, находящихся в закономерной взаимосвязи друг с другом и образующих систему. Чтобы процветать, эти организмы конкурируют и сотрудничают, совместно эволюционируют и адаптируются к внешним потрясениям. 

В начале 1990-х годов специалист по бизнес-стратегиям Джеймс Мур предложил рассматривать компанию не как отдельного игрока, а как представителя бизнес-экосистемы, охватывающей множество участников из разных отраслей. 

Попытаемся представить себе экосистему оценки социальных программ и проектов. Хотел бы сразу подчеркнуть, что это публикация в жанре «мысли вслух» без претензии на представление стройной комплексной модели. Скажем так, для затравки.

Причиной появления и развития экосистемы оценки, вероятно, можно считать потребность в информации, возникающую у лиц, принимающих решения, связанные с социальными программами и проектами. Это, в частности, означает формирование определенной культуры принятия решений, основанной на доказательном подходе. Значит, программы подготовки и повышения квалификации менеджеров для социальной сферы должны включать соответствующие разделы. Содержание подготовки определяют учебные заведения – государственные и негосударственные. Лица, принимающие решения, представляют самые разные организации – от финансирующих (государственных и негосударственных) до специализированных, занимающихся непосредственной реализацией социальных проектов и программ.

Спрос на внешнюю оценку должен удовлетворяться предложением со стороны специализированных компаний и фрилансеров. Качественные услуги в сфере оценки они могут оказать лишь при наличии необходимых компетенций. Здесь мы опять возвращаемся к учебным заведениям, которые должны обеспечить подготовку и повышение квалификации специалистов по оценке. 

Для осуществления внутренней оценки и само-оценивания организациям социальной сферы понадобятся либо штатные специалисты по оценке, либо компетенции, позволяющие программным специалистам квалифицированно проводить оценку своих инициатив. Это еще одно направление деятельности для учебных заведений. 

Для развития оценки необходимо проведение систематических исследований. Это позволит формировать специализированную базу знаний, создавать науку оценивания вместе с зарубежными коллегами, актуализировать образовательные программы. Это – сфера деятельности исследовательских центров, университетов.

Важным элементом экосистемы оценки является профессиональная ассоциация, которая в числе прочего определяет стандарты профессиональной деятельности в сфере оценки и влияет на программы профессиональной подготовки и повышения квалификации специалистов.

Социальные программы и проекты реализуются в интересах граждан (благополучателей), которые также входят в экосистему оценки. Полагаю, в экосистему оценки должны быть включены и депутаты разных уровней, избранные гражданами и представляющие их интересы. 

Информирование и просвещение в сфере оценки – важная функция, которая осуществляется как перечисленными выше участниками экосистемы (обучающие и образовательные учреждения, компании и специалисты, профессиональная ассоциация), но и средствами массовой информации, в том числе, электронными. Сюда надо отнести и блогеров. 

Для проведения оценки нужны современные технологии, программное обеспечение. Говорят, при проведении оценки уже начали использовать искусственный интеллект. Значит, в нашу экосистему войдут и разработчики таких технологий, и провайдеры соответствующих услуг.

Здесь, пожалуй, пора поставить многоточие… 😊 

Трудности при проведении мониторинга и оценки: зарубежный опыт

Разговор на клубе PROоценку сегодня получился интересный. Видеозапись и материалы будут доступны на сайте клуба в ближайшие дни. Пока хотел бы поделиться некоторыми зарубежными материалами по теме заседания. Все три публикации есть в открытом доступе (см. ссылки на источники).

Препятствия, влияющие на эффективный мониторинг и оценку проектов снижения бедности (на основании интервью с социальными работниками и специалистами по развитию сообществ):

• Навыки в сфере мониторинга и оценки. Знания в сфере мониторинга и оценки.
• Потенциал сотрудников в сфере МиО. Недостаточно специалистов, прошедших профессиональную подготовку.
• Мониторинг как проверка на соответствие. Выполняется формально на основе чек-листов («пункт-галочка»).
• Неэффективная работа со стейкхолдерами. Отсутствие поддержки со стороны благополучателей.       Источник

В каких сферах возникают проблемы при оценке проектов и программ в сельской местности (на основе интервью с менеджерами):

• Измерение результатов
• Оценка профилактических инициатив и демонстрация того, что негативный результат «не случился»
• Многофакторный характер проблем со здоровьем
• Разнообразие секторов и заинтересованных сторон, участвующих в программах
• Определение эффективности стратегий воздействия
• Проблемы доступа к благополучателям, характерные для сель
  ских сообществ
• Защищенные группы населения
• Отсутствие методов и инструментов оценки, предназначенных для использования в сельской местности.    Источник

Проблемы, с которыми сталкиваются НКО в сфере мониторинга и оценки (МиО):

• Нехватка ресурсов и времени
• Неточные данные
• Неэффективные стратегии МиО
• Использование стандартных моделей для всех программ
• Вовлечение заинтересованных сторон
• Информирование доноров об отрицательных результатах
• Техническая экспертиза в сфере МиО
• Культура/установки по отношению к МиО в организации
• Отсутствие фокуса (приоритизации)    Источник

10 причин не проводить оценку своего проекта

По мнению компании Grosvenor, предложение провести оценку проекта чаще всего вызывает два варианта реакций: энтузиазм или сопротивление. Энтузиазм связан с возможностью узнать что-то новое и важное о своем проекте, научиться чему-то, получить возможности для развития. Сопротивление всегда сопровождается определенными аргументами. Ниже приводится соответствующий список. Подробнее с этими аргументами и контраргументами от специалистов компании  Grosvenor можно ознакомиться здесь 

1. То, что мы делаем, слишком сложно…
2. Рискованно говорить с заинтересованными сторонами
3. Хм … у нас нет данных для оценки!
4. Я не знаю, как это делается.
5. У нас нет на это денег.
6. Мы и так очень заняты.
7. Я опасаюсь негативных результатов.
8. Я и без оценки знаю, что есть проблемы, а всем наплевать…
9. Мы занимаемся этим уже очень давно … просто поверьте мне
10. В результате все равно ничего не изменится

На мой взгляд, в общем случае отношение к оценке представляет собой смесь энтузиазма и опасений. Но приведенный выше список опасений вполне совпадает с нашим опытом.

Завтра на заседании клуба PROоценку будем обсуждать трудные ситуации, с которыми сталкиваются на практике участники клуба при проведении индикаторной и эмпирической оценки. Особый акцент сделаем на само-оценивании. Информация о заседании и регистрация.