«Один врач не может лечить все болезни»

В древние времена врач лечил всех людей от всего, опираясь на единую теорию происхождения болезней (см., например, труды пионера в области психотерапии, физической терапии и молекулярной медицины древнегреческого врача и философа Асклепиада Вифинского). В какой-то момент стало понятно, что «Один врач не может лечить все болезни». Наставление с таким названием написал персидский учёный-энциклопедист, врач, алхимик и философ Абу Бакр Мухаммад ар-Рази (именно он изображен на рисунке). 

Подобные процессы происходят во всех сферах профессиональной деятельности по мере накопления знаний и опыта. Обязательным условием при этом, естественно, является наличие спроса. Оценка программ не стала исключением. В странах, где индустрия оценки достаточно развита, можно наблюдать, например, отраслевую специализацию консультантов по оценке (здравоохранение, культура и т.д.); методологическую специализацию (оценка с участием, оценка, основанная на теории программы и т.д.); специализацию на определенной целевой группе (пожилые люди, студенты, дети и т.д.). 

В нашей стране самым заметным направлением специализации является оценка программ в сфере детства. Здесь есть и этический кодекс, и онлайновые курсы, и методические пособия. 

О специализации в сфере оценки будет большой разговор на ноябрьском Институте оценки в Москве. Прием заявок на участие открыт до 20 октября.

«Золотой стандарт» в оценке

Золотым стандартом называют денежную систему, в которой основной единицей расчётов является некоторое стандартизированное количество золота. 

Термин «золотой стандарт» достаточно широко используется в различных сферах как метафора, означающая «самый лучший», «идеальный»:

• «Золотой стандарт» в медицине — оптимальное сочетание диагностических методов или терапевтических мероприятий, позволяющих достичь наилучших результатов в диагностике или лечении. 
• «Золотым стандартом» клинических исследований является рандомизированное, контролируемое, мультицентровое, проспективное исследование, проведенное по "двойному слепому" методу. Контролируемое исследование обязательно предполагает наличие опытной и контрольной групп. 
• 8 ключевых компетенций коуча — это «золотой стандарт», принятый самым крупным международным профессиональным институциональным сообществом ICF.  
• «Золотой стандарт» знаний для всех школ страны - это базовая планка, ниже которой сползать нельзя.  
• «Золотой стандарт» — это идеальная техника выполнения упражнения, когда мы обращаем внимание на все нюансы. 

Вопрос о «золотом стандарте» в оценке программ и проектов выглядит так: можно ли выделить одну самую лучшую методику (или метод) оценки, к использованию которой должны стремиться все, кто проводит оценку, и на основании которой можно было бы судить о качестве оценки?

В частности, в качество «золотого стандарта» в оценке влияния программ предлагалось принять рандомизированные контролируемые исследования (РКИ). Горячая дискуссия вокруг этого вопроса закончилась тем, что  абсолютное большинство членов профессионального сообщества приняло в качестве «золотого стандарта» методологическую целесообразность. Последняя подразумевает: 

• соответствие дизайна оценки ситуации, в которой проводится оценка; 
• учет вопросов задания, планируемого использования результатов оценки и требований к качеству информации, достаточной для принятия решений; 
• сравнение стоимости, преимуществ и ограничений различных вариантов дизайна оценки;
• размер бюджета оценки;
• ограничения по времени проведения оценки;
• принятие во внимание этических соображений.

Если вас интересует содержание дебатов о «золотом стандарте» в оценке программ, посмотрите вот эти публикации (англ.) с «говорящими» названиями: 

• Золото дураков: широко разрекламированный методологический «золотой стандарт» не является ни золотым, ни стандартом (блог М.Пэттона)
• РКИ: золотой стандарт или золото дураков? 
• Взлет и падение золотого стандарта 

Наследие Майкла Скривена

Не стало Майкла Скривена (Michael Scriven). Он был не просто заметной фигурой в сообществе специалистов по оценке. Полагаю, его можно по праву считать одним из основоположников оценки как самостоятельной дисциплины и отрасли знания. Мне довелось общаться с ним лично, бывать на его выступлениях и участвовать в семинарах, которые он проводил. Он был выдающимся мыслителем.

В последнее время Майкл был профессором психологии в Клермонтском университете и содиректором Клермонтского оценочного центра. Более 450 публикаций Майкла Скривена были посвящены преимущественно оценке, но кроме того информатике, неформальной логике, космологии, международной филантропии и технологическим исследованиям. Он входил в редакционные и консультативные советы более чем 40 научных журналов и был избран президентом Американской ассоциации исследований в области образования, президентом Американской ассоциации оценки и научным сотрудником Центра перспективных исследований в области поведенческих наук в Стэнфорде. Он также был сотрудником Гарварда и членом Австралийской академии социальных наук. 

О наследии Майкла Скривена очень хорошо рассказал Майкл Пэттон. 40-минутный видеоролик с его выступлением (англ.) размещен здесь. 

Возможные ошибки при анализе данных

В финале рассказа «Пестрая лента» знаменитый сыщик Шерлок Холмс говорит: «… Вначале я пришел к совершенно неправильным выводам, мой дорогой Ватсон, и это доказывает, как опасно строить гипотезы на основе неполных данных…». Если не помните, в чем там было дело – перечитайте, получите удовольствие! Я же решил начать с этой цитаты потому, что наш опыт анализа данных при проведении оценки полностью соответствует тому, что сказал Холмс. Интерпретация неполных данных чаще всего действительно приводит к неправильным выводам. Мы с Владимиром Балакиревым сформулировали свой перечень распространенных ошибок, относящихся к интерпретации данных:

1. Использование неполных данных (допускают несколько вариантов интерпретации)
2. Пропуск противоречий в данных («неподходящие» данные игнорируются)
3. Влияние эмоционального состояния на характер интерпретации данных
4. Использование «заготовок» (сознательно или неосознанно используются заранее заготовленные интерпретации, основанные, например, на предыдущем опыте или авторитетных мнениях)
5. Отсутствие необходимой для интерпретации определенных данных экспертизы
6. Движение «от сложного» (вначале даются сложные объяснения, хотя все можно объяснить и просто)
7. Игнорирование интерпретаций, которые имеются у благополучателей и других заинтересованных сторон

Завтра на заседании клуба PROОЦЕНКУ (регистрация еще открыта) поговорим и об этом.

Анализ данных при проведении оценки

Начинаем подготовку к следующему заседанию клуба PROОЦЕНКУ, которое пройдет онлайн в четверг 14 сентября 2023 года с 11.00 до 12.30 мск и будет посвящено анализу данных. Регистрация на заседание откроется в понедельник 4 сентября на сайте клуба. 

Мы планируем обсудить следующие темы: 

• Всегда ли мы можем получить данные для ответа на интересующие нас вопросы?
• В какой мере мы можем доверять полученным в ходе оценки данным? 
• Какие бывают ошибки при интерпретации данных и как их избежать?
• Как перейти от интерпретации к выводу (суждению)?
• Насколько хорошо обоснованы наши суждения и готовы ли мы их отстаивать?

Вице-президент компании Gartner (одна из ведущих исследовательских и консалтинговых компаний, специализирующихся на рынках информационных технологий) Марио Фариа (Mario Faria) считает, что анализ данных — это преобразование данных в выводы, на основе которых будут приниматься решения и строиться действия. Это рабочее определение очень хорошо отражает сущность анализа данных, являющегося важным элементом оценки проектов и программ, ориентированной на практическое использование (Utilization-Focused Evaluation).  

Любая оценка проекта (и внешняя, и внутренняя) завершается вынесением суждений, которые являются ответами на вопросы задания. Особенность эмпирической оценки состоит в том, что суждения основываются на систематически собранных данных. При планировании такой оценки мы определяем, какие именно данные нужны для ответа на вопросы задания и как эти данные можно получить. Важнейший этап оценки – анализ данных, состоящий в извлечении смыслов из полученных данных и переходе от данных к суждениям. Общеизвестная последовательность анализа данных при проведении эмпирической оценки выглядит следующим образом: факты – интерпретации – выводы (суждения) – рекомендации. Отправной точкой для анализа являются факты, эмпирические данные, представленные в удобном для восприятия виде. Далее даются объяснения тому, что полученные данные (факты) означают, а также, каким образом и почему они связаны между собой, если такие связи имеются. Этот этап анализа называется интерпретацией. На основании интерпретаций делаются выводы, выносятся суждения. Именно в этот момент появляются ответы на вопросы задания. На основании выводов даются рекомендации, которые также могут являться ответами на вопросы задания.

SURVEYMONKEY: доступ ограничен

Ровно 4 месяца назад я писал о сервисах для проведения онлайн-опросов. Тогда я рекомендовал SurveyMonkey как лучший, с нашей точки зрения, вариант платного сервиса, которым мы активно пользовались 8 лет. Единственной проблемой в последнее время была оплата в долларах США. В конце прошлой недели у российских пользователей SurveyMonkey возникла другая проблема: доступ к SurveyMonkey из РФ был заблокирован Amazon CloudFront: «403 ERROR. The request could not be satisfied. The Amazon CloudFront distribution is configured to block access from your country». Обойти эту блокировку, в принципе, можно, но при проведении анкетирования придется объяснять всем респондентам, как это сделать, что нереально. Посему мы переехали на российский Тестограф. Работает исправно. Если что, готов поделиться первыми впечатлениями, в том числе, по сравнению с SurveyMonkey. Обращайтесь! :)

Результаты анкетирования представителей НКО

Накануне проведения сегодняшнего заседания клуба PROОЦЕНКУ мы провели анкетирование представителей НКО относительно трудностей, мешающих интегрированию оценки в деятельность их организаций. На вопросы анкеты ответили 35 человек, в числе которых 27 руководителей НКО и 18 сотрудников НКО. 

Доли респондентов, считающих, что перечисленные ниже категории трудностей в какой-то мере относятся к их организациям распределились следующим образом (медианы): ресурсные ограничения (72%), организационные трудности (71%), технические трудности (46%) и психологические трудности (32%).

Результаты анкетирования по каждой из категорий трудностей приведены на диаграммах.

Трудности интегрирования оценки в деятельность НКО

Анализ опыта участников клуба PROОЦЕНКУ и зарубежных публикаций показал, что трудности, препятствующие полноценному интегрированию оценки в деятельность НКО, можно разделить на четыре категории: 

• Психологические. Сюда относятся разного рода опасения, связанные с проведением оценки, например, возможное негативное влияние оценки на ход программ или отношения с заинтересованными сторонами. Может также иметь место скептическое отношение руководства и сотрудников НКО к оценке.  
• Ресурсные. Нехватка денег, времени, специалистов и т.д.  
• Технические. Это затруднения, связанные с выбором, разработкой и/или применением методов и инструментов оценки в определенном контексте.
• Организационные. Для того, чтобы оценка в НКО работала, нужны внутриорганизационные системы, регламентирующие проведение внешней оценки; внутренней оценки/само-оценивания; хранение информации и доступ к ней; мотивирование персонала.

На ближайшем заседании клуба PROОЦЕНКУ (13 июля с 11.00 до 12.30 мск) обсудим все четыре категории трудностей с учетом приоритетов участников заседания. Регистрация на заседание на сайте клуба (кнопка «Регистрация на ближайшее заседание») будет открыта в ближайшее время. Следите за объявлениями в телеграм-каналах "Проектирование и оценка в социальной сфере" и "5 элемент". 

Как «подстелить соломку»: оценка и управление рисками в социальном проектировании

Статья с таким названием опубликована в очередном номере журнала «Позитивные изменения». В ней - в числе прочего - приводятся результаты обсуждения на заседании клуба PROОЦЕНКУ, посвященного оценке рисков. 

Как всегда, в новом номере журнала много интересных материалов об оценке и не только!

Попытки увильнуть от проведения внешней оценки в системе ООН

В конце 90-х годов прошлого века офис оценки ООН опубликовал любопытный документ, который назывался буквально так: «Попытки увильнуть от проведения внешней оценки в системе ООН: список неприемлемых отговорок». В отличие от списка из 10 причин не проводить оценку своего проекта, который я опубликовал недавно, список ООН включает 52 (!) пункта. Привожу их ниже в продолжение разговора о трудностях при проведении оценки. При ознакомлении со списком надо иметь в виду, что речь идет именно о структурах Организации Объединенных Наций, которые призваны работать в контакте с национальными правительствами и местными партнерами. 

Итак...

1. Наш проект - особенный.
2. Это будет слишком дорого.
3. У нас нет времени.
4. Этот проект слишком мал.
5. Это не было запланировано.
6. Мы никогда не делали этого раньше.
7. Правительству это не понравится.
8. Просто отдайте мне деньги, которые вы хотите потратить на оценку.
9. Всё очень сложно; люди со стороны не смогут разобраться.
10. Это упражнение в стиле башни из слоновой кости: далеко от приземленного, суетного мира, мира практических расчетов и житейских забот.
11. У меня отпуск.
12. Это не наша проблема.
13. Зачем что-то менять, если все работает хорошо?
14. Мы пока к этому не готовы.
15. Этого нет в бюджете.
16. Руководитель/партнер только что уволился.
17. Руководитель/партнер только что сменился.
18. Директора проекта еще не назначили.
19. Персонал партнера пока на тренинге/стажировке.
20. Мы отлично справляемся без этого.
21. Мы этого раньше не пробовали.
22. Должна быть дополнительная причина.
23. Я не нуждаюсь в том, чтобы кто-то учил меня моей работе.
24. Это может сработать в любой другой организации/регионе/стране/технической области, но никогда не сработает здесь.
25. Я не уверен, что это сработает.
26. Они просто хотят нас подловить.
27. Подумайте о том, к каким сбоям в работе это приведет.
28. Это невозможно сделать объективно.
29. Менять что-либо – слишком большая головная боль.
30. Мы всегда делали это так.
31. Мы сделали ровно то, что заявляли.
32. Нас уже оценивали.
33. У нас нет никаких проблем.
34. В правительстве – перемены.
35. Финансовый кризис вызвал отставание от графика.
36. У нас только аудит прошел
37. Начальство считает, что это один из лучших проектов.
38. Это пилотный, экспериментальный, модельный, исследовательский проект.
39. Проект только начат/почти закончен/еще долго будет идти.
40. Строительство еще не окончено.
41. Оборудование еще не поступило/не установлено.
42. Правовой статус еще не предоставлен/утвержден.
43. Мы не можем найти исходный рабочий план.
44. Я не был ответственным сотрудником, когда проект начинался.
45. Правительство удовлетворено проектом.
46. Правительство еще не предоставило свои ресурсы.
47. Проект не поддается «оценке» в силу своего характера.
48. У нас нет данных.
49. Дизайн проекта слишком расплывчатый.
50. Мы всегда сами себя оцениваем.
51. Так сезон же дождей…
52. У нас хорошая система мониторинга.

Цитируется по: M. Segone (Ed.), (2006). New Trends in Development Evaluation.