«Один врач не может лечить все болезни»

В древние времена врач лечил всех людей от всего, опираясь на единую теорию происхождения болезней (см., например, труды пионера в области психотерапии, физической терапии и молекулярной медицины древнегреческого врача и философа Асклепиада Вифинского). В какой-то момент стало понятно, что «Один врач не может лечить все болезни». Наставление с таким названием написал персидский учёный-энциклопедист, врач, алхимик и философ Абу Бакр Мухаммад ар-Рази (именно он изображен на рисунке). 

Подобные процессы происходят во всех сферах профессиональной деятельности по мере накопления знаний и опыта. Обязательным условием при этом, естественно, является наличие спроса. Оценка программ не стала исключением. В странах, где индустрия оценки достаточно развита, можно наблюдать, например, отраслевую специализацию консультантов по оценке (здравоохранение, культура и т.д.); методологическую специализацию (оценка с участием, оценка, основанная на теории программы и т.д.); специализацию на определенной целевой группе (пожилые люди, студенты, дети и т.д.). 

В нашей стране самым заметным направлением специализации является оценка программ в сфере детства. Здесь есть и этический кодекс, и онлайновые курсы, и методические пособия. 

О специализации в сфере оценки будет большой разговор на ноябрьском Институте оценки в Москве. Прием заявок на участие открыт до 20 октября.

«Золотой стандарт» в оценке

Золотым стандартом называют денежную систему, в которой основной единицей расчётов является некоторое стандартизированное количество золота. 

Термин «золотой стандарт» достаточно широко используется в различных сферах как метафора, означающая «самый лучший», «идеальный»:

• «Золотой стандарт» в медицине — оптимальное сочетание диагностических методов или терапевтических мероприятий, позволяющих достичь наилучших результатов в диагностике или лечении. 
• «Золотым стандартом» клинических исследований является рандомизированное, контролируемое, мультицентровое, проспективное исследование, проведенное по "двойному слепому" методу. Контролируемое исследование обязательно предполагает наличие опытной и контрольной групп. 
• 8 ключевых компетенций коуча — это «золотой стандарт», принятый самым крупным международным профессиональным институциональным сообществом ICF.  
• «Золотой стандарт» знаний для всех школ страны - это базовая планка, ниже которой сползать нельзя.  
• «Золотой стандарт» — это идеальная техника выполнения упражнения, когда мы обращаем внимание на все нюансы. 

Вопрос о «золотом стандарте» в оценке программ и проектов выглядит так: можно ли выделить одну самую лучшую методику (или метод) оценки, к использованию которой должны стремиться все, кто проводит оценку, и на основании которой можно было бы судить о качестве оценки?

В частности, в качество «золотого стандарта» в оценке влияния программ предлагалось принять рандомизированные контролируемые исследования (РКИ). Горячая дискуссия вокруг этого вопроса закончилась тем, что  абсолютное большинство членов профессионального сообщества приняло в качестве «золотого стандарта» методологическую целесообразность. Последняя подразумевает: 

• соответствие дизайна оценки ситуации, в которой проводится оценка; 
• учет вопросов задания, планируемого использования результатов оценки и требований к качеству информации, достаточной для принятия решений; 
• сравнение стоимости, преимуществ и ограничений различных вариантов дизайна оценки;
• размер бюджета оценки;
• ограничения по времени проведения оценки;
• принятие во внимание этических соображений.

Если вас интересует содержание дебатов о «золотом стандарте» в оценке программ, посмотрите вот эти публикации (англ.) с «говорящими» названиями: 

• Золото дураков: широко разрекламированный методологический «золотой стандарт» не является ни золотым, ни стандартом (блог М.Пэттона)
• РКИ: золотой стандарт или золото дураков? 
• Взлет и падение золотого стандарта 

Наследие Майкла Скривена

Не стало Майкла Скривена (Michael Scriven). Он был не просто заметной фигурой в сообществе специалистов по оценке. Полагаю, его можно по праву считать одним из основоположников оценки как самостоятельной дисциплины и отрасли знания. Мне довелось общаться с ним лично, бывать на его выступлениях и участвовать в семинарах, которые он проводил. Он был выдающимся мыслителем.

В последнее время Майкл был профессором психологии в Клермонтском университете и содиректором Клермонтского оценочного центра. Более 450 публикаций Майкла Скривена были посвящены преимущественно оценке, но кроме того информатике, неформальной логике, космологии, международной филантропии и технологическим исследованиям. Он входил в редакционные и консультативные советы более чем 40 научных журналов и был избран президентом Американской ассоциации исследований в области образования, президентом Американской ассоциации оценки и научным сотрудником Центра перспективных исследований в области поведенческих наук в Стэнфорде. Он также был сотрудником Гарварда и членом Австралийской академии социальных наук. 

О наследии Майкла Скривена очень хорошо рассказал Майкл Пэттон. 40-минутный видеоролик с его выступлением (англ.) размещен здесь. 

Возможные ошибки при анализе данных

В финале рассказа «Пестрая лента» знаменитый сыщик Шерлок Холмс говорит: «… Вначале я пришел к совершенно неправильным выводам, мой дорогой Ватсон, и это доказывает, как опасно строить гипотезы на основе неполных данных…». Если не помните, в чем там было дело – перечитайте, получите удовольствие! Я же решил начать с этой цитаты потому, что наш опыт анализа данных при проведении оценки полностью соответствует тому, что сказал Холмс. Интерпретация неполных данных чаще всего действительно приводит к неправильным выводам. Мы с Владимиром Балакиревым сформулировали свой перечень распространенных ошибок, относящихся к интерпретации данных:

1. Использование неполных данных (допускают несколько вариантов интерпретации)
2. Пропуск противоречий в данных («неподходящие» данные игнорируются)
3. Влияние эмоционального состояния на характер интерпретации данных
4. Использование «заготовок» (сознательно или неосознанно используются заранее заготовленные интерпретации, основанные, например, на предыдущем опыте или авторитетных мнениях)
5. Отсутствие необходимой для интерпретации определенных данных экспертизы
6. Движение «от сложного» (вначале даются сложные объяснения, хотя все можно объяснить и просто)
7. Игнорирование интерпретаций, которые имеются у благополучателей и других заинтересованных сторон

Завтра на заседании клуба PROОЦЕНКУ (регистрация еще открыта) поговорим и об этом.