"Плесните колдовства в хрустальный мрак бокала..."

Неожиданно для себя наткнулся на термин evidence-based evaluation, который можно перевести как оценка, основанная на данных или на доказательствах. Google даёт на этот термин около 800 тыс. ссылок, то есть довольно много. Вот, к примеру, публикация от инновационно-исследовательской программы Евросоюза (2020), предлагающая обзор такого подхода к оценке. Следуя сложившейся традиции, такую оценку можно было бы назвать «доказательной» - по аналогии с доказательной медициной, доказательным менеджментом и т.д.

Цитата из упомянутого выше пособия: "Доказательную оценку можно отличить от субъективной оценки и оценки по жестко заданным шаблонам. В то время как субъективная оценка опирается на интуицию, устоявшиеся традиции или личные знания, доказательная оценка строится на строгом анализе наилучших доступных данных. С другой стороны, оценка по жестким шаблонам обычно предопределена заранее и основывается преимущественно на взглядах самого оценщика, тогда как доказательная оценка учитывает предпочтения, потребности, ценности и особенности контекста заинтересованных сторон".

Термины "доказательная оценка" или "оценка, основанная на данных" кажутся мне избыточными. Указанные выше отличия от "субъективной оценки" и "оценки по жестко заданным шаблонам" выглядят крайне неубедительно. Если авторы имели в виду экспертную оценку, то это вполне легитимный подход, когда суждение основывается не на «взглядах», а на экспертизе, глубоком знании предмета. "Оценка по шаблонам" для меня вообще непонятна. 

Вот часто цитируемое определение Майкла Пэттона: «Оценка программы — это систематический сбор информации о деятельности в рамках программы, её характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить её эффективность и/или разработать планы на будущее». 

Таким образом, оценка, не основанная на данных – это не оценка, если оставаться в профессиональном поле. 

Моя гипотеза: возможно, введение термина "доказательная оценка" было призвано добавить академизма. Отсюда - название сегодняшней публикации, заимствованное из известного романса "Напрасные слова" Давида Тухманова (музыка) и Ларисы Рубальской (стихи)  :)  На фото - Александр Малинин и Елена Темникова за исполнением этого произведения.

Движущая сила оценки

Боб Вильямс из Новой Зеландии опубликовал на днях небольшую заметку, которая начинается с такой фразы: "Критерии - движущая сила оценки". В этой заметке Боб обосновывает свою позицию относительно значимости критериев при проведении оценки. О нашей с ним дискуссии по поводу критериев в оценке я писал ранее.

Аргументация Боба на этот раз такова. Если понимать оценку как "систематический процесс определения достоинств, ценности или значимости чего-либо"; то определить, что относится к достоинствам программы, её ценности или значимости, без критериев невозможно. Далее Боб указывает на риски, связанные с использованием стандартного набора критериев. Он настаивает на том, что критерии должны формироваться под каждую конкретную задачу, ссылаясь, в частности, на разработки Чёрчмена (C. West Churchman) и Ульриха (Ulrich) в сфере "критических систем" (Critical Systems). Одной из центральных тем в рамках этого подхода является определение границ (boundaries) в связи с решением той или иной задачи. Критерии, по мнению Боба, задают такие границы. Непродуманное использование стандартных критериев может привести к ошибкам. Боб приводит в качестве примера критерий "эффективность использования средств" (efficiency) для экспериментальной программы. Он считает, что в такой программе средства почти наверняка будут использоваться не слишком эффективно, однако это никак не влияет на ценность программы: она может быть очень даже стоящей с точки зрения понимания того, как работает использованный в ней подход. 

Обсуждение результатов оценки

Сегодня в рамках "Школы оценки 3 в 1" пройдет вэбинар на эту важную тему. Слушателям школы предстоит в ближайшее время встретиться с их заказчиками и обсудить с ними полученные результаты. Несмотря на то, что оценка учебно-практическая, а "заказчиками" являются сами слушатели, предстоящие встречи вызывают и волнение, и вопросы.

В связи с этим хотел бы поделиться несколькими соображениями.

1. Встречу надо начать с того, какие были вопросы задания и как предполагалось использовать ответы.
2. Далее нужно обсудить каждый вопрос по схеме: факты - интерпретации - выводы - рекомендации. Т.е. консультанты должны рассказать, что они узнали, как они это объяснили, к каким выводам пришли и что в связи с этими выводами рекомендуют предпринять.
3. Следующим шагом (после обсуждения результатов) является их практическое использование. Это то, ради чего, в конечном итоге, проводится оценка. Об этом нужно постоянно помнить, об этом обязательно нужно поговорить. 
4. Нужно иметь в виду, что речь идет об эмпирической оценке, и не менять жанр. В рамках эмпирической оценки все выводы базируются на собранных эмпирических данных, а не на знаниях и прошлом жизненном опыте консультанта (см. "экспертную оценку").

Чем оценка (evaluation) отличается от исследования (research)?

На днях обсуждали с коллегой эту тему. Хотел бы поделиться видением профессора Патриции Роджерс из Австралии, опубликованным в блоге на сайте Betterevaluation. Отличный, кстати, сайт! 

Итак, Патриция предлагает четыре подхода к объяснению отличия оценки от исследования: 

1) Две области, не связанные между собой: разные цели; по-разному формируются вопросы, на которые нужно ответить; разные критерии оценки значимости и качества; разные референтные группы для вынесения суждения о ценности. 

2) Две взаимно пересекающиеся области: есть "пересечения", например, методы и инструменты работы с эмпирическими данными; и есть отличия, например, постановка задачи и использование результатов. 

3) Оценка как подкатегория исследования: проведение исследования не всегда предполагает проведение оценки, а проведение оценки всегда предполагает проведение исследования. 

4) Исследование как подкатегория оценки в том смысле, что собр и анализ эмпирических данных - неотъемлемая часть оценки. 

Мне кажется, что в классификации Патриции недостает еще одного варианта: "ничем не отличается" или "оценка и исследование - это абсолютно одно и то же". В комментариях к ее публикации как раз такой вариант был предложен.

Так отличаются или нет? Думаю, многое зависит от начальных условий и от контекста. В том мире, в котором я живу и работаю, отличаются. Но я легко могу представить себе ситуации, в которых обсуждение отличий большого смысла не имеет. 

Для тех, кто хотел бы глубже погрузиться в данную тему, рекомендую статью Мири Левин-Розалис (Miri Levin-Rozalis), опубликованную в Канадском журнале оценки (2003). В этой статье много ссылок на публикации людей, являющихся основоположниками оценки как самостоятельной дисциплины и особой профессии таких как Кэмпбелл, Кук, Губа, Линкольн, Хаус, Скривен, Пэттон. 

"Из отчета о результатах оценки я не узнал ничего нового..."

Представим себе, что эту фразу произносит человек, который является основным пользователем (заказчиком) результатов оценки. О чем свидетельствует такая "обратная связь"? Следует ли специалисту по оценке в такой ситуации посыпать голову пеплом? Должен ли отчет о результатах оценки содержать новую для основных заинтересованных лиц информацию? 

Семинар по видам оценки

23 апреля утром (с 10 до 12) буду проводить семинар в рамках инициативы "Оценка проектов и программ в сфере детства". Планирую подробно рассказать о классификации видов оценки программ и проектов, которую мы с коллегами предложили несколько лет тому назад и находим очень полезной. Речь идет об экспертном, индикаторном и эмпирическом подходах. На семинаре мы будем ориентироваться именно на практическое использование данной классификации, рассмотрим много примеров. Этот семинар - вводный. Мы договорились с нашими партнерами из Фонда "Культура детства" о проведении до лета еще трех семинаров - по одному на каждый из видов оценки.

Регистрация на семинар здесь. Он пройдет на Сретенке в здании МГППУ,

Председатель Верховного суда Казахстана - за использование эмпирической оценки

В январе этого года я уже писал о казахстанской инициативе по оценке деятельности судов. Сегодня появилась интересная статья, в которой Председатель Верховного суда Республики Казахстан Кайрат Мами рассказывает о "внедрении социологических замеров как инструмента оценки эффективности деятельности судов и мониторинге работы судов в целом".

«Хочу отметить, что с 16 февраля в судах, при участии Программы развития ООН в Казахстане, будет начат очередной исследовательский проект, который продлится три месяца. Планируется изучить мнение более десяти тысяч граждан по всей республике. Результаты будут рассмотрены по завершении первого полугодия», - сказал Кайрат Мами.

А я хотел бы отметить, что в данном случае одно из высших должностных лиц соседней страны де-факто говорит о том, как важно использование эмпирической оценки ("социологические замеры" есть не что иное как сбор и анализ эмпирических данных) в деятельности государственных органов и какие результаты оно дает.