Эвалюатология: наука оценивания?

За 30 лет работы в области оценки не раз приходилось наблюдать, как люди, впервые пришедшие в эту сферу, берутся навести в ней порядок. Бывает, что такие инициативы проходят почти незаметно. Предполагаю, что статья, о которой пойдет речь ниже, незамеченной в международном профессиональном сообществе не останется, поскольку авторы претендуют на создание «науки и инженерии оценки».

Начну с цитаты.   

«Оценка является важнейшим аспектом человеческого существования и играет ключевую роль в каждой области. Однако зачастую к ней подходят эмпирически и ситуативно (ad-hoc), из-за чего отсутствует консенсус относительно универсальных понятий, терминологии, теорий и методологий. Это отсутствие согласия приводит к серьезным последствиям.

Данная статья призвана официально представить эвалюатологию (evaluatology) — дисциплину, которая охватывает науку и инженерию оценки. Мы предлагаем универсальную концептуальную базу для оценки, включающую понятия, терминологию, теории и методологии, которые могут применяться в различных, если не во всех дисциплинах».

Отметим, что журнал TBench и стоящий за ним BenchCouncil (International Open Benchmark Council) создавались и развивались в среде компьютерных наук и инженерии (бенчмарки производительности процессоров, систем ИИ и т.д.). Это как раз объясняет, почему язык и методология статей в этом журнале (включая статью про «эвалюатологию») радикально отличаются от языка, принятого в сообществе специалистов по оценке социальных программ. Для авторов статьи оценка — это эксперимент с контролируемыми условиями и математически формализованными переменными, что крайне сложно применить к социальным системам.

Ссылка на статью (есть в открытом доступе):

Zhan, J., Wang, L., Gao, W., Li, H., Wang, C., Huang, Y., Li, Y., Yang, Z., Kang, G., Luo, C., Ye, H., Dai, S., & Zhang, Z. (2024). Evaluatology: The science and engineering of evaluation. BenchCouncil Transactions on Benchmarks, Standards and Evaluations, 4(1), 1–25.

"Плесните колдовства в хрустальный мрак бокала..."

Неожиданно для себя наткнулся на термин evidence-based evaluation, который можно перевести как оценка, основанная на данных или на доказательствах. Google даёт на этот термин около 800 тыс. ссылок, то есть довольно много. Вот, к примеру, публикация от инновационно-исследовательской программы Евросоюза (2020), предлагающая обзор такого подхода к оценке. Следуя сложившейся традиции, такую оценку можно было бы назвать «доказательной» - по аналогии с доказательной медициной, доказательным менеджментом и т.д.

Цитата из упомянутого выше пособия: "Доказательную оценку можно отличить от субъективной оценки и оценки по жестко заданным шаблонам. В то время как субъективная оценка опирается на интуицию, устоявшиеся традиции или личные знания, доказательная оценка строится на строгом анализе наилучших доступных данных. С другой стороны, оценка по жестким шаблонам обычно предопределена заранее и основывается преимущественно на взглядах самого оценщика, тогда как доказательная оценка учитывает предпочтения, потребности, ценности и особенности контекста заинтересованных сторон".

Термины "доказательная оценка" или "оценка, основанная на данных" кажутся мне избыточными. Указанные выше отличия от "субъективной оценки" и "оценки по жестко заданным шаблонам" выглядят крайне неубедительно. Если авторы имели в виду экспертную оценку, то это вполне легитимный подход, когда суждение основывается не на «взглядах», а на экспертизе, глубоком знании предмета. "Оценка по шаблонам" для меня вообще непонятна. 

Вот часто цитируемое определение Майкла Пэттона: «Оценка программы — это систематический сбор информации о деятельности в рамках программы, её характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить её эффективность и/или разработать планы на будущее». 

Таким образом, оценка, не основанная на данных – это не оценка, если оставаться в профессиональном поле. 

Моя гипотеза: возможно, введение термина "доказательная оценка" было призвано добавить академизма. Отсюда - название сегодняшней публикации, заимствованное из известного романса "Напрасные слова" Давида Тухманова (музыка) и Ларисы Рубальской (стихи)  :)  На фото - Александр Малинин и Елена Темникова за исполнением этого произведения.