Оценка без критериев - не оценка? (фрагмент одной дискуссии)

Уже много лет я подписан на тематический список рассылки на Yahoo Groups. Называется XCEval. Сейчас там около 1200 подписчиков со всего мира. Пишу туда очень редко. Являюсь, скорее, активным читателем. Рабочий язык - английский. Подписаться может любой человек - без ограничений.

На днях Боб Вильямс из Новой Зеландии (очень известный специалист в сфере применения системного мышления в оценке) написал на XCEval о тревожной тенденции, заключающейся в том, что все чаще набор критериев оценки программ определяется заранее как стандартный и не учитывает в должной мере особенностей оцениваемой программы и потребностей заинтересованных сторон. Я поддержал Боба и добавил, что есть еще и тенденция использовать "стандартный" набор вопросов, на которые оценка должна ответить, что создает массу проблем. Далее я поделился нашим опытом проведения оценки (в традиции оценки, ориентированной на практическое использование), когда ключевым моментом, "ядром" задания на проведение оценки являются не критерии, а вопросы, на которые надо ответить. Далеко не все наши технические задания содержали критерии оценки, но все они содержали вопросы. Я написал, что мы избегаем использования понятия "критерий оценки", чтобы сфокусироваться именно на вопросах, которые обсуждаются с Заказчиком, тщательно формулируются и становятся фундаментом для всей последующей работы. 

К своему удивлению, я получил довольно жесткий ответ от Боба. Он вообще не отличается мягкостью в дискуссиях, удивила не жесткость :) Он написал, что моя позиция является чудовищной ошибкой и также отражает некую негативную тенденцию. Основной его тезис был такой: "Без критериев нет оценки". 

Я согласился, что, действительно, без критериев невозможна "оценка, основанная на критериях" (criterion-focused evaluation) - один из видов оценки, но не оценка вообще. Имел я в виду, что есть другие подходы, которые, к примеру, перечислены в книге Майкла Пэттона Utilization Focused Evaluation, 4th ed. (стр. 300-305). Майкл перечисляет 79 видов оценки в зависимости от того, на чем она сфокусирована. Оценка, основанная на критериях, упоминается в числе прочих. 

На это откликнулись сам Боб ("Категорически не согласен!"), а затем еще два очень уважаемых человека - Роберт Пиччиотто (бывший директор Независмой группы оценки Всемирного Банка) и Томас Швандт (один из лидеров Американской ассоциации оценки, бывший редактор American Journal of Evaluation, профессор из Иллинойса, США). Оба джентльмена поддержали Боба. Томас написал, что он присоединяется к группе, в которой считают, что невозможно провести оценку, не имея критериев. Роберт - примерно в том же духе.

Считаю очень примечательным сам факт, что три таких известных человека решили написать по поводу критериев. Это говорит о значимости темы для них. Они далеко не на каждое письмо на XCEval откликаются. Уверен, что они не включились бы, если бы дело было только во мне. Вероятнее всего, это одна из дискуссионных зон в мире оценки, которую я невольно затронул. Интересно! 

Еще два слова о моей позиции по этому вопросу. Я не против критериев как таковых, но не считаю, что они настолько значимы во всех случаях. Гораздо важнее для меня вопросы, на которые надо ответить. 

Примеры критериев: 

- эффективность, 

- устойчивость эффекта. 

Примеры соответствующих вопросов: 

- В какой мере достигнута цель программы? 

- В какой степени эффект программы сохраняется после ее окончания? 

Если меня просят оценить (или даже измерить) эффективность программы, то это мало что говорит само по себе. А вот когда мы формулируем вопрос(ы), тут становится понятно, о чем речь. От вопросов можно уже планировать оценку. А результатом оценки будут ответы на эти вопросы. Главу в отчете можно назвать "Эффективность", но ее содержание должно определяться вопросом, на который надо ответить. Для разных программ, людей, обстоятельств вопросы про эффективность могут сильно отличаться.