Движущая сила оценки

Боб Вильямс из Новой Зеландии опубликовал на днях небольшую заметку, которая начинается с такой фразы: "Критерии - движущая сила оценки". В этой заметке Боб обосновывает свою позицию относительно значимости критериев при проведении оценки. О нашей с ним дискуссии по поводу критериев в оценке я писал ранее.

Аргументация Боба на этот раз такова. Если понимать оценку как "систематический процесс определения достоинств, ценности или значимости чего-либо"; то определить, что относится к достоинствам программы, её ценности или значимости, без критериев невозможно. Далее Боб указывает на риски, связанные с использованием стандартного набора критериев. Он настаивает на том, что критерии должны формироваться под каждую конкретную задачу, ссылаясь, в частности, на разработки Чёрчмена (C. West Churchman) и Ульриха (Ulrich) в сфере "критических систем" (Critical Systems). Одной из центральных тем в рамках этого подхода является определение границ (boundaries) в связи с решением той или иной задачи. Критерии, по мнению Боба, задают такие границы. Непродуманное использование стандартных критериев может привести к ошибкам. Боб приводит в качестве примера критерий "эффективность использования средств" (efficiency) для экспериментальной программы. Он считает, что в такой программе средства почти наверняка будут использоваться не слишком эффективно, однако это никак не влияет на ценность программы: она может быть очень даже стоящей с точки зрения понимания того, как работает использованный в ней подход. 

Боб исходит из весьма распространенного определения оценки, предложенного Майклом Скривеном. Обратимся к другому известному определению: «оценка программы – это систематический сбор информации о деятельности в рамках программы, ее характеристиках  и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее» (Майкл Пэттон). При таком понимании оценки ее движущей силой являются вопросы, на которые надлежит ответить (evaluation questions), а не критерии. Именно поэтому Пэттон упоминает оценку, основанную на критериях, в качестве одного из 79 видов оценки. В этой презентации оценка на основе критериев приведена под №17 на слайде №20. Кстати, критерии при проведении оценки трансформируются в вопросы. Посмотрите, например, последнюю редакцию критериев DAC (Комитет содействия развитию). Там все критерии определяются через вопросы, на которые надлежит ответить. 

Считаю, что при оценке программ критерии оценки абсолютно необходимы, если имеет место элемент сравнения, например, если мы должны выбрать лучшие программы из заявленных. Критерии могут пригодиться для оценки однотипных программ. Хорошо обоснованные наборы критериев могут быть полезны для оценки определенных характеристик программ в разных сферах. Однако ключевым моментом для формирования задания на проведение оценки и движущей силой оценки являются вопросы, на которые надлежит ответить, а не критерии. Если Вам нужно провести оценку программы, в общем случае стоит задуматься не о том, какие критерии оценки Вы собираетесь использовать, а о том, что Вы хотите узнать о программе. И формулировать это надо в виде вопросов. 

В заключение хотел бы порекомендовать сайт Боба Вильямса, где есть много интересного и полезного. Масса поводов для размышления!