Критерии: информация к размышлению

"Любая попытка определить, утвердить и легитимизировать (прямо или косвенно) ограниченный набор критериев для проведения (эмпирической - АК) оценки как постоянный и обязательный, является ошибкой, потому что критерии (и ценности, на которых они основаны) должны обсуждаться применительно к каждой отдельно взятой оценке. Мы не можем преодолеть ограничения, неопределенность и непредсказуемость путей познания и способов определения ценности чего-либо, установив некоторый набор критериев как единственно правильный". 

"Как я утверждал 20 лет назад в статье «Прощание с критериологией», списки критериев являются не более чем списками либо эвристическими средствами, которые могут помочь нашему мышлению".

Обе цитаты принадлежат Тому Швандту (Schwandt, T. (2018, January 9). DAC evaluation criteria. Evaluation for Development Blog comments.)

Для справки: 

• "Наука о критериях" или "критериология" — это отрасль теории познания, в которой считается, что суждения оцениваются путем проверки их на соответствие определенным критериям. Эти критерии определяют, какие соображения, в конечном счете, можно принимать за основания для вынесения тех или иных суждений. Критерии имеют тенденцию (неявно) направлять мышление людей при проверке и корректировке их собственных суждений" (источник)
• "Критериология изучает обоснованность рассуждений и критериев, необходимых для определения истинности или ценности того или иного суждения, знания вообще и научного знания, в частности" (источник)

Когда в России появилась оценка программ

На открытии конференции АСОПП Ирина Решта сделала сообщение об истории развития оценки программ в России. Сам факт такого выступления считаю знаменательным. Спасибо Ирине и организаторам конференции! Сегодняшний пост - продолжение обсуждения этого выступления. 

Думаю, что ответ на вопрос о том, когда в России появилась оценка проектов и программ социальной направленности, зависит, в первую очередь, от того, как мы определим само понятие «оценки» и какие критерии будем использовать для того, чтобы определить момент, который мы считаем её «появлением». 

«Появлением» оценки можно считать, например: 

• наличие документально подтвержденных фактов осуществления деятельности, совпадающей по ряду признаков с тем, что мы сегодня называем "оценкой", или
• первую публикацию об оценке социальных программ на русском языке, или
• первый семинар по оценке программ, проведенный в России, или
• первую оценку социальной программы, проведенную в России местными специалистами и т.д.

Очевидно, что даты появления оценки будут разными в зависимости от выбранного критерия её «появления». Например, диссертация на тему "Организационные формы и методы анализа и оценки государственных программ в США" была защищена в 1983 году в Институте США и Канады А.А.Воронковым, а в 1986 году вышла книга того же автора "Методы анализа и оценки государственных программ в США". Вам известны более ранние публикации об оценке программ на русском языке? Если нет, то можно ли отнести "появление" оценки в России к 1983 или к 1986 годам? 

Теперь об определениях. 

Если следовать известному определению Майкла Скривена, согласно которому оценка – это «определение ценности или достоинства чего-либо», то нам нужно будет признать, что оценка являлась неотъемлемой частью деятельности человека с начала времен. Наши далекие предки наверняка умели подбирать подходящие камни для изготовления примитивных орудий труда. Таким образом, в этом случае вопрос о том, когда появилась оценка, переходит в плоскость обсуждения развития первобытного человека. 

Возьмем другое широко известное определение оценки, предложенное Майклом Пэттоном: «Оценка программы – это систематический сбор информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее». Очевидно, что в этом случае оценка могла появиться лишь с появлением программ (проектов) в социальной сфере, не раньше. Не может же быть оценки программ, когда нет собственно программ. В этом случае вопрос о том, когда появилась оценка, переходит в плоскость обсуждения развития проектного/программного подхода в социальной сфере в нашей стране. Здесь тоже, кстати, есть перспектива погружения в глубину веков: вы легко найдете описания истории проектного подхода с упоминанием строительства египетских пирамид и Великой китайской стены. 

Ирина Решта в своем сообщении об истории развития оценки в России сказала о том, что становление оценки в СССР относится к 20-30 годам прошлого века. В частности, она отметила (со ссылкой на книгу Автономова и Хананашвили "Оценка социальных проектов"), что «в этот период в нашей стране происходит выработка методов оценки, внедрение их в практику, в связи с чем появилось и первое их теоретическое осмысление». Мне этот тезис кажется весьма спорным. Тем более, что сами авторы упомянутой выше книги в начале главы "Очерк развития оценки проектов" (стр.192) утверждают, что до середины ХХ века "об оценке социальных проектов и речи не могло идти, ибо проектный подход... в социальной сфере не был еще открыт, разработан и внедрен. Но ситуация постепенно стала меняться в середине XX столетия, и в 1960-е гг. наблюдается бурное развитие оценочной деятельности в отношении различного рода проектов и политики государства". Если оговориться, что это бурное развитие поначалу происходило не в нашей стране, то ни вопросов, ни возражений не возникает. 

Нам не следует пытаться превратить Россию в "родину слонов", как бы заманчиво это ни выглядело. Это не поможет, а, наоборот, будет мешать развитию оценки проектов и программ в нашей стране. К описанию исторических фактов следует относиться бережно и скрупулёзно, ведь «история - это фонарь в будущее, который светит нам из прошлого», как говорил знаменитый историк Ключевский. А интереснее всего поразмыслить именно о том, что же мы видим в будущем при свете этого фонаря...

Как Вы оцениваете профессионализм

Завтра на заседании клуба PROоценку будем обсуждать оценку услуг. В числе прочего обязательно поговорим о том, что при оценке качества услуг следует разделять техническую составляющую качества услуги  (ЧТО?) и её функциональную составляющую (КАК?). 

Профессионализм людей, оказывающих услугу, их технические возможности и умения, конечно же, относится к техническому качеству услуги. Профессионализм - это "приобретенная в ходе учебной и практической деятельности способность к компетентному выполнению трудовых функций; уровень мастерства и искусности в определенном виде занятий, соответствующий уровню сложности выполняемых задач". 

Как оценить уровень профессионализма специалиста, например, врача, инженера, сотрудника банка и т.д.? Очевидно, что для этого должны быть разработаны стандарты, критерии оценки и инструменты. Разрабатывать их, конечно же, должны эксперты в соответствующей области. Более того, и для использования этих инструментов в большинстве случаев потребуется специальная экспертиза. Так для присвоения категории, соответствующей уровню профессионализма врача, "нужно пройти аттестацию, сдав квалификационный экзамен. При аттестации оценивают профессиональные знания и навыки специалиста, необходимые для выполнения должностных обязанностей. Квалификационный экзамен представляет собой экспертную оценку отчета о профессиональной деятельности врача, прохождение тестового контроля знаний и собеседования".

Может ли пациент оценить профессионализм врача, клиент банка - профессионализм своего менеджера, клиент магазина - профессионализм кассира т.д.? Вопрос риторический. В общем случае, конечно, нет. Такая оценка - удел профессионалов и проводится она на основе профессиональных стандартов. 

А теперь внимание: 

• Как Вы оцениваете профессионализм наших сотрудников? (Отлично Хорошо Удовлетворительно Плохо) - из анкеты для клиентов компании по проектированию, строительству и обслуживанию объектов связи
• Как Вы оцениваете профессионализм врачебного персонала Вашего отделения? (отлично,  хорошо, удовлетворительно) - из анкеты для пациентов стационара
• Как Вы оцениваете профессионализм нашего IT специалиста по 10-балльной шкале? - из анкеты для клиентов телекоммуникационной компании
• Как Вы оцениваете профессионализм преподавателей на занятиях, в которых Вы принимали участие? (Очень высокий, Достаточно высокий, Недостаточно высокий, Низкий) - из анкеты для слушателей учебного центра крупного предприятия
• Как вы оцениваете профессионализм наших сотрудников? - "Топ 10 вопросов, которые нужно задать гостям своего ресторана"

О чем они спрашивают? Кого? Как они собираются использовать полученную информацию? 

Я уже не говорю о том, что профессионализм сотрудников может быть разным. В четырех из пяти приведенных выше примеров клиенту предлагается оценивать всех сотрудников разом... 

Регистрация на завтрашнее заседание клуба PROоценку открыта по ссылке. Заседание пройдет с 11.00 до 12.30 (мск.). 

Институт оценки и "оценочное мышление"

На прошлой неделе мы вместе с новосибирским ИнА-Центром провели в Москве двухдневный семинар, который в проекте "5 элемент" назывался "Институтом оценки". Такое название было придумано, чтобы подчеркнуть, что это мероприятие ориентировано на тех, кто имеет опыт проведения оценки - в отличие от "Школы оценки", на которую приглашают новичков.

Программа "Института" включала 8 тем: 

1. "Развитие оценочного мышления"
2. "Использование критериев в оценке"
3. "Оценка потребностей"
4. "Оценка социального эффекта и оценка влияния"
5. "Наука о системах и оценка"
6. "Использование моделей в оценке"
7. "Оценка услуг"
8. "Само-оценивание"

При выборе тем команда проекта руководствовалась несколькими критериями, включая  актуальность; новизну; наличие новых теоретических разработок; дискуссионность. Мы также учитывали опыт Клуба PROоценку, где некоторые из перечисленных тем затрагивались. На обсуждение каждой темы было отведено 1,5 часа.

Итоговое анкетирование  показало, что в материалах, представленных на сессии по оценочному мышлению, почти все было новым для 35% и многое было новым для 65% участников. "Коэффициент новизны" для нашей аудитории здесь оказался самым высоким. Предположу, что и для читателей этого блога данная тема тоже достаточно новая. По крайней мере, публикации на русском языке об оценочном мышлении пока крайне редки. Потому предложу вашему вниманию модель оценочного мышления, основанную на статье Майкла Пэттона (Patton, M. Q. (2018). A historical perspective on the evolution of evaluative thinking. In A. T. Vo & T. Archibald (Eds.), Evaluative Thinking. New Directions for Evaluation. 158, 11–28.) и принципы оценочного мышления, описанные в той же статье. 

Хотел бы особо подчеркнуть, что Пэттон предложил свое определение оценочного мышления (evaluative thinking) как сочетания критического, творческого, логического и практического мышления. Графический образ оценочного мышления в виде четверной спирали (см. ниже) - наша интерпретация определения Пэттона. Он с ней пока не знаком :)

В таблице ниже приведены принципы оценочного мышления от Пэттона (перевод мой).