Как должен выглядеть отчет по результатам оценки проекта или программы

Сразу оговорюсь, что речь идет об эмпирической оценке, по результатам которой принято готовить отчет. Классификацию видов оценивания можно найти здесь.

На основе накопленного опыта мы пришли к следующему определению: «Хороший отчет по результатам оценки – это документ, в котором в удобном для читателя виде представлены ответы на вопросы задания, основанные на собранных в процессе оценки эмпирических данных». 

В этом определении важны все составляющие: 

1. Оценка призвана дать ответы на вопросы, включенные в задание. Отчет должен содержать эти ответы. Основная часть отчета должна быть структурирована в соответствии с вопросами. 
2. Эмпирическая оценка предполагает, что ответы на вопросы задания появляются в результате систематического сбора и анализа эмпирических данных. Следовательно, в отчете должны быть приведены собранные данные и показан путь от этих данных к ответам на вопросы. 
3. Оценка проводится для тех, кто ставит задачу и будет пользоваться полученными результатами. Именно эти люди будут читателями отчета. Значит, отчет должен быть максимально «дружелюбным» по отношению к читателю. Там должно быть легко найти и понять всё, что нужно пользователям результатов оценки. 

На последнем пункте хотел бы остановиться чуть подробнее. Первоначально отчеты по результатам оценки принято было оформлять в академической традиции. Подробно с правилами оформления таких отчетов можно ознакомиться в межгосударственном стандарте ГОСТ 7.32-2017. 

Согласно этому стандарту, структурными элементами отчета о НИР являются: 

• титульный лист; 
• список исполнителей; 
• реферат; 
• содержание; 
• термины и определения; 
• перечень сокращений и обозначений; 
• введение; 
• основная часть отчета о НИР; 
• заключение; 
• список использованных источников; 
• приложения.

Соответственно, результатом оценки становился многостраничный текстовый документ с иллюстрациями и приложениями. Ходили устойчивые слухи о том, что главные пользователи таких отчетов - те, кому нужны были ответы на вопросы задания - читали в них только реферат (по-английски – executive summary), где кратко излагалось все содержание отчета. 

Когда появился PowerPoint, в дополнение к письменному отчету стали просить сделать презентацию. Пользователи результатов оценки стали выделять время на то, чтобы выслушать презентацию и… перестали читать даже реферат. При необходимости они обращались к презентации. 

Сегодня все идет к тому, чтобы в качестве отчета оставлять только достаточно подробную презентацию. Это существенно сокращает время подготовки отчета и экономит деньги заказчика оценки (если оценка внешняя). Многостраничные текстовые документы уходят в прошлое.

Всегда ли прав клиент?

Внешняя оценка – это разновидность консультационных услуг. Со всеми вытекающими последствиями. Одно из важнейших – степень удовлетворенности клиента как критерий качества оказанной услуги. Клиент, как правило, – это руководитель организации, которая заказывает проведение внешней оценки. Это либо организация-донор, которая оценивает поддержанный ею проект; либо сама организация, выполняющая проект. 

Основа качественной услуги – это доверительные отношения между консультантом и клиентом, которые в психологии называют специальным термином «раппорт». Если такой контакт установить не удаётся, а контракт на проведение оценки все равно заключается, то неправы оба: и консультант, и клиент. 

При постановке задачи на проведение оценки правило «клиент всегда прав» работает в том смысле, что оценка должна быть ориентирована на информационные потребности клиента. Но при этом у консультанта не должно возникать проблем, связанных с соблюдением профессиональных стандартов, принципов и этики. Например, если ставится задача провести оценку с заранее известным результатом, то клиент неправ. 

При планировании оценки клиент будет совершенно прав, если попросит консультанта обосновать выбор тех или иных методов и инструментов, укажет на существующие ограничения. Но он будет неправ, если станет «продавливать» использование определенных подходов несмотря на обоснованную аргументацию их недостатков со стороны консультанта. Например, бывают такие группы, узнать мнение которых необходимо, но сделать это с помощью анкетирования невозможно в силу особенностей групповой культуры и/или специфики поставленных вопросов.

При проведении оценки клиент будет прав, если сделает все необходимое для обеспечения доступа консультанта к согласованным с ним источникам информации и для создания благоприятных условий для получения такой информации. Соответственно, если клиент, к примеру, будет настаивать на том, чтобы он сам либо его представитель сопровождали консультанта во время проведения интервью, то это не будет способствовать созданию благоприятных условий. В этом случае клиент будет неправ. 

Клиент будет прав, если попросит регулярно информировать его о ходе оценки. Но он будет сильно неправ, если станет настаивать на том, чтобы консультант делился выводами и рекомендациями до того, как будут завершены сбор и анализ информации. Известно, что выводы, сделанные на основе неполных данных, очень часто оказываются ошибочными. 

Чаще всего, клиент не стремится активно участвовать в анализе данных. Но он будет прав, если предложит свою помощь в обсуждении и интерпретации полученных данных. Естественно, для этого, данные должны быть обработаны и представлены в удобном для обсуждения виде. Обычно такое обсуждение происходит в момент представления клиенту проекта отчета по результатам оценки. Тогда же обсуждаются выводы и рекомендации. Клиент будет неправ, если станет требовать от консультанта включить в отчет выводы либо рекомендации, с которыми консультант не согласен. 

Таким образом, клиент бывает прав не всегда. А конструктивное разрешение возникающих в ходе оценки противоречий зависит от того, с чего я начал, а именно от установления и поддержания позитивных доверительных отношений между клиентом и консультантом по оценке. 

PS Люди, занятые в сфере услуг, давно усомнились в формуле «клиент всегда прав». Они утверждают, что ее нельзя понимать и применять буквально: «Слова «клиент всегда прав» означают, что, заведение должно делать всё, чего он пожелает, сотрудники не должны иметь ни мнения, ни достоинства, и в любых конфликтах всегда являются побежденной стороной. Естественно, при воплощении в жизнь эта фраза убивает заведение, и по злой иронии делает обслуживание хуже». 

Откуда берутся критерии

На мой взгляд, критерии при проведении оценки необходимы в двух случаях: 

1) когда оценка включает элемент сравнения, в том числе, проверку на соответствие (это сравнение с имеющимися требованиями, нормами, стандартами),
2) когда необходимо вынести суждение о такой характеристике объекта оценки, определение которой не является общепринятым либо очевидным.

Например, если нужно выбрать (сравнение!) лучшие заявки из многих, необходимо четко сформулировать критерии, на основании которых мы будем делать выбор. Но здесь сразу же возникает и второй вопрос: является ли понятие "лучшая заявка" общепринятым или очевидным? 

Если речь идет о заявках на выступление на профессиональной конференции, то критерии выбора лучших заявок определяются организаторами конференции. Вот как сформулировали такие критерии в Американской ассоциации оценки: 

1. Соответствие теме конференции. 
2. Значимость для участников конференции.
3. Техническое качество заявки. 
4. Инновационность. 
5. Уровень обобщения. 

Очевидно, что требования к заявкам (критерии) сформулированы с учетом стратегии организации (тема), особенностей целевой группы (значимость для участников), накопленного за годы работы ассоциации опыта (техническое качество) и стремления сделать максимальный вклад в развитие дисциплины (инновационность, уровень обобщения). В конечном счете, ассоциация кровно заинтересована в том, чтобы качество всех включенных в программу конференции выступлений было максимальным. Это поддержит имидж конференции и привлечет участников в будущем. 

Подойдут ли эти критерии для других конференций? Вероятно, не все и не для всех. То есть понятие "лучшая заявка на выступление" вряд ли может стать общепринятым и будет зависеть от многих факторов. 

Рассмотрим другую задачу. Предположим, в ходе оценки необходимо оценить "качество услуг". Если обратиться к специальной литературе, то можно обнаружить несколько вариантов критериев оценки качества услуги, например, такой: 

1. Надежность
2. Отзывчивость
3. Гарантии
4. Эмпатия
5. Материально-техническое обеспечение

Эти критерии сформированы экспертами на основании исследований и являются универсальными, то есть, по мнению авторов, подходят для любого вида услуг. 

Анализ приведенных выше и многих других примеров свидетельствует о том, что:

• Критерии формируются заинтересованными сторонами
• Критерии формируются с учетом цели
• Критерии формируются с учетом контекста 
• Критерии формируются на основании накопленного практического опыта и/или результатов научных исследований
• Критерии в комплексе отражают сущностные характеристики объекта оценки и/или базовые требования к нему
• Для формирования критериев чаще всего необходима экспертиза в определенной предметной области 

Критерии: информация к размышлению

"Любая попытка определить, утвердить и легитимизировать (прямо или косвенно) ограниченный набор критериев для проведения (эмпирической - АК) оценки как постоянный и обязательный, является ошибкой, потому что критерии (и ценности, на которых они основаны) должны обсуждаться применительно к каждой отдельно взятой оценке. Мы не можем преодолеть ограничения, неопределенность и непредсказуемость путей познания и способов определения ценности чего-либо, установив некоторый набор критериев как единственно правильный". 

"Как я утверждал 20 лет назад в статье «Прощание с критериологией», списки критериев являются не более чем списками либо эвристическими средствами, которые могут помочь нашему мышлению".

Обе цитаты принадлежат Тому Швандту (Schwandt, T. (2018, January 9). DAC evaluation criteria. Evaluation for Development Blog comments.)

Для справки: 

• "Наука о критериях" или "критериология" — это отрасль теории познания, в которой считается, что суждения оцениваются путем проверки их на соответствие определенным критериям. Эти критерии определяют, какие соображения, в конечном счете, можно принимать за основания для вынесения тех или иных суждений. Критерии имеют тенденцию (неявно) направлять мышление людей при проверке и корректировке их собственных суждений" (источник)
• "Критериология изучает обоснованность рассуждений и критериев, необходимых для определения истинности или ценности того или иного суждения, знания вообще и научного знания, в частности" (источник)

Когда в России появилась оценка программ

На открытии конференции АСОПП Ирина Решта сделала сообщение об истории развития оценки программ в России. Сам факт такого выступления считаю знаменательным. Спасибо Ирине и организаторам конференции! Сегодняшний пост - продолжение обсуждения этого выступления. 

Думаю, что ответ на вопрос о том, когда в России появилась оценка проектов и программ социальной направленности, зависит, в первую очередь, от того, как мы определим само понятие «оценки» и какие критерии будем использовать для того, чтобы определить момент, который мы считаем её «появлением». 

«Появлением» оценки можно считать, например: 

• наличие документально подтвержденных фактов осуществления деятельности, совпадающей по ряду признаков с тем, что мы сегодня называем "оценкой", или
• первую публикацию об оценке социальных программ на русском языке, или
• первый семинар по оценке программ, проведенный в России, или
• первую оценку социальной программы, проведенную в России местными специалистами и т.д.

Очевидно, что даты появления оценки будут разными в зависимости от выбранного критерия её «появления». Например, диссертация на тему "Организационные формы и методы анализа и оценки государственных программ в США" была защищена в 1983 году в Институте США и Канады А.А.Воронковым, а в 1986 году вышла книга того же автора "Методы анализа и оценки государственных программ в США". Вам известны более ранние публикации об оценке программ на русском языке? Если нет, то можно ли отнести "появление" оценки в России к 1983 или к 1986 годам? 

Теперь об определениях. 

Если следовать известному определению Майкла Скривена, согласно которому оценка – это «определение ценности или достоинства чего-либо», то нам нужно будет признать, что оценка являлась неотъемлемой частью деятельности человека с начала времен. Наши далекие предки наверняка умели подбирать подходящие камни для изготовления примитивных орудий труда. Таким образом, в этом случае вопрос о том, когда появилась оценка, переходит в плоскость обсуждения развития первобытного человека. 

Возьмем другое широко известное определение оценки, предложенное Майклом Пэттоном: «Оценка программы – это систематический сбор информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее». Очевидно, что в этом случае оценка могла появиться лишь с появлением программ (проектов) в социальной сфере, не раньше. Не может же быть оценки программ, когда нет собственно программ. В этом случае вопрос о том, когда появилась оценка, переходит в плоскость обсуждения развития проектного/программного подхода в социальной сфере в нашей стране. Здесь тоже, кстати, есть перспектива погружения в глубину веков: вы легко найдете описания истории проектного подхода с упоминанием строительства египетских пирамид и Великой китайской стены. 

Ирина Решта в своем сообщении об истории развития оценки в России сказала о том, что становление оценки в СССР относится к 20-30 годам прошлого века. В частности, она отметила (со ссылкой на книгу Автономова и Хананашвили "Оценка социальных проектов"), что «в этот период в нашей стране происходит выработка методов оценки, внедрение их в практику, в связи с чем появилось и первое их теоретическое осмысление». Мне этот тезис кажется весьма спорным. Тем более, что сами авторы упомянутой выше книги в начале главы "Очерк развития оценки проектов" (стр.192) утверждают, что до середины ХХ века "об оценке социальных проектов и речи не могло идти, ибо проектный подход... в социальной сфере не был еще открыт, разработан и внедрен. Но ситуация постепенно стала меняться в середине XX столетия, и в 1960-е гг. наблюдается бурное развитие оценочной деятельности в отношении различного рода проектов и политики государства". Если оговориться, что это бурное развитие поначалу происходило не в нашей стране, то ни вопросов, ни возражений не возникает. 

Нам не следует пытаться превратить Россию в "родину слонов", как бы заманчиво это ни выглядело. Это не поможет, а, наоборот, будет мешать развитию оценки проектов и программ в нашей стране. К описанию исторических фактов следует относиться бережно и скрупулёзно, ведь «история - это фонарь в будущее, который светит нам из прошлого», как говорил знаменитый историк Ключевский. А интереснее всего поразмыслить именно о том, что же мы видим в будущем при свете этого фонаря...

Как Вы оцениваете профессионализм

Завтра на заседании клуба PROоценку будем обсуждать оценку услуг. В числе прочего обязательно поговорим о том, что при оценке качества услуг следует разделять техническую составляющую качества услуги  (ЧТО?) и её функциональную составляющую (КАК?). 

Профессионализм людей, оказывающих услугу, их технические возможности и умения, конечно же, относится к техническому качеству услуги. Профессионализм - это "приобретенная в ходе учебной и практической деятельности способность к компетентному выполнению трудовых функций; уровень мастерства и искусности в определенном виде занятий, соответствующий уровню сложности выполняемых задач". 

Как оценить уровень профессионализма специалиста, например, врача, инженера, сотрудника банка и т.д.? Очевидно, что для этого должны быть разработаны стандарты, критерии оценки и инструменты. Разрабатывать их, конечно же, должны эксперты в соответствующей области. Более того, и для использования этих инструментов в большинстве случаев потребуется специальная экспертиза. Так для присвоения категории, соответствующей уровню профессионализма врача, "нужно пройти аттестацию, сдав квалификационный экзамен. При аттестации оценивают профессиональные знания и навыки специалиста, необходимые для выполнения должностных обязанностей. Квалификационный экзамен представляет собой экспертную оценку отчета о профессиональной деятельности врача, прохождение тестового контроля знаний и собеседования".

Может ли пациент оценить профессионализм врача, клиент банка - профессионализм своего менеджера, клиент магазина - профессионализм кассира т.д.? Вопрос риторический. В общем случае, конечно, нет. Такая оценка - удел профессионалов и проводится она на основе профессиональных стандартов. 

А теперь внимание: 

• Как Вы оцениваете профессионализм наших сотрудников? (Отлично Хорошо Удовлетворительно Плохо) - из анкеты для клиентов компании по проектированию, строительству и обслуживанию объектов связи
• Как Вы оцениваете профессионализм врачебного персонала Вашего отделения? (отлично,  хорошо, удовлетворительно) - из анкеты для пациентов стационара
• Как Вы оцениваете профессионализм нашего IT специалиста по 10-балльной шкале? - из анкеты для клиентов телекоммуникационной компании
• Как Вы оцениваете профессионализм преподавателей на занятиях, в которых Вы принимали участие? (Очень высокий, Достаточно высокий, Недостаточно высокий, Низкий) - из анкеты для слушателей учебного центра крупного предприятия
• Как вы оцениваете профессионализм наших сотрудников? - "Топ 10 вопросов, которые нужно задать гостям своего ресторана"

О чем они спрашивают? Кого? Как они собираются использовать полученную информацию? 

Я уже не говорю о том, что профессионализм сотрудников может быть разным. В четырех из пяти приведенных выше примеров клиенту предлагается оценивать всех сотрудников разом... 

Регистрация на завтрашнее заседание клуба PROоценку открыта по ссылке. Заседание пройдет с 11.00 до 12.30 (мск.). 

Институт оценки и "оценочное мышление"

На прошлой неделе мы вместе с новосибирским ИнА-Центром провели в Москве двухдневный семинар, который в проекте "5 элемент" назывался "Институтом оценки". Такое название было придумано, чтобы подчеркнуть, что это мероприятие ориентировано на тех, кто имеет опыт проведения оценки - в отличие от "Школы оценки", на которую приглашают новичков.

Программа "Института" включала 8 тем: 

1. "Развитие оценочного мышления"
2. "Использование критериев в оценке"
3. "Оценка потребностей"
4. "Оценка социального эффекта и оценка влияния"
5. "Наука о системах и оценка"
6. "Использование моделей в оценке"
7. "Оценка услуг"
8. "Само-оценивание"

При выборе тем команда проекта руководствовалась несколькими критериями, включая  актуальность; новизну; наличие новых теоретических разработок; дискуссионность. Мы также учитывали опыт Клуба PROоценку, где некоторые из перечисленных тем затрагивались. На обсуждение каждой темы было отведено 1,5 часа.

Итоговое анкетирование  показало, что в материалах, представленных на сессии по оценочному мышлению, почти все было новым для 35% и многое было новым для 65% участников. "Коэффициент новизны" для нашей аудитории здесь оказался самым высоким. Предположу, что и для читателей этого блога данная тема тоже достаточно новая. По крайней мере, публикации на русском языке об оценочном мышлении пока крайне редки. Потому предложу вашему вниманию модель оценочного мышления, основанную на статье Майкла Пэттона (Patton, M. Q. (2018). A historical perspective on the evolution of evaluative thinking. In A. T. Vo & T. Archibald (Eds.), Evaluative Thinking. New Directions for Evaluation. 158, 11–28.) и принципы оценочного мышления, описанные в той же статье. 

Хотел бы особо подчеркнуть, что Пэттон предложил свое определение оценочного мышления (evaluative thinking) как сочетания критического, творческого, логического и практического мышления. Графический образ оценочного мышления в виде четверной спирали (см. ниже) - наша интерпретация определения Пэттона. Он с ней пока не знаком :)

В таблице ниже приведены принципы оценочного мышления от Пэттона (перевод мой).  

Дата

Сегодня Компании "Процесс Консалтинг" исполняется 30 лет!

По этому случаю хочется сказать слова благодарности... 

...Нашим клиентам за доверие, которое мы очень ценим и стараемся оправдывать; за сотрудничество, без которого у нас бы точно ничего не получилось; за возможность учиться у них и вместе с ними.

...Нашим партнерам, на которых всегда можно положиться и вместе с которыми можно находить решения самых сложных проблем. 

...Нашим зарубежным коллегам, которые на протяжении многих лет щедро делятся с нами своими знаниями и опытом. Мы обязаны им очень многим. 

...Нашим семьям, за веру в успех нашего дела и постоянную поддержку. 

Встречаем юбилей в работе, которую делаем с удовольствием. 

Искренне ваши,

Оценка потребностей: всё непросто

Завтра на очередном заседании клуба PROОЦЕНКУ будем обсуждать оценку потребностей. Любопытно, что этот вид оценивания трактуется специалистами по-разному. Многое зависит от того, как мы определяем, что такое  "потребность". В психологии принято считать, что это "состояние индивида, создаваемое испытываемой им нуждой в объектах, необходимых для его существования и развития, и выступающее источником его активности". В принципе, это может быть отнесено и к группе. В литературе по менеджменту широко распространено такое определение: "Потребность в самом простом смысле — это измеримый разрыв между двумя состояниями — тем, что есть сейчас, и тем, что должно быть". Все соглашаются, что потребности имеют разную степень значимости, то есть существует некая иерархия потребностей. При этом в литературе по менеджменту предлагается определять приоритетность потребностей путем сравнения (а) затрат, связанных с удовлетворением потребностей (или устранением разрыва между желаемым и действительным), и (б) затрат в ситуации неудовлетворения потребностей (или сохранения этого разрыва). Очевидно, такой подход не вполне коррелирует с известной пирамидой потребностей Маслоу (говорят, что он никогда про пирамиду не писал, кстати).

Соответственно, оценка потребностей в одних случаях выглядит как комплексный анализ проблемной ситуации, а в других как выявление несоответствий между желаемым и действительным. А ведь еще бывают осознаваемые и неосознаваемые потребности... Как с этим быть? В общем, разговор завтра обещает быть интересным. 

Еще можно зарегистрироваться для участия в заседании по этой ссылке.

Мониторинговый визит

Из самого названия визита понятно, что он проводится в рамках мониторинга программы или проекта. Мониторинг предполагает регулярное отслеживание и фиксацию того, что происходит в проекте. Другими словами, это процесс регулярного и систематического сбора информации по всем ключевым аспектам проекта. 

Важная традиционная составляющая мониторинга - это сбор информации о значениях заранее выбранных показателей для обеспечения руководителей программы (проекта) и других заинтересованных сторон сведениями о том, насколько успешно выполняются программа (проект) в целом и ее (его) отдельные компоненты, в какой мере достигаются поставленные цели, и как используются ресурсы. Можно ли считать, что мониторинг - это исключительно про показатели? Если система мониторинга предполагает проведение мониторинговых визитов, то точно нельзя, поскольку мониторинговый визит - это точно не про показатели. Конечно, во время таких визитов происходит сбор информации о ходе и результатах проектов и программ, а также об организациях-исполнителях. Но собираемые данные носят преимущественно описательный характер и никак не сводятся к значениями показателей. Мы проводим мониторинговый визит, чтобы своими глазами увидеть, как идут дела, чтобы поговорить с исполнителями проекта и благополучателями. 

Таким образом, мониторинговый визит является не чем иным как эмпирической оценкой, он дополняет сведения о значениях показателей результатами наблюдения и интервью. Это значит, что планировать и проводить мониторинговый визит следует по правилам эмпирической оценки (не индикаторной!): сформулировать вопросы, на которые необходимо получить ответы; определить источники и методы получения необходимой для этого информации; подготовить соответствующие инструменты; собрать и проанализировать данные; подготовить отчет. Если этим правилам не следовать, то есть риск не узнать то, что нужно, и результаты мониторингового визита окажутся не столь полезными, как могли бы.