среда, 23 ноября 2022 г.

Как должен выглядеть отчет по результатам оценки проекта или программы

Сразу оговорюсь, что речь идет об эмпирической оценке, по результатам которой принято готовить отчет. Классификацию видов оценивания можно найти здесь.

На основе накопленного опыта мы пришли к следующему определению: «Хороший отчет по результатам оценки – это документ, в котором в удобном для читателя виде представлены ответы на вопросы задания, основанные на собранных в процессе оценки эмпирических данных»

В этом определении важны все составляющие: 

  1. Оценка призвана дать ответы на вопросы, включенные в задание. Отчет должен содержать эти ответы. Основная часть отчета должна быть структурирована в соответствии с вопросами. 
  2. Эмпирическая оценка предполагает, что ответы на вопросы задания появляются в результате систематического сбора и анализа эмпирических данных. Следовательно, в отчете должны быть приведены собранные данные и показан путь от этих данных к ответам на вопросы. 
  3. Оценка проводится для тех, кто ставит задачу и будет пользоваться полученными результатами. Именно эти люди будут читателями отчета. Значит, отчет должен быть максимально «дружелюбным» по отношению к читателю. Там должно быть легко найти и понять всё, что нужно пользователям результатов оценки. 

На последнем пункте хотел бы остановиться чуть подробнее. Первоначально отчеты по результатам оценки принято было оформлять в академической традиции. Подробно с правилами оформления таких отчетов можно ознакомиться в межгосударственном стандарте ГОСТ 7.32-2017

Согласно этому стандарту, структурными элементами отчета о НИР являются: 

  • титульный лист; 
  • список исполнителей; 
  • реферат; 
  • содержание; 
  • термины и определения; 
  • перечень сокращений и обозначений; 
  • введение; 
  • основная часть отчета о НИР; 
  • заключение; 
  • список использованных источников; 
  • приложения.

Соответственно, результатом оценки становился многостраничный текстовый документ с иллюстрациями и приложениями. Ходили устойчивые слухи о том, что главные пользователи таких отчетов - те, кому нужны были ответы на вопросы задания - читали в них только реферат (по-английски – executive summary), где кратко излагалось все содержание отчета. 

Когда появился PowerPoint, в дополнение к письменному отчету стали просить сделать презентацию. Пользователи результатов оценки стали выделять время на то, чтобы выслушать презентацию и… перестали читать даже реферат. При необходимости они обращались к презентации. 

Сегодня все идет к тому, чтобы в качестве отчета оставлять только достаточно подробную презентацию. Это существенно сокращает время подготовки отчета и экономит деньги заказчика оценки (если оценка внешняя). Многостраничные текстовые документы уходят в прошлое.

среда, 16 ноября 2022 г.

Всегда ли прав клиент?

Внешняя оценка – это разновидность консультационных услуг. Со всеми вытекающими последствиями. Одно из важнейших – степень удовлетворенности клиента как критерий качества оказанной услуги. Клиент, как правило, – это руководитель организации, которая заказывает проведение внешней оценки. Это либо организация-донор, которая оценивает поддержанный ею проект; либо сама организация, выполняющая проект. 

Основа качественной услуги – это доверительные отношения между консультантом и клиентом, которые в психологии называют специальным термином «раппорт». Если такой контакт установить не удаётся, а контракт на проведение оценки все равно заключается, то неправы оба: и консультант, и клиент. 

При постановке задачи на проведение оценки правило «клиент всегда прав» работает в том смысле, что оценка должна быть ориентирована на информационные потребности клиента. Но при этом у консультанта не должно возникать проблем, связанных с соблюдением профессиональных стандартов, принципов и этики. Например, если ставится задача провести оценку с заранее известным результатом, то клиент неправ. 

При планировании оценки клиент будет совершенно прав, если попросит консультанта обосновать выбор тех или иных методов и инструментов, укажет на существующие ограничения. Но он будет неправ, если станет «продавливать» использование определенных подходов несмотря на обоснованную аргументацию их недостатков со стороны консультанта. Например, бывают такие группы, узнать мнение которых необходимо, но сделать это с помощью анкетирования невозможно в силу особенностей групповой культуры и/или специфики поставленных вопросов.

При проведении оценки клиент будет прав, если сделает все необходимое для обеспечения доступа консультанта к согласованным с ним источникам информации и для создания благоприятных условий для получения такой информации. Соответственно, если клиент, к примеру, будет настаивать на том, чтобы он сам либо его представитель сопровождали консультанта во время проведения интервью, то это не будет способствовать созданию благоприятных условий. В этом случае клиент будет неправ. 

Клиент будет прав, если попросит регулярно информировать его о ходе оценки. Но он будет сильно неправ, если станет настаивать на том, чтобы консультант делился выводами и рекомендациями до того, как будут завершены сбор и анализ информации. Известно, что выводы, сделанные на основе неполных данных, очень часто оказываются ошибочными. 

Чаще всего, клиент не стремится активно участвовать в анализе данных. Но он будет прав, если предложит свою помощь в обсуждении и интерпретации полученных данных. Естественно, для этого, данные должны быть обработаны и представлены в удобном для обсуждения виде. Обычно такое обсуждение происходит в момент представления клиенту проекта отчета по результатам оценки. Тогда же обсуждаются выводы и рекомендации. Клиент будет неправ, если станет требовать от консультанта включить в отчет выводы либо рекомендации, с которыми консультант не согласен. 

Таким образом, клиент бывает прав не всегда. А конструктивное разрешение возникающих в ходе оценки противоречий зависит от того, с чего я начал, а именно от установления и поддержания позитивных доверительных отношений между клиентом и консультантом по оценке. 

PS Люди, занятые в сфере услуг, давно усомнились в формуле «клиент всегда прав». Они утверждают, что ее нельзя понимать и применять буквально: «Слова «клиент всегда прав» означают, что, заведение должно делать всё, чего он пожелает, сотрудники не должны иметь ни мнения, ни достоинства, и в любых конфликтах всегда являются побежденной стороной. Естественно, при воплощении в жизнь эта фраза убивает заведение, и по злой иронии делает обслуживание хуже». 

вторник, 1 ноября 2022 г.

Откуда берутся критерии

На мой взгляд, критерии при проведении оценки необходимы в двух случаях: 
1) когда оценка включает элемент сравнения, в том числе, проверку на соответствие (это сравнение с имеющимися требованиями, нормами, стандартами),
2) когда необходимо вынести суждение о такой характеристике объекта оценки, определение которой не является общепринятым либо очевидным.

Например, если нужно выбрать (сравнение!) лучшие заявки из многих, необходимо четко сформулировать критерии, на основании которых мы будем делать выбор. Но здесь сразу же возникает и второй вопрос: является ли понятие "лучшая заявка" общепринятым или очевидным? 

Если речь идет о заявках на выступление на профессиональной конференции, то критерии выбора лучших заявок определяются организаторами конференции. Вот как сформулировали такие критерии в Американской ассоциации оценки: 
  1. Соответствие теме конференции. 
  2. Значимость для участников конференции.
  3. Техническое качество заявки. 
  4. Инновационность. 
  5. Уровень обобщения. 
Очевидно, что требования к заявкам (критерии) сформулированы с учетом стратегии организации (тема), особенностей целевой группы (значимость для участников), накопленного за годы работы ассоциации опыта (техническое качество) и стремления сделать максимальный вклад в развитие дисциплины (инновационность, уровень обобщения). В конечном счете, ассоциация кровно заинтересована в том, чтобы качество всех включенных в программу конференции выступлений было максимальным. Это поддержит имидж конференции и привлечет участников в будущем. 

Подойдут ли эти критерии для других конференций? Вероятно, не все и не для всех. То есть понятие "лучшая заявка на выступление" вряд ли может стать общепринятым и будет зависеть от многих факторов. 

Рассмотрим другую задачу. Предположим, в ходе оценки необходимо оценить "качество услуг". Если обратиться к специальной литературе, то можно обнаружить несколько вариантов критериев оценки качества услуги, например, такой: 
  1. Надежность
  2. Отзывчивость
  3. Гарантии
  4. Эмпатия
  5. Материально-техническое обеспечение
Эти критерии сформированы экспертами на основании исследований и являются универсальными, то есть, по мнению авторов, подходят для любого вида услуг. 

Анализ приведенных выше и многих других примеров свидетельствует о том, что:
  • Критерии формируются заинтересованными сторонами
  • Критерии формируются с учетом цели
  • Критерии формируются с учетом контекста 
  • Критерии формируются на основании накопленного практического опыта и/или результатов научных исследований
  • Критерии в комплексе отражают сущностные характеристики объекта оценки и/или базовые требования к нему
  • Для формирования критериев чаще всего необходима экспертиза в определенной предметной области