среда, 21 декабря 2022 г.

Принципы само-оценивания программ и проектов в НКО

Само-оценивание программы (проекта) – это систематический сбор информации о деятельности в рамках программы (проекта), ее характеристиках и результатах, который проводится командой программы (проекта) для того, чтобы вынести суждение о программе (проекте), повысить эффективность программы (проекта) и/или разработать планы на будущее.

Идея адаптации принципов проведения оценки программ и проектов к ситуации само-оценивания появилась летом этого года. В июне и в июле этой теме были посвящены заседания клуба PROоценку. По итогам заседаний мы подготовили проект описания принципов, который обсудили с участниками Института оценки в рамках проекта «5 элемент»  

Мы представили промежуточные результаты нашей работы на конференции АСОПП-2022, а теперь публикуем окончательную версию принципов

В обсуждениях этого документа приняли участие в общей сложности 43 человека (полный список имеется в публикации), за что им большое спасибо!

четверг, 15 декабря 2022 г.

Оценка чего?

Во многих странах и регионах существуют профессиональные объединения специалистов по оценке. Например, есть Европейское общество оценивания (European Evaluation Society), Американская ассоциация оценивания (American Evaluation Association), совсем недавно появилась Монгольская ассоциация оценивания (Mongolian Evaluation Association). Когда подобное название звучит в разговоре с человеком, не имеющим отношения к нашей сфере деятельности, как правило, он немедленно задаёт резонный вопрос: «Оценивание чего?». Это происходит в самых разных странах (я проверял!). Приходится добавлять, что речь идет об оценивании программ и проектов социальной направленности. Тогда ситуация более-менее проясняется. Кстати, именно по этой причине российская профессиональная ассоциация называется «Ассоциация специалистов по оценке программ и политик». 

Почему же наши уважаемые зарубежные коллеги в большинстве случаев не включают в названия своих профессиональных объединений упоминание объекта оценивания? 

Обратимся к документу, опубликованному Американской ассоциацией оценивания в 2011 году. Он называется «Что такое «оценивание»?» и начинается с такого определения: «Оценивание – это систематический процесс, позволяющий определить достоинства, ценность, или значимость чего-либо». Далее указывается, что существует несколько видов оценивания: оценка политик, оценка программ, оценка продуктов, оценка персонала. Но этим дело не ограничивается. Оценивание помогает выносить обоснованные суждения и принимать решения. Вынесение суждений и принятие решений присутствуют во всех сферах человеческой деятельности, поэтому оценивание может использоваться в самых разных сферах. 

Вот это и есть ответ на вопрос насчет названий профессиональных объединений. По Скривену, оценивание вообще претендует на статус «альфа-дисциплины», преобладающей над другими дисциплинами (сферами знания).

Другими словами, ответ на вопрос «Оценка чего?» выглядит так: «Оценка чего угодно!». Но это относится, скорее, к теории оценивания, науке оценивания (evaluation science), как стали часто говорить в последние годы. На практике же абсолютное большинство членов профессиональных объединений специалистов по оценке (evaluation) занимается оценкой программ, проектов и – реже – политик. Именно к этим сферам относится и большая часть публикаций. Даже в упомянутом выше документе Американской ассоциации оценивания («Что такое оценка?») все примеры взяты из сферы оценки программ социальной направленности.

пятница, 9 декабря 2022 г.

Оценка оцениваемости: мысли по поводу

Вчерашнее заседание клуба PROОЦЕНКУ, как водится, навело на размышления. 

1) Конечно же, оценка оцениваемости проекта напрямую связана с планируемой оценкой этого проекта. Если оцениваемость понимать как возможность оценить проект надежным и заслуживающим доверия способом, то многое будет зависеть от того, что именно мы хотим узнать о проекте в рамках планируемой оценки. Ключевое значение здесь будут иметь вопросы, на которые надо ответить в рамках оценки. Оценивать оцениваемость надо с учетом этих вопросов. 

Например, если мы хотим узнать мнение благополучателей о проведенных мероприятиях, то нам нужно будет обратиться к этим людям. В случае, если их контактной информации нет, мы не сможем этого сделать. То есть, с оцениваемостью здесь явно будут проблемы. 

Рассмотрим другой пример. Допустим, вопрос задания на проведение оценки звучит так: «В какой мере достигнута цель проекта?». Мы обращаемся к проектной документации и обнаруживаем, что цель сформулирована расплывчато либо вовсе отсутствует. Ответить на вопрос о её достижении в этом случае весьма проблематично. Следовательно, оцениваемость низкая по данному параметру. Но в этом же проекте может получиться так, что контакты благополучателей имеются, и выяснить их мнение о мероприятиях проекта вполне возможно. Если соответствующий вопрос в задании есть, то оцениваемость по этому параметру – высокая. 

Говорить об оцениваемости можно только в том случае, когда мы понимаем, какие аспекты проекта мы хотим оценивать, на какие вопросы мы собираемся получить ответ в ходе планируемой оценки проекта.

2) Если понимать ОО как возможность оценить проект надежным и заслуживающим доверия способом, то рассмотрение в рамках ОО будущего использования результатов планируемой оценки проекта (один из трех ключевых компонентов ОО) вызывает вопросы. Легко можно представить себе ситуацию, когда дизайн проекта будет хорошо обоснован; вся информация, необходимая для ответов на вопросы задания на проведение оценки проекта, будет доступна; но при этом оценка будет никому не нужна. То есть, возможность оценить проект точно имеется (это как раз и есть оцениваемость!), но вот результаты этой оценки никто использовать не собирается. Конечно, в этом случае проводить оценку нет смысла. Но проект-то вполне себе оцениваемый!

Если оценка оцениваемости проекта обязательно должна включать анализ использования результатов запланированной оценки проекта, то, возможно, «оценка оцениваемости» - не совсем точное название. Либо не нужно этот компонент включать в ОО. 

3) Оценку оцениваемости выделили в качестве отдельного направления специалисты Американского общества оценочных исследований в 70-е годы прошлого века. Это было объединение специалистов академического профиля, ориентированных именно на исследования. Говорят, что в те времена продолжительность ОО могла составлять от двух недель до года! Сегодня максимальная продолжительность ОО сократилась до 4 месяцев, минимальная – до двух дней, а средняя составляет одну неделю. Такое сокращение, на мой взгляд, неслучайно. 

Думаю, дело идет к тому, что ОО будет интегрирована в дизайн проектов и в оценку проектов, «растворится» в них, станет их частью. При этом все методологические наработки в сфере ОО, естественно, пригодятся.

среда, 30 ноября 2022 г.

Оценка оцениваемости

В следующий четверг с 16.00 до 17.30 пройдет онлайновое заседание клуба PROОЦЕНКУ (регистрация здесь) на тему «Оценка оцениваемости» (ОО). На заседание приглашен Том Грейсон, бывший президент Американской ассоциации оценивания. 

Данная публикация предназначена, в первую очередь, для тех, кто собирается прийти на это заседание и хотел бы заранее в общих чертах ознакомиться с его темой. 

Оцениваемость проекта характеризует возможность оценить этот проект надежным и заслуживающим доверия способом. Говорят, что ОО выделилась как отдельное направление в оценке в США в 70-е годы прошлого века, а затем получила более широкое распространение в начале 2000-х, в первую очередь, в структурах ООН и организациях, занимающихся международным развитием. 

В самом общем случае в рамках ОО рассматриваются: теория изменений, доступность данных, и круг заинтересованных сторон, мнения которых следует учесть при проведении оценки. ОО помогает усовершенствовать дизайн проекта, выстроить систему мониторинга и оценки, а также сформировать задание на проведение оценки. 

Соответственно, ОО может включать:

  1. Анализ оцениваемости «в принципе», с учетом природы теории изменений проекта или программы.
  2. Анализ оцениваемости «на практике» с учетом наличия соответствующих данных и возможностей систем управления, позволяющих их получить.
  3. Вынесение суждения о потенциальной полезности и практичности оценки с учетом мнений и доступности основных заинтересованных сторон.

Выделение ОО как особого вида оценивания, на мой взгляд, связано с тем, что в процессе разработки проектов мониторинг и оценка зачастую не рассматриваются как часть системы управления проектом. Когда же дело доходит до оценки, оказывается, что важные данные по ходу проекта не собирали (например, никто не получал «обратную связь» от участников мероприятий), ключевые источники информации недоступны (например, нет контактной информации благополучателей проекта), а имеющиеся показатели не связаны с ключевыми элементами теории изменений проекта. Отсутствие связи показателей с теорией изменений может объясняться тем, что сама теория изменений не продумана, а то, что описано в проектной документации, не вполне соответствует замыслу исполнителей проекта. 

Полагаю, что в оценке оцениваемости не было бы необходимости, если бы все проекты разрабатывались с учетом того, что их необходимо оценивать. 

В нашей стране спроса на ОО сегодня нет. Никто пока не готов выделять деньги на то, чтобы понять, можно ли оценить тот или иной проект и с какими трудностями можно при этом столкнуться. Однако во многих случаях внешняя оценка включает элементы ОО. Может быть, так и должно быть? 

Публикаций по оценке оцениваемости на русском языке пока нет. Но есть на английском 😊 

среда, 23 ноября 2022 г.

Как должен выглядеть отчет по результатам оценки проекта или программы

Сразу оговорюсь, что речь идет об эмпирической оценке, по результатам которой принято готовить отчет. Классификацию видов оценивания можно найти здесь.

На основе накопленного опыта мы пришли к следующему определению: «Хороший отчет по результатам оценки – это документ, в котором в удобном для читателя виде представлены ответы на вопросы задания, основанные на собранных в процессе оценки эмпирических данных»

В этом определении важны все составляющие: 

  1. Оценка призвана дать ответы на вопросы, включенные в задание. Отчет должен содержать эти ответы. Основная часть отчета должна быть структурирована в соответствии с вопросами. 
  2. Эмпирическая оценка предполагает, что ответы на вопросы задания появляются в результате систематического сбора и анализа эмпирических данных. Следовательно, в отчете должны быть приведены собранные данные и показан путь от этих данных к ответам на вопросы. 
  3. Оценка проводится для тех, кто ставит задачу и будет пользоваться полученными результатами. Именно эти люди будут читателями отчета. Значит, отчет должен быть максимально «дружелюбным» по отношению к читателю. Там должно быть легко найти и понять всё, что нужно пользователям результатов оценки. 

На последнем пункте хотел бы остановиться чуть подробнее. Первоначально отчеты по результатам оценки принято было оформлять в академической традиции. Подробно с правилами оформления таких отчетов можно ознакомиться в межгосударственном стандарте ГОСТ 7.32-2017

Согласно этому стандарту, структурными элементами отчета о НИР являются: 

  • титульный лист; 
  • список исполнителей; 
  • реферат; 
  • содержание; 
  • термины и определения; 
  • перечень сокращений и обозначений; 
  • введение; 
  • основная часть отчета о НИР; 
  • заключение; 
  • список использованных источников; 
  • приложения.

Соответственно, результатом оценки становился многостраничный текстовый документ с иллюстрациями и приложениями. Ходили устойчивые слухи о том, что главные пользователи таких отчетов - те, кому нужны были ответы на вопросы задания - читали в них только реферат (по-английски – executive summary), где кратко излагалось все содержание отчета. 

Когда появился PowerPoint, в дополнение к письменному отчету стали просить сделать презентацию. Пользователи результатов оценки стали выделять время на то, чтобы выслушать презентацию и… перестали читать даже реферат. При необходимости они обращались к презентации. 

Сегодня все идет к тому, чтобы в качестве отчета оставлять только достаточно подробную презентацию. Это существенно сокращает время подготовки отчета и экономит деньги заказчика оценки (если оценка внешняя). Многостраничные текстовые документы уходят в прошлое.

среда, 16 ноября 2022 г.

Всегда ли прав клиент?

Внешняя оценка – это разновидность консультационных услуг. Со всеми вытекающими последствиями. Одно из важнейших – степень удовлетворенности клиента как критерий качества оказанной услуги. Клиент, как правило, – это руководитель организации, которая заказывает проведение внешней оценки. Это либо организация-донор, которая оценивает поддержанный ею проект; либо сама организация, выполняющая проект. 

Основа качественной услуги – это доверительные отношения между консультантом и клиентом, которые в психологии называют специальным термином «раппорт». Если такой контакт установить не удаётся, а контракт на проведение оценки все равно заключается, то неправы оба: и консультант, и клиент. 

При постановке задачи на проведение оценки правило «клиент всегда прав» работает в том смысле, что оценка должна быть ориентирована на информационные потребности клиента. Но при этом у консультанта не должно возникать проблем, связанных с соблюдением профессиональных стандартов, принципов и этики. Например, если ставится задача провести оценку с заранее известным результатом, то клиент неправ. 

При планировании оценки клиент будет совершенно прав, если попросит консультанта обосновать выбор тех или иных методов и инструментов, укажет на существующие ограничения. Но он будет неправ, если станет «продавливать» использование определенных подходов несмотря на обоснованную аргументацию их недостатков со стороны консультанта. Например, бывают такие группы, узнать мнение которых необходимо, но сделать это с помощью анкетирования невозможно в силу особенностей групповой культуры и/или специфики поставленных вопросов.

При проведении оценки клиент будет прав, если сделает все необходимое для обеспечения доступа консультанта к согласованным с ним источникам информации и для создания благоприятных условий для получения такой информации. Соответственно, если клиент, к примеру, будет настаивать на том, чтобы он сам либо его представитель сопровождали консультанта во время проведения интервью, то это не будет способствовать созданию благоприятных условий. В этом случае клиент будет неправ. 

Клиент будет прав, если попросит регулярно информировать его о ходе оценки. Но он будет сильно неправ, если станет настаивать на том, чтобы консультант делился выводами и рекомендациями до того, как будут завершены сбор и анализ информации. Известно, что выводы, сделанные на основе неполных данных, очень часто оказываются ошибочными. 

Чаще всего, клиент не стремится активно участвовать в анализе данных. Но он будет прав, если предложит свою помощь в обсуждении и интерпретации полученных данных. Естественно, для этого, данные должны быть обработаны и представлены в удобном для обсуждения виде. Обычно такое обсуждение происходит в момент представления клиенту проекта отчета по результатам оценки. Тогда же обсуждаются выводы и рекомендации. Клиент будет неправ, если станет требовать от консультанта включить в отчет выводы либо рекомендации, с которыми консультант не согласен. 

Таким образом, клиент бывает прав не всегда. А конструктивное разрешение возникающих в ходе оценки противоречий зависит от того, с чего я начал, а именно от установления и поддержания позитивных доверительных отношений между клиентом и консультантом по оценке. 

PS Люди, занятые в сфере услуг, давно усомнились в формуле «клиент всегда прав». Они утверждают, что ее нельзя понимать и применять буквально: «Слова «клиент всегда прав» означают, что, заведение должно делать всё, чего он пожелает, сотрудники не должны иметь ни мнения, ни достоинства, и в любых конфликтах всегда являются побежденной стороной. Естественно, при воплощении в жизнь эта фраза убивает заведение, и по злой иронии делает обслуживание хуже». 

вторник, 1 ноября 2022 г.

Откуда берутся критерии

На мой взгляд, критерии при проведении оценки необходимы в двух случаях: 
1) когда оценка включает элемент сравнения, в том числе, проверку на соответствие (это сравнение с имеющимися требованиями, нормами, стандартами),
2) когда необходимо вынести суждение о такой характеристике объекта оценки, определение которой не является общепринятым либо очевидным.

Например, если нужно выбрать (сравнение!) лучшие заявки из многих, необходимо четко сформулировать критерии, на основании которых мы будем делать выбор. Но здесь сразу же возникает и второй вопрос: является ли понятие "лучшая заявка" общепринятым или очевидным? 

Если речь идет о заявках на выступление на профессиональной конференции, то критерии выбора лучших заявок определяются организаторами конференции. Вот как сформулировали такие критерии в Американской ассоциации оценки: 
  1. Соответствие теме конференции. 
  2. Значимость для участников конференции.
  3. Техническое качество заявки. 
  4. Инновационность. 
  5. Уровень обобщения. 
Очевидно, что требования к заявкам (критерии) сформулированы с учетом стратегии организации (тема), особенностей целевой группы (значимость для участников), накопленного за годы работы ассоциации опыта (техническое качество) и стремления сделать максимальный вклад в развитие дисциплины (инновационность, уровень обобщения). В конечном счете, ассоциация кровно заинтересована в том, чтобы качество всех включенных в программу конференции выступлений было максимальным. Это поддержит имидж конференции и привлечет участников в будущем. 

Подойдут ли эти критерии для других конференций? Вероятно, не все и не для всех. То есть понятие "лучшая заявка на выступление" вряд ли может стать общепринятым и будет зависеть от многих факторов. 

Рассмотрим другую задачу. Предположим, в ходе оценки необходимо оценить "качество услуг". Если обратиться к специальной литературе, то можно обнаружить несколько вариантов критериев оценки качества услуги, например, такой: 
  1. Надежность
  2. Отзывчивость
  3. Гарантии
  4. Эмпатия
  5. Материально-техническое обеспечение
Эти критерии сформированы экспертами на основании исследований и являются универсальными, то есть, по мнению авторов, подходят для любого вида услуг. 

Анализ приведенных выше и многих других примеров свидетельствует о том, что:
  • Критерии формируются заинтересованными сторонами
  • Критерии формируются с учетом цели
  • Критерии формируются с учетом контекста 
  • Критерии формируются на основании накопленного практического опыта и/или результатов научных исследований
  • Критерии в комплексе отражают сущностные характеристики объекта оценки и/или базовые требования к нему
  • Для формирования критериев чаще всего необходима экспертиза в определенной предметной области 

четверг, 27 октября 2022 г.

Критерии: информация к размышлению

"Любая попытка определить, утвердить и легитимизировать (прямо или косвенно) ограниченный набор критериев для проведения (эмпирической - АК) оценки как постоянный и обязательный, является ошибкой, потому что критерии (и ценности, на которых они основаны) должны обсуждаться применительно к каждой отдельно взятой оценке. Мы не можем преодолеть ограничения, неопределенность и непредсказуемость путей познания и способов определения ценности чего-либо, установив некоторый набор критериев как единственно правильный". 

"Как я утверждал 20 лет назад в статье «Прощание с критериологией», списки критериев являются не более чем списками либо эвристическими средствами, которые могут помочь нашему мышлению".

Обе цитаты принадлежат Тому Швандту (Schwandt, T. (2018, January 9). DAC evaluation criteria. Evaluation for Development Blog comments.)

Для справки: 

  • "Наука о критериях" или "критериология" — это отрасль теории познания, в которой считается, что суждения оцениваются путем проверки их на соответствие определенным критериям. Эти критерии определяют, какие соображения, в конечном счете, можно принимать за основания для вынесения тех или иных суждений. Критерии имеют тенденцию (неявно) направлять мышление людей при проверке и корректировке их собственных суждений" (источник)
  • "Критериология изучает обоснованность рассуждений и критериев, необходимых для определения истинности или ценности того или иного суждения, знания вообще и научного знания, в частности" (источник)

понедельник, 24 октября 2022 г.

Когда в России появилась оценка программ

На открытии конференции АСОПП Ирина Решта сделала сообщение об истории развития оценки программ в России. Сам факт такого выступления считаю знаменательным. Спасибо Ирине и организаторам конференции! Сегодняшний пост - продолжение обсуждения этого выступления. 

Думаю, что ответ на вопрос о том, когда в России появилась оценка проектов и программ социальной направленности, зависит, в первую очередь, от того, как мы определим само понятие «оценки» и какие критерии будем использовать для того, чтобы определить момент, который мы считаем её «появлением». 

«Появлением» оценки можно считать, например: 

  • наличие документально подтвержденных фактов осуществления деятельности, совпадающей по ряду признаков с тем, что мы сегодня называем "оценкой", или
  • первую публикацию об оценке социальных программ на русском языке, или
  • первый семинар по оценке программ, проведенный в России, или
  • первую оценку социальной программы, проведенную в России местными специалистами и т.д.

Очевидно, что даты появления оценки будут разными в зависимости от выбранного критерия её «появления». Например, диссертация на тему "Организационные формы и методы анализа и оценки государственных программ в США" была защищена в 1983 году в Институте США и Канады А.А.Воронковым, а в 1986 году вышла книга того же автора "Методы анализа и оценки государственных программ в США". Вам известны более ранние публикации об оценке программ на русском языке? Если нет, то можно ли отнести "появление" оценки в России к 1983 или к 1986 годам? 

Теперь об определениях. 

Если следовать известному определению Майкла Скривена, согласно которому оценка – это «определение ценности или достоинства чего-либо», то нам нужно будет признать, что оценка являлась неотъемлемой частью деятельности человека с начала времен. Наши далекие предки наверняка умели подбирать подходящие камни для изготовления примитивных орудий труда. Таким образом, в этом случае вопрос о том, когда появилась оценка, переходит в плоскость обсуждения развития первобытного человека. 

Возьмем другое широко известное определение оценки, предложенное Майклом Пэттоном: «Оценка программы – это систематический сбор информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее». Очевидно, что в этом случае оценка могла появиться лишь с появлением программ (проектов) в социальной сфере, не раньше. Не может же быть оценки программ, когда нет собственно программ. В этом случае вопрос о том, когда появилась оценка, переходит в плоскость обсуждения развития проектного/программного подхода в социальной сфере в нашей стране. Здесь тоже, кстати, есть перспектива погружения в глубину веков: вы легко найдете описания истории проектного подхода с упоминанием строительства египетских пирамид и Великой китайской стены. 

Ирина Решта в своем сообщении об истории развития оценки в России сказала о том, что становление оценки в СССР относится к 20-30 годам прошлого века. В частности, она отметила (со ссылкой на книгу Автономова и Хананашвили "Оценка социальных проектов"), что «в этот период в нашей стране происходит выработка методов оценки, внедрение их в практику, в связи с чем появилось и первое их теоретическое осмысление». Мне этот тезис кажется весьма спорным. Тем более, что сами авторы упомянутой выше книги в начале главы "Очерк развития оценки проектов" (стр.192) утверждают, что до середины ХХ века "об оценке социальных проектов и речи не могло идти, ибо проектный подход... в социальной сфере не был еще открыт, разработан и внедрен. Но ситуация постепенно стала меняться в середине XX столетия, и в 1960-е гг. наблюдается бурное развитие оценочной деятельности в отношении различного рода проектов и политики государства". Если оговориться, что это бурное развитие поначалу происходило не в нашей стране, то ни вопросов, ни возражений не возникает. 

Нам не следует пытаться превратить Россию в "родину слонов", как бы заманчиво это ни выглядело. Это не поможет, а, наоборот, будет мешать развитию оценки проектов и программ в нашей стране. К описанию исторических фактов следует относиться бережно и скрупулёзно, ведь «история - это фонарь в будущее, который светит нам из прошлого», как говорил знаменитый историк Ключевский. А интереснее всего поразмыслить именно о том, что же мы видим в будущем при свете этого фонаря...

среда, 12 октября 2022 г.

Как Вы оцениваете профессионализм

Завтра на заседании клуба PROоценку будем обсуждать оценку услуг. В числе прочего обязательно поговорим о том, что при оценке качества услуг следует разделять техническую составляющую качества услуги  (ЧТО?) и её функциональную составляющую (КАК?). 

Профессионализм людей, оказывающих услугу, их технические возможности и умения, конечно же, относится к техническому качеству услуги. Профессионализм - это "приобретенная в ходе учебной и практической деятельности способность к компетентному выполнению трудовых функций; уровень мастерства и искусности в определенном виде занятий, соответствующий уровню сложности выполняемых задач". 

Как оценить уровень профессионализма специалиста, например, врача, инженера, сотрудника банка и т.д.? Очевидно, что для этого должны быть разработаны стандарты, критерии оценки и инструменты. Разрабатывать их, конечно же, должны эксперты в соответствующей области. Более того, и для использования этих инструментов в большинстве случаев потребуется специальная экспертиза. Так для присвоения категории, соответствующей уровню профессионализма врача, "нужно пройти аттестацию, сдав квалификационный экзамен. При аттестации оценивают профессиональные знания и навыки специалиста, необходимые для выполнения должностных обязанностей. Квалификационный экзамен представляет собой экспертную оценку отчета о профессиональной деятельности врача, прохождение тестового контроля знаний и собеседования".

Может ли пациент оценить профессионализм врача, клиент банка - профессионализм своего менеджера, клиент магазина - профессионализм кассира т.д.? Вопрос риторический. В общем случае, конечно, нет. Такая оценка - удел профессионалов и проводится она на основе профессиональных стандартов. 

А теперь внимание: 

  • Как Вы оцениваете профессионализм наших сотрудников? (Отлично Хорошо Удовлетворительно Плохо) - из анкеты для клиентов компании по проектированию, строительству и обслуживанию объектов связи
  • Как Вы оцениваете профессионализм врачебного персонала Вашего отделения? (отлично,  хорошо, удовлетворительно) - из анкеты для пациентов стационара
  • Как Вы оцениваете профессионализм нашего IT специалиста по 10-балльной шкале? - из анкеты для клиентов телекоммуникационной компании
  • Как Вы оцениваете профессионализм преподавателей на занятиях, в которых Вы принимали участие? (Очень высокий, Достаточно высокий, Недостаточно высокий, Низкий) - из анкеты для слушателей учебного центра крупного предприятия
  • Как вы оцениваете профессионализм наших сотрудников? - "Топ 10 вопросов, которые нужно задать гостям своего ресторана"
О чем они спрашивают? Кого? Как они собираются использовать полученную информацию? 
Я уже не говорю о том, что профессионализм сотрудников может быть разным. В четырех из пяти приведенных выше примеров клиенту предлагается оценивать всех сотрудников разом... 

Регистрация на завтрашнее заседание клуба PROоценку открыта по ссылке. Заседание пройдет с 11.00 до 12.30 (мск.). 

четверг, 6 октября 2022 г.

Институт оценки и "оценочное мышление"

На прошлой неделе мы вместе с новосибирским ИнА-Центром провели в Москве двухдневный семинар, который в проекте "5 элемент" назывался "Институтом оценки". Такое название было придумано, чтобы подчеркнуть, что это мероприятие ориентировано на тех, кто имеет опыт проведения оценки - в отличие от "Школы оценки", на которую приглашают новичков.

Программа "Института" включала 8 тем: 

  1. "Развитие оценочного мышления"
  2. "Использование критериев в оценке"
  3. "Оценка потребностей"
  4. "Оценка социального эффекта и оценка влияния"
  5. "Наука о системах и оценка"
  6. "Использование моделей в оценке"
  7. "Оценка услуг"
  8. "Само-оценивание"

При выборе тем команда проекта руководствовалась несколькими критериями, включая  актуальность; новизну; наличие новых теоретических разработок; дискуссионность. Мы также учитывали опыт Клуба PROоценку, где некоторые из перечисленных тем затрагивались. На обсуждение каждой темы было отведено 1,5 часа.

Итоговое анкетирование  показало, что в материалах, представленных на сессии по оценочному мышлению, почти все было новым для 35% и многое было новым для 65% участников. "Коэффициент новизны" для нашей аудитории здесь оказался самым высоким. Предположу, что и для читателей этого блога данная тема тоже достаточно новая. По крайней мере, публикации на русском языке об оценочном мышлении пока крайне редки. Потому предложу вашему вниманию модель оценочного мышления, основанную на статье Майкла Пэттона (Patton, M. Q. (2018). A historical perspective on the evolution of evaluative thinking. In A. T. Vo & T. Archibald (Eds.), Evaluative Thinking. New Directions for Evaluation. 158, 11–28.) и принципы оценочного мышления, описанные в той же статье. 

Хотел бы особо подчеркнуть, что Пэттон предложил свое определение оценочного мышления (evaluative thinking) как сочетания критического, творческого, логического и практического мышления. Графический образ оценочного мышления в виде четверной спирали (см. ниже) - наша интерпретация определения Пэттона. Он с ней пока не знаком :)


В таблице ниже приведены принципы оценочного мышления от Пэттона (перевод мой).  

среда, 14 сентября 2022 г.

Дата

Сегодня Компании "Процесс Консалтинг" исполняется 30 лет!

По этому случаю хочется сказать слова благодарности... 

...Нашим клиентам за доверие, которое мы очень ценим и стараемся оправдывать; за сотрудничество, без которого у нас бы точно ничего не получилось; за возможность учиться у них и вместе с ними.

...Нашим партнерам, на которых всегда можно положиться и вместе с которыми можно находить решения самых сложных проблем. 

...Нашим зарубежным коллегам, которые на протяжении многих лет щедро делятся с нами своими знаниями и опытом. Мы обязаны им очень многим. 

...Нашим семьям, за веру в успех нашего дела и постоянную поддержку. 

Встречаем юбилей в работе, которую делаем с удовольствием. 

Искренне ваши,

среда, 7 сентября 2022 г.

Оценка потребностей: всё непросто

Завтра на очередном заседании клуба PROОЦЕНКУ будем обсуждать оценку потребностей. Любопытно, что этот вид оценивания трактуется специалистами по-разному. Многое зависит от того, как мы определяем, что такое  "потребность". В психологии принято считать, что это "состояние индивида, создаваемое испытываемой им нуждой в объектах, необходимых для его существования и развития, и выступающее источником его активности". В принципе, это может быть отнесено и к группе. В литературе по менеджменту широко распространено такое определение: "Потребность в самом простом смысле — это измеримый разрыв между двумя состояниями — тем, что есть сейчас, и тем, что должно быть". Все соглашаются, что потребности имеют разную степень значимости, то есть существует некая иерархия потребностей. При этом в литературе по менеджменту предлагается определять приоритетность потребностей путем сравнения (а) затрат, связанных с удовлетворением потребностей (или устранением разрыва между желаемым и действительным), и (б) затрат в ситуации неудовлетворения потребностей (или сохранения этого разрыва). Очевидно, такой подход не вполне коррелирует с известной пирамидой потребностей Маслоу (говорят, что он никогда про пирамиду не писал, кстати).
Соответственно, оценка потребностей в одних случаях выглядит как комплексный анализ проблемной ситуации, а в других как выявление несоответствий между желаемым и действительным. А ведь еще бывают осознаваемые и неосознаваемые потребности... Как с этим быть? В общем, разговор завтра обещает быть интересным. 
Еще можно зарегистрироваться для участия в заседании по этой ссылке.

понедельник, 11 июля 2022 г.

Мониторинговый визит

Из самого названия визита понятно, что он проводится в рамках мониторинга программы или проекта. Мониторинг предполагает регулярное отслеживание и фиксацию того, что происходит в проекте. Другими словами, это процесс регулярного и систематического сбора информации по всем ключевым аспектам проекта. 

Важная традиционная составляющая мониторинга - это сбор информации о значениях заранее выбранных показателей для обеспечения руководителей программы (проекта) и других заинтересованных сторон сведениями о том, насколько успешно выполняются программа (проект) в целом и ее (его) отдельные компоненты, в какой мере достигаются поставленные цели, и как используются ресурсы. Можно ли считать, что мониторинг - это исключительно про показатели? Если система мониторинга предполагает проведение мониторинговых визитов, то точно нельзя, поскольку мониторинговый визит - это точно не про показатели. Конечно, во время таких визитов происходит сбор информации о ходе и результатах проектов и программ, а также об организациях-исполнителях. Но собираемые данные носят преимущественно описательный характер и никак не сводятся к значениями показателей. Мы проводим мониторинговый визит, чтобы своими глазами увидеть, как идут дела, чтобы поговорить с исполнителями проекта и благополучателями. 

Таким образом, мониторинговый визит является не чем иным как эмпирической оценкой, он дополняет сведения о значениях показателей результатами наблюдения и интервью. Это значит, что планировать и проводить мониторинговый визит следует по правилам эмпирической оценки (не индикаторной!): сформулировать вопросы, на которые необходимо получить ответы; определить источники и методы получения необходимой для этого информации; подготовить соответствующие инструменты; собрать и проанализировать данные; подготовить отчет. Если этим правилам не следовать, то есть риск не узнать то, что нужно, и результаты мониторингового визита окажутся не столь полезными, как могли бы.

понедельник, 27 июня 2022 г.

Экспертиза заявок и принятие решений о финансировании

Общепринятый подход к экспертизе заявок на получение гранта предполагает, что каждая заявка оценивается специально подобранными экспертами по ряду критериев, предложенных финансирующей организацией. Для оценки заявок эксперты пользуются шкалами, которые позволяют выразить их мнение о степени соответствия заявки тому или иному критерию: по каждому критерию эксперт выставляет определенный балл.  Зачастую по результатам оценки каждой заявки эксперту также предлагается сделать вывод о качестве замысла проекта в целом и целесообразности его финансирования, например, «проект хороший и рекомендуется к поддержке» или «проект неудачный и не рекомендуется к поддержке». Встречается также вариант, в котором эксперт может указать на то, что в замысле проекта есть недочеты, которые не позволяют однозначно рекомендовать поддержать либо отвергнуть его. Значение оценки эксперта по заявке, как правило, рассчитывается автоматически: общая сумма баллов, присвоенных заявке по каждому критерию, умножается на коэффициент значимости этого критерия. После этого вычисляется общая сумма баллов, которую получила заявка.

Предлагаю к обсуждению 2 вопроса: 

  • Чем должна заканчиваться работа эксперта: вынесением суждения или выставлением баллов? 
  • Что должен содержать вывод эксперта по заявке? 

Вероятно, ни у кого не вызовет возражений утверждение о том, что зона ответственности эксперта грантового конкурса заканчивается вынесением суждения о проекте. Это суждение основывается на знаниях и практическом опыте эксперта и выносится на основании внимательного изучения замысла проекта (заявки). Соответственно, главный вопрос к эксперту состоит не в том, сколько баллов он выставляет, скажем,  по критерию «Актуальность», а в том, насколько актуален проект с его точки зрения. Это означает, что эксперту должна быть предложена шкала, каждое деление которой имеет развернутое описание. Эксперт соотносит свое мнение о проекте с этими описаниями и выбирает то, которое точнее всего соответствует его позиции. Если таких описаний не будет, а эксперту будет просто предложено оценить заявку по 9-балльной шкале, каждый эксперт будет трактовать отличия, скажем, оценки 6 от оценки 7 по своему усмотрению, и результаты экспертизы, проведенной разными людьми, окажутся не вполне совместимыми. Более того, в этом случае мнение эксперта весьма сложно обсудить либо оспорить, т.к. оценка будет основана на его видении шкалы.

Если шкала содержит соответствующие описания, то возникает следующий вопрос: нужны ли эксперту числа? Ведь числа – это формальный шаг, который позволяет автоматически «оцифровать» содержательное суждение. Задача эксперта – вынести такое суждение. Задача финансирующей организации – оцифровать его. Нужно ли эксперту знать, по какой формуле происходит «оцифровка» и сколько баллов в итоге наберет проект, который он оценивает? 

Теперь об общем выводе, который делает эксперт. Он должен касаться качества замысла проекта и вероятности его успешной реализации. Рекомендация о том, следует ли финансирующей организации поддержать проект, лежит за пределами зоны ответственности эксперта. Другими словами, работа эксперта должна завершаться суждением о том, что «проект – хороший» или не вполне. Наделять же эксперта полномочиями, связанными с решением о финансировании, на мой взгляд, не вполне корректно. Представьте себе на секунду, что приглашенный в судебное заседание эксперт-психолог после представления психологического портрета подсудимого, даст рекомендацию присяжным относительно их вердикта.

четверг, 16 июня 2022 г.

Независимая оценка

Вчера на вебинаре Майкл Пэттон поделился мыслями о т.н. "независимой оценке". Дело в том, что многие крупные организации создают подразделения с такими названиями (см., например, Группу независимой оценки Всемирного банка). Считается, что придание независимого статуса повышает доверие к результатам проводимой такими подразделениями оценки и достоверность этих результатов. 

Пэттон считает, что все, что даёт независимость - это отсутствие зависимости :), дистанцирование. По его мнению, это никак не повышает ни доверия к результатам, ни их достоверности. Напротив, взаимозависимость (interdependence) может существенно повысить доверие к результатам оценки, которую проводят не те, кто дистанцирован от проекта и никак от него не зависят, а те, кто действительно заботятся о проекте, связаны с проектом и кому проект небезразличен. 

Я к этому хотел бы добавить, что независимой оценки не бывает, в принципе. Люди, проводящие оценку всегда от кого-то и от чего-то зависят. Например, от тех, кто им платит деньги. 

вторник, 7 июня 2022 г.

Принципы само-оценивания

Принципы, регламентирующие ту или иную сферу профессиональной деятельности, определяют поведение представителей профессии в значимых повторяющихся ситуациях. Такие принципы формируются на основе живого опыта как результат достижения согласия между представителями профессии по поводу того, как следует себя вести в ситуациях сложного выбора. 

В нашей стране существуют Принципы оценки программ и политик, разработанные Ассоциацией специалистов по оценке программ и политик (АСОПП) и опубликованные в 2017 году. В числе этих принципов:  

  1. Ориентация на практическое использование результатов оценки
  2. Компетентность исполнителей 
  3. Корректность методологии 
  4. Открытость 
  5. Безопасность 
  6. Адаптивность

Принципы разработаны с учетом того, что в оценке – в общем случае – могут принимать участие три стороны:

  • Заказчик – представитель организации, которая инициирует оценку, ставит задачу на ее проведение и будет основным пользователем ее результатов.
  • Специалист по оценке – человек, который привлекается Заказчиком для проведения оценки.
  • Участники оценки – люди, которые в ходе оценки предоставляют информацию, и зачастую являются сотрудниками или руководителями программ, являющихся объектом оценки.

Соответственно, каждый принцип сопровождается рекомендациями для каждой из трех перечисленных выше сторон. Это, по мнению разработчиков, позволяет сделать принципы полезными для всех сторон, включенных в проведение оценки программ и политик.

Но как быть в случае, когда проводится само-оценивание, самый распространенный вид оценки проектов и программ? Ведь именно в такой ситуации чаще всего находятся некоммерческие организации. 

Вот лишь несколько особенностей само-оценивания: 

  • Заказчиками и исполнителями оценки в этом случае являются сами сотрудники организации. Более того, зачастую они окажутся и в числе участников оценки, обладающих необходимой информацией о проекте. Естественно, они же будут использовать результаты оценки. 
  • Имеет ли в таком случае смысл делать особый акцент на ориентации на практическое использование результатов оценки? Вряд ли кто-то станет тратить время и силы на проведение работ, результаты которых никому в организации не нужны. Или все-таки нужно изначально подумать о практическом использовании результатов?
  • Среди сотрудников организации чаще всего не окажется людей, являющихся экспертами в сфере оценки. Какие требования в таком случае можно предъявлять к компетентности исполнителей и корректности методологии? С другой стороны, если методология не вполне корректна, результатам оцени нельзя доверять. 
  • Принцип безопасности гласит: «Оценка должна проводиться с уважением достоинства всех ее участников независимо от их роли, социального статуса и индивидуальных особенностей. При проведении оценки следует учитывать возможные негативные последствия, которые она может иметь как для отдельных людей, так и для организаций. Риск возможных негативных последствий должен быть сведен к минимуму, а участники оценки должны быть о них проинформированы». Замените здесь «оценку» на «само-оценивание». О каких негативных последствиях может идти речь? Кого предупреждать о рисках – самих себя? Или все же риски имеются? 

В общем, здесь есть, что обсудить. Именно поэтому на ближайшем заседании клуба PROОЦЕНКУ будем говорить о практическом применении принципов оценки в ситуации само-оценивания. Заседание пройдет онлайн в четверг 9 июня с 11.00 до 12.30 мск. Участие бесплатное. Регистрация участников здесь. Приходите! Интересная беседа в хорошей компании, как всегда, гарантируется 😊

четверг, 2 июня 2022 г.

О пользе теорий в оценке программ

Отличия оценки программ от исследования хорошо известны: методы используются одни и те же, но это разные жанры. Исследования ориентированы на получение нового знания, а оценка – на поддержку принятия решений. При этом результаты некоторых исследований могут очень пригодиться при проведении оценки. 
Рассмотрим пример. 
Допустим, вы проводите оценку программы, связанной с развитием взаимодействий между людьми или организациями. Анализ взаимодействий показал (использована  методика Social Network Analysis), что существует группа, взаимодействия внутри которой намного интенсивнее, чем взаимодействия между остальными участниками данной социальной сети – как показано на рисунке. Вероятно, на основе полученных данных вы сможете объяснить, почему так получилось в данном случае. Но хорошо это или плохо? Можно ли что-то сказать о перспективах развития данной социальной сети? Здесь на помощь может прийти теория развития социальных сетей, предложенная Кребсом и Холи (Krebs, Valdis & Holley, June. (2006). Building smart communities through network weaving. Appalachian Center for Economic Networks.). Данная теория говорит о том, что конфигурация «ядро – периферия», представленная на рисунке, является признаком высокого уровня развития социальной сети и свидетельствует о её устойчивости. 
Точно так же результаты исследований в сфере внедрения инноваций могут оказаться полезными при оценке инновационных программ (см. здесь), результаты исследований в сфере организационного развития – при оценке программ развития организаций, результаты психологических исследований – при оценке программ психологической помощи и т.д. Научное знание может быть полезно для осмысления результатов оценки конкретной программы. 

четверг, 26 мая 2022 г.

Оценочное мышление

Вообще-то, психологи говорят, что нам всем надо учиться безоценочному мышлению… Например, бизнес-тренер и life-коуч Александр Печерский считает, что «есть «оценочное мышление» и есть «безоценочное мышление». Первое – сужает наши представления, ограничивает, обедняет нашу жизнь, второе – расширяет и обогащает». 
В то же время специалисты по оценке уже давно говорят о том, что для успешного внедрения оценки в деятельность организаций необходимо формировать у сотрудников оценочное мышление. А как же психология? 
Кажущееся противоречие связано с тем, что в первом случае понятия «оценочный» и «безоценочный» являются переводом английских слов judgmental и non-judgmental. Буквально их можно еще перевести как «осуждающий, склонный к осуждению» и, наоборот, «не склонный судить либо осуждать». 
Во втором же случае «оценочное мышление» является переводом английского evaluative thinking. Корень слова «оценочный» (evaluative) в данном случае – «ценность» (value). Точно так же и оценку (evaluation)  проектов и программ следует понимать, скорее, как «определение их ценности». 
Одно из наиболее часто используемых определений оценочного мышления выглядит так: 
"Оценочное мышление — это критическое мышление, применяемое в контексте оценки и обусловленное любознательностью и верой в ценность доказательств. Оценочное мышление включает выявление предположений и допущений, вдумчивую постановку вопросов, стремление к более глубокому пониманию через рефлексию и анализ с разных позиций, а также обоснование решений при подготовке к действиям." (Buckley, J., Archibald, T., Hargraves, M., & Trochim, W. M. (2015). Defining and teaching evaluative thinking: Insights from research on critical thinking. American Journal of Evaluation, 36(3), 375-388.)
"Критическое мышление (critical thinking) — это интеллектуально дисциплинированный процесс активного и умелого осмысления, применения, анализа, синтеза и/или оценки информации, собранной или полученной в результате наблюдения, приобретения живого опыта, размышлений, рассуждений или общения, в качестве основания для формирования убеждений либо руководства к действию. В своей образцовой форме критическое мышление основано на универсальных интеллектуальных ценностях: ясность, точность, четкость, последовательность, актуальность, веские доказательства, веские причины, глубина, широта и справедливость." 

среда, 18 мая 2022 г.

Размышления по итогам вчерашнего заседания клуба PROОЦЕНКУ

Вчера на клубе говорили об оценке с участием заинтересованных сторон. Наметилось несколько тем для дальнейшего размышления. 

  • В основе оценки с участием лежит признание субъектности представителей заинтересованных сторон, т.е. признание их активности, способности к развитию и интеграции, самоопределению, саморегуляции, самодвижению и самосовершенствованию (по определению С.Л.Рубинштейна). Путь к такому признанию может оказаться непростым, а последствия его – не вполне предсказуемыми.
  • Очевидно, что степень участия заинтересованных сторон может быть разной. То есть получается такой континуум: от полной ответственности группы представителей заинтересованных сторон за проведение всех этапов оценки (это 100% оценка с участием) до полной ответственности внешнего консультанта за проведение всех этапов оценки с использованием представителей некоторых заинтересованных сторон лишь в качестве источников информации (это 100% «традиционная» внешняя оценка). В общем случае оценка будет где-то между этими полюсами. 
  • Использование внешним консультантом избранных представителей заинтересованных сторон лишь в качестве источников информации не является в данном контексте «участием» заинтересованных сторон в оценке. При этом включение некоторых категорий заинтересованных сторон даже в качестве источников информации может, конечно, оказаться достаточно революционным шагом, если речь, например, идет о детях или людях с ментальными особенностями.
  • Судя по всему, участие заинтересованных сторон зачастую происходит на этапе анализа данных. Это помогает, как минимум, найти правильные интерпретации полученных данных. Существует много техник коллективного анализа данных, которые делают это процесс эффективным и увлекательным для всех участников. С примерами таких техник можно познакомиться в этом пособии (англ.). 
  • Если внешний консультант предполагает использовать элементы оценки с участием, например, привлечь представителей заинтересованных сторон к анализу данных, то это необходимо прежде согласовать с заказчиком оценки. Такой шаг для некоторых заказчиков может серьезно скомпрометировать результаты оценки.
  • Оценка с участием органично переходит в планирование действий. Если люди сами оценивают программу, то они же и решают, что и как делать по результатам оценки. В связи с этим они должны быть наделены соответствующими полномочиями и понимать свою ответственность за принимаемые решения. 

среда, 4 мая 2022 г.

Оценка с участием заинтересованных сторон

Идея этого подхода заключается в том, чтобы в проведение оценки программы или проекта – от начала и до конца – были вовлечены представители всех сторон, заинтересованных в программе или проекте. Под началом понимается постановка задачи на проведение оценки, включающая формулирование вопросов, на которые необходимо ответить. И далее – поэтапно – дизайн оценки, сбор данных, анализ данных, подготовка отчета по результатам. Заинтересованные стороны – это благополучатели, исполнители программы, представители местного сообщества и т.д. Проведение оценки с участием (participatory evaluation) зачастую завершается переходом к практическим действиям – немедленному использованию полученных результатов теми, кто оценку проводил. 

Говорят, что традиции оценки с участием были заложены исследователями еще в 19 веке. Среди исследователей, имевших отношение к формированию философских основ оценки с участием, называют, в частности, К.Маркса и Ф.Энгельса. Активное развитие оценки с участием как инструмента началось во второй половине прошлого века в рамках инициатив по совершенствованию организаций и для налаживания взаимодействия между менеджментом и работниками. Таким образом, к моменту выделения оценки программ как отдельной дисциплины и сферы практической деятельности, оценка с участием уже была известна в сфере организационного развития (Brisolara, S., 1998. The history of participatory evaluation and current debates in the field. New Directions for Evaluation 1998, 25–41.. doi:10.1002/ev.1115). 

К концу прошлого века оценка программ с участием заинтересованных сторон стала широко известным подходом и приобрела много сторонников. Тем не менее, дискуссии вокруг возможностей ее использования, ее преимуществах и ограничениях продолжаются и по сей день. 

Критики, например, говорят о том, что оценка проводится людьми, не имеющими должной подготовки и предвзято относящимися к объекту оценки. Доходит даже до того, что оценку с участием называют «замаскированной под оценку инициативой по развитию местного сообщества», что (по мнению критиков подхода) в корне неприемлемо, т.к. оценка должна быть лишь источником информации, давать объективную картину происходящего – не более. 

Радикально настроенные сторонники подхода продвигают идею вовлечения в оценку любых целевых групп, включая, например, детей или людей с ментальными особенностями. Для того, чтобы процесс оценки с участием проходил организованно, предлагается использовать внешнего консультанта, который является для исполнителей оценки и источником знаний, и фасилитатором.

На следующем заседании клуба PROОЦЕНКУ планируется поговорить об оценке с участием. Заседание пройдет онлайн во вторник 17 мая с 11.00 до 12.30 мск. Объявление о регистрации участников будет размещено в телеграмм-каналах «Проектирование и оценка в социальной сфере» и «5 элемент» в ближайшие дни. 

вторник, 26 апреля 2022 г.

Карта результатов и карта бизнес-процессов

«Цепочка ожидаемых результатов» и «карта ожидаемых результатов» - широко известные способы представления замысла проекта. Карта результатов – неотъемлемая часть теории изменений, лежащей в основе замысла проекта. Цепочка или карта результатов показывают, каким образом действия в рамках проекта приводят к достижению стратегической цели проекта. 

С более подробным описанием карты результатов социально-ориентированного проекта можно ознакомиться по приведенной выше ссылке и во многих других русскоязычных и зарубежных публикациях. 

Вот так может выглядеть карта результатов для программы повышения качества обслуживания. 



Составление карт бизнес-процессов применительно к НКО и к социально-ориентированным проектам обсуждается гораздо реже. Оговоримся сразу, что, если «бизнес» понимать как «дело», любое ДЕЛО, то не существует никаких противопоказаний к использованию инструментария из сферы управления бизнес-процессами в НКО.

Бизнес-процесс – это полная совокупность действий, приводящая к достижению ценного, с точки зрения заказчика, результата или предоставлению услуги. Внешнее сходство с определением «карты результатов» очевидно. Есть даже такое понятие как «карта бизнес-процессов», которая  «крупными мазками» показывает, как работает бизнес. Точно так же, как «карта результатов» показывает, как работает та или иная социальная инициатива. 

Но между картой процессов и картой результатов есть, конечно, целый ряд принципиальных отличий. Начнем с того, что в одном случае акцент делается на цепочки результатов, а в другом – на цепочки действий. Важно также отметить, что в «карте результатов» предполагается, что совершение некой совокупности действий «запускает» цепочки результатов. Аналогия - костяшки домино, расставленные в определенном порядке, которые начинают последовательно падать, если толкнуть первую. 

Еще одно существенное отличие: карта результатов формируется в отношении достижения главного результата, того, что в управлении бизнес-процессами называют ценностью для клиента. Это ценность создается так называемыми «основными процессами». При описании же бизнес-процессов кроме основных принято отдельно рассматривать:  

  • вспомогательные (или обеспечивающие) процессы, которые предназначены для поддержки основных, обычно через управление ресурсами и/или инфраструктурой, необходимых основным процессам. Разница между основными и вспомогательными процессами в том, что вспомогательные процессы непосредственно не создают ценность для потребителя. 
  • процессы управления, которые предназначены для измерения, мониторинга и контроля деятельности.

Вот так может выглядеть карта процессов торговой компании 

Управление бизнес-процессами (Business Process Management, BPM) – это концепция управления, увязывающая стратегию и цели организации с ожиданиями и потребностями клиентов путем соответствующей организации сквозных процессов. Наверное, можно сказать, что карта результатов ближе к стратегии (теории ДЕЛА, как говаривал гуру менеджмента Питер Друкер), а карта бизнес-процессов к тому, как это ДЕЛО работает. 

В любом случае тут есть, о чем поразмышлять. 

В этой публикации использованы материалы из «Свода знаний по управлению бизнес-процессами» , который я рекомендую как базовую публикацию для всех интересующихся. 

среда, 20 апреля 2022 г.

Самое сложное в оценке

Вчера в Telegram-канале проекта «5 элемент»  был открыт онлайновый опрос подписчиков. Предлагается ответить лишь на один вопрос: «Что Вы считаете в оценке самым сложным?».

Я решил провести небольшое исследование, чтобы посмотреть, что называют самым сложным в англоязычных публикациях по оценке программ и проектов. Использовал Google и рассмотрел первые 17 результатов поиска (первые две страницы). Обнаружил следующее: 

  1. В нескольких публикациях речь идет об атрибуции. То есть самым сложным в оценке называют определение ценности программы на фоне других факторов, повлиявших на ситуацию. Другими словами, это обоснование причинно-следственной связи между программой и произошедшими позитивными изменениями либо предотвращенными негативными изменениями. Пример
  2. В одном случае самым сложным назвали стоимостной анализ эффективности услуг, монетизацию социальных эффектов. Ссылка.  
  3. И еще в одном случае утверждается, что самое сложное в оценке – это решить, что измерять и каким образом. Ссылка.

Интересно, что во всех случаях утверждение о том, что именно является самым сложным в оценке, предваряет достаточно подробные рекомендации по преодолению этой сложности. И это, конечно, отличная новость 😉

пятница, 15 апреля 2022 г.

О пользе процесса

Когда идет речь о полезной оценке проектов и программ, в первую очередь говорят, конечно, об использовании результатов оценки. Между тем, и процесс оценки может быть весьма полезен во многих отношениях. 

На вчерашнем заседании клуба PROОЦЕНКУ в числе прочего обсуждали возможность взаимодействия между экспертами, оценивающими проектную заявку, и заявителями, которые эту заявку составили. Все знают, что возможности такого взаимодействия, как правило, очень ограничены – по вполне понятным причинам. Однако, если бы общение между экспертом и заявителями  было возможно, это могло бы способствовать развитию потенциала заявителей. Скажем, эксперт мог бы пояснить, как он оценивал заявку и почему выставил те или иные оценки. Можно даже представить, что эксперт по ходу оценки мог бы обращаться к заявителям с вопросами. Подобное общение в процессе оценки сделало бы этот процесс более полезным для заявителей. 

При проведении эмпирической оценки возможности получения пользы от процесса (по-английски process use of evaluation) существенно больше. В частности, в ходе оценки могут быть прояснены многие вопросы и достигнуто лучшее взаимопонимание между членами команды проекта. Например, в процессе группового интервью, которое проводится внешним консультантом в рамках сбора информации о проекте, могут уточняться приоритеты проекта и связь проекта со стратегией организации. Таким образом, разговор с командой проекта, с одной стороны, поможет получить нужные сведения, а с другой стороны, поможет самим участникам проекта прояснить важные вещи. 

Если оценка проводится с активным участием команды проекта (participatory evaluation), процесс оценки позволит команде проекта научиться чему-то новому, повысить свой потенциал в сфере оценки. 

В списке контрольных вопросов, относящихся к оценке, ориентированной на практическое использование (Utilization-Focused Evaluation Checklist), Майкл Пэттон предлагает рассмотреть возможности использования процесса оценки уже на стадии планирования и предусмотреть такое использование, если обстоятельства позволят. Отличная идея! 

среда, 6 апреля 2022 г.

Нужно ли давать рекомендации по результатам оценки проекта или программы?

По этому поводу существуют две противоположные позиции. Они связаны с пониманием сущности оценки и границ жанра. Обе позиции достаточно широко известны, поскольку связаны с именами двух гуру оценки Майкла Скривена и Майкла Пэттона.

Позиция Пэттона: оценка должна быть ориентирована на использование, на действие. Поэтому по итогам оценки - в общем случае - должны быть даны рекомендации. Это своего рода мостик к действиям. Важно при этом соблюдать схему: данные – интерпретации – выводы – рекомендации. То есть рекомендации обязательно должны основываться на выводах по результатам оценки.

Позиция Скривена: оценка заканчивается выводами. Рекомендации нужны в оценке «как рыбе велосипед». Оценка направлена на вынесение суждений, основанных на эмпирических данных. Эти суждения могут использоваться, в том числе, при планировании деятельности. Но предложения о том, какие действия следует предпринять по результатам оценки (это, собственно, и есть рекомендации), должен вырабатывать не тот, кто проводит оценку. Для выработки рекомендаций нужно обладать компетенциями, которые выходят за рамки компетенций специалиста по оценке. 

Опытные менеджеры категоричны: рекомендации, которые поступают от человека с ограниченными опытом и знаниями в сфере управления, а также слабо понимающего организационный контекст, не стоят ломаного гроша. Боб Вильямс из Новой Зеландии считает, что требование включить рекомендации в отчет по результатам оценки зачастую связано с манипуляцией, со стремлением переложить ответственность за определенные решения на внешнего консультанта.

Соглашусь с тем, что не стоит давать рекомендации, не имея должного опыта, знаний и понимания контекста. Не здорово и превращаться в инструмент для чьих-то манипуляций. Не надо давать рекомендации, когда об этом не просят. Неправильно, когда рекомендации не особенно связаны с результатами оценки, а являются продуктом свободного творчества внешних консультантов. Но…

Можно привести много примеров, когда рекомендации, сформулированные по итогам оценки, не просто приветствовались, но активно внедрялись. Это чаще всего имеет место, когда оценка проводится с активным участием тех, кто будет пользоваться ее результатами. В этом случае  рекомендации формируются совместно. А уж в само-оценивании рекомендации абсолютно органичны и необходимы: провели само-оценивание и приняли решения о том, что дальше делать.

четверг, 31 марта 2022 г.

Каково идеальное число показателей для оценки проекта?

Вопрос непростой и отнюдь не праздный. Если показателей будет недостаточно, вы не сможете узнать то, что нужно для принятия решений или, скажем, для отчетности по проекту. Если показателей будет слишком много, вы будете тратить свои ресурсы на получение информации, которая ни вам, ни кому-то другому не пригодится. То есть, другими словами, будете тратить ресурсы попусту.

Простого ответа на вопрос об идеальном числе показателей не существует. Но есть несколько важных соображений, которые следует принимать во внимание, чтобы ответить на него. 

  • Начнем с главного: кто и что именно хочет узнать с помощью показателей? Если мы хотим, чтобы показатели были полезными, надо определить пользователей и их информационные потребности. Далее надо обязательно определить, как именно эти люди собираются использовать полученные данные о значениях показателей. То есть здесь мы должны следовать принципам оценки, ориентированной на практическое использование. Естественно, имеется в виду, что показатели используются в рамках подхода, который мы называем индикаторной оценкой. 
  • Любой показатель относится к какому-то определенному компоненту проекта, например, к ресурсам, процессу реализации проекта, результатам проекта и т.д. Поэтому перед формулированием показателей необходимо описать теорию изменений или логическую модель проекта. Тогда будет проще понять, что именно мы измеряем с помощью тех или иных показателей. Помним о базовой формуле индикаторной оценки: «реальность-модель-показатели».  
  • Следует стремиться к минимизации количества показателей, поскольку замер их значений предполагает создание целой системы. Каждый новый показатель – это деньги, время, энергия людей. 
  • Следует помнить, что не все информационные потребности можно удовлетворить с помощью индикаторной оценки. Возможно, у будущих пользователей результатов оценки появятся такие вопросы, ответы на которые целесообразнее будет получить с помощью эмпирической или экспертной оценки. Это, кстати, один из способов минимизации числа показателей. 

В заключение предлагаю подумать над рекомендацией известных американских специалистов Кусек и Рист, приведенной в книге «10 шагов к системе мониторинга и оценки, основанной на результатах» (англ.): «Каково идеальное число показателей для какого-либо результата программы или проекта? Минимальное число, позволяющее ответить на вопрос о том, достигнут ли этот результат».