четверг, 31 марта 2022 г.

Каково идеальное число показателей для оценки проекта?

Вопрос непростой и отнюдь не праздный. Если показателей будет недостаточно, вы не сможете узнать то, что нужно для принятия решений или, скажем, для отчетности по проекту. Если показателей будет слишком много, вы будете тратить свои ресурсы на получение информации, которая ни вам, ни кому-то другому не пригодится. То есть, другими словами, будете тратить ресурсы попусту.

Простого ответа на вопрос об идеальном числе показателей не существует. Но есть несколько важных соображений, которые следует принимать во внимание, чтобы ответить на него. 

  • Начнем с главного: кто и что именно хочет узнать с помощью показателей? Если мы хотим, чтобы показатели были полезными, надо определить пользователей и их информационные потребности. Далее надо обязательно определить, как именно эти люди собираются использовать полученные данные о значениях показателей. То есть здесь мы должны следовать принципам оценки, ориентированной на практическое использование. Естественно, имеется в виду, что показатели используются в рамках подхода, который мы называем индикаторной оценкой. 
  • Любой показатель относится к какому-то определенному компоненту проекта, например, к ресурсам, процессу реализации проекта, результатам проекта и т.д. Поэтому перед формулированием показателей необходимо описать теорию изменений или логическую модель проекта. Тогда будет проще понять, что именно мы измеряем с помощью тех или иных показателей. Помним о базовой формуле индикаторной оценки: «реальность-модель-показатели».  
  • Следует стремиться к минимизации количества показателей, поскольку замер их значений предполагает создание целой системы. Каждый новый показатель – это деньги, время, энергия людей. 
  • Следует помнить, что не все информационные потребности можно удовлетворить с помощью индикаторной оценки. Возможно, у будущих пользователей результатов оценки появятся такие вопросы, ответы на которые целесообразнее будет получить с помощью эмпирической или экспертной оценки. Это, кстати, один из способов минимизации числа показателей. 

В заключение предлагаю подумать над рекомендацией известных американских специалистов Кусек и Рист, приведенной в книге «10 шагов к системе мониторинга и оценки, основанной на результатах» (англ.): «Каково идеальное число показателей для какого-либо результата программы или проекта? Минимальное число, позволяющее ответить на вопрос о том, достигнут ли этот результат».

вторник, 22 марта 2022 г.

Международная академия оценки

Международная академия оценки (International Evaluation Academy) объявила о начале своей деятельности. Академия зарегистрирована как благотворительная организация в Англии и Уэльсе.  Это глобальное движение добровольцев, стремящихся к повышению влияния оценки на принятие значимых решений, профессионализации и преобразующему воздействию. 

Академия ориентирована на инновации: "Мы поощряем новаторские изменения в способах разработки и использования оценки для решения сложных задач экономической, социальной и экологической устойчивости" (цитата с сайта).

"Академия охватывает широкий спектр подходов, моделей и методов оценки. Она соблюдает принцип субсидиарности в своей работе; мобилизует энергию и навыки добровольцев на местном, национальном, региональном и глобальном уровнях; организует информационные сообщества стипендиатов («хабы») для решения разнообразных тематических, региональных и местных задач; обращается к партнерам через государственные и междисциплинарные границы, привлекая к сотрудничеству государственные структуры, бизнес-организации и гражданское общество" (цитата с сайта). 

Полагаю, это важное событие в мире оценки. Теперь будем следить и за "академическими" новостями. 

пятница, 11 марта 2022 г.

Не профессия

Вчера на 10-м заседании клуба PROОЦЕНКУ обсуждали оценивание организаций. Видеозапись заседания доступна здесь. Несколько мыслей по итогам… 

  • Оценку организаций по-английски чаще называют ассесментом (assessment) или диагностикой (diagnostics). Термин evaluation (корень value – ценность) применительно к оценке организаций используется значительно реже, чем к оценке программ. Google дает 35 000 000 ссылок на словосочетание «program evaluation» и всего 58 000 ссылок на словосочетание «organizational evaluation».
  • Оценка организаций появилась в контексте развития знаний и практики, связанных с организационным развитием и управлением организациями. Организационное развитие (Organization Development) – это область знаний и практической деятельности, ориентированная на изучение и повышение потенциала организаций для обеспечения их эффективности и жизнеспособности. 
  • В традиции организационного развития оценка (диагностика) организации встроена в процесс изменений. После диагностики организации ставятся цели и разрабатывается план изменений, затем осуществляются эти изменения, а по итогам реализации плана проводится оценка – все ли получилось так, как хотели. Вот это де-факто оценка программы – программы организационных изменений. 
  • Оценка организаций не выделилась как отдельная профессия – в отличие от оценки программ и проектов. Соответственно, не существует перечней компетенций для «специалиста по оценке организаций» и профессиональных объединений, ориентированных исключительно на оценку организаций. 

  • На рисунке показаны 4 подхода к оценке организаций. Есть вариант оценки, основанный на использовании модели. Это своего рода чек-лист, который предписывает вынести суждения по заранее заданным параметрам. Часто в подобных методиках предлагаются шкалы, позволяющие получить численные значения по каждому из параметров. С примером использования такого подхода можно ознакомиться в исследовании Центра оценки общественных инициатив Института прикладных политических исследований НИУ ВШЭ. Такой подход ближе к индикаторной оценке. 
  • Другой вариант оценки предполагает формулирование вопроса, на который нужно ответить, а затем - планирование и проведение специального оценочного исследования для получения данных, на основании которых можно получить ответ на тот самый вопрос. Такой подход ближе к традиции эмпирической оценки.  
В заключение хотел бы отметить, что в ближайшие полтора года деятельность клуба PROОЦЕНКУ будет осуществляться под эгидой проекта «Поддержка развития оценки и развитие оценочного мышления. Пятый элемент», который выполняется Ассоциацией ИнА-Центр в партнерстве с Фондом СЦПОИ, Компанией "Процесс Консалтинг" и Группой НКО "Гарант" при поддержке Фонда президентских грантов.

суббота, 5 марта 2022 г.

Про оценку организаций

Ближайшее заседание клуба PROОЦЕНКУ будет посвящено оцениванию организаций. Один из вопросов, которые планируется обсудить, относится к сфере компетенций. Нужны ли для оценки организаций какие-то особые компетенции, отличные от тех, которые требуются для оценки программ и проектов? На мой взгляд, нужны. Хотя бы потому, что человек, проводящий оценку, должен хорошо понимать, что собой представляет объект оценки: по каким законам он формируется, функционирует, развивается. Другими словами, для оценки проектов и программ надо хорошо разбираться в проектах и программах, а для оценки организаций, надо хорошо понимать организации. 
При этом... Тот, кто оценивает проекты, должен в какой-то мере понимать организации, поскольку они реализуют проекты и являются значимым для проектов контекстом. А тот, кто оценивает организации, должен иметь представление о проектах, поскольку эта форма деятельности повсеместно используется организациями.
Если принять во внимание, что методы, которые используются при оценке проектов, программ и организаций - одни и те же (анкетирование, наблюдение, интервью и т.д.), то нам точно будет, о чем поговорить на клубе :) 
Регистрация участников здесь. Заседание пройдет 10 марта онлайн с 11 до 12.30 мск.  

среда, 2 марта 2022 г.

Книга из блога

К онлайновым сервисам привыкаешь настолько, что перестаешь задумываться о том, не следует ли сохранить информацию где-то у себя. Так произошло у меня с блогом, куда пишу в последние годы почти каждую неделю. Текст набираю в онлайне, копии не сохраняю. За 14 лет накопилось довольно много публикаций. Сегодня обнаружил целый ряд онлайновых сервисов, позволяющих за считаные минуты и небольшие деньги конвертировать блог в книгу в формате PDF. Теперь у меня такая книжка есть, вернее даже две книжки, поскольку в период с 2008 по 2011 я пользовался платформой LiveJournal, а затем "переехал" на Blogger. Все публикации за период с 2008 по 2011 уместились на 180 страницах с картинками и ссылками, а за период с 2012 по 2022 - на 420 страницах. Естественно, это я для себя сделал, в первую очередь. Но, если вдруг кому-то такая книга интересна, дайте знать. 

С удовольствием рекомендую сервис, которым я воспользовался. Он называется BlogBooker. На картинке - платформы, с которыми он работает.