Движущая сила оценки

Боб Вильямс из Новой Зеландии опубликовал на днях небольшую заметку, которая начинается с такой фразы: "Критерии - движущая сила оценки". В этой заметке Боб обосновывает свою позицию относительно значимости критериев при проведении оценки. О нашей с ним дискуссии по поводу критериев в оценке я писал ранее.

Аргументация Боба на этот раз такова. Если понимать оценку как "систематический процесс определения достоинств, ценности или значимости чего-либо"; то определить, что относится к достоинствам программы, её ценности или значимости, без критериев невозможно. Далее Боб указывает на риски, связанные с использованием стандартного набора критериев. Он настаивает на том, что критерии должны формироваться под каждую конкретную задачу, ссылаясь, в частности, на разработки Чёрчмена (C. West Churchman) и Ульриха (Ulrich) в сфере "критических систем" (Critical Systems). Одной из центральных тем в рамках этого подхода является определение границ (boundaries) в связи с решением той или иной задачи. Критерии, по мнению Боба, задают такие границы. Непродуманное использование стандартных критериев может привести к ошибкам. Боб приводит в качестве примера критерий "эффективность использования средств" (efficiency) для экспериментальной программы. Он считает, что в такой программе средства почти наверняка будут использоваться не слишком эффективно, однако это никак не влияет на ценность программы: она может быть очень даже стоящей с точки зрения понимания того, как работает использованный в ней подход. 

Хорошие вопросы

Один из самых ценных и важных моментов для меня как для преподавателя - это вопросы слушателей. Во-первых, эти вопросы показывают, насколько люди включились в осмысление предложенной темы. Во-вторых, вопросы помогают понять, что можно было бы рассказать по-другому, точнее, нагляднее и - по возможности - исправиться, а также учесть это на будущее. В третьих, вопросы слушателей предоставляют преподавателю возможность для творчества в реальном времени, поскольку часто заранее заготовленного ответа может и не быть.

Предлагаю уважаемым читателям этого блога подумать над ответами на следующие вопросы, заданные слушателями в ходе недавнего (естественно, онлайнового) обзорного курса по оценке проектов и программ. Вопросы касаются экспертной и индикаторной оценки (здесь пост про виды оценки).

• Может ли специалист по оценке, основываясь на своем сугубо личном положительном опыте, сделать заключение об эффективности проекта?
• Какова мера ответственности экспертов, оценивавших замысел проекта, за наступление (или ненаступление) прогнозируемого результата проекта? 
• Для проведения экспертной оценки привлекаются опытные люди. При этом эксперт с 20-летним стажем может быть ярым противником новых методов и подходов, но его мнение окажется "весомее" мнения молодого новатора. Как быть?  
• Чем регламентирована ответственность эксперта за результаты проведенной им оценки? Что можно было бы предусмотреть в договоре с экспертом в плане его ответственности в целом (не по сути экспертной оценки)? 
• Есть ли какая-то зависимость между тем, какой вид оценки применялся на этапе проектирования, и какой вид оценки используется на этапе реализации проекта? 
• Следует ли установить существенные критерии/индикаторы для оценки проектов в определенных предметных областях? 
• Как определить наиболее значимые (весомые) индикаторы?
• В каких ситуациях целесообразно применять индикаторную оценку, чтобы получить максимальный эффект? 
• Каким образом можно выявить "пустой" индикатор (индикатор, значение которого ни о чем важном не говорит)? 
• Как давать оценку индикаторам, целевые значения которых были изначально занижены? Как обосновать свое суждение в этом случае? 
• Как оценить качество индикаторов? 

К вопросу о "нейтральной" позиции специалиста по оценке программ

Размышляю об известном тезисе о том, что специалист по оценке должен быть непредвзятым, занимать "нейтральную" позицию по отношению к оцениваемой программе или проекту. Причины очевидны: заказчик оценки - кто бы он ни был - не хочет получить отчет, содержание которого основано на общем отношении консультанта (положительном или негативном), а не на собранных в ходе оценки эмпирических данных. Более того, вольно или невольно отношение консультанта по оценке может повлиять и на характер данных, которые он собирает. 

Существует, однако, и другая точка зрения, которую хорошо сформулировал Роберт Стейк (Robert Stake) - один из выдающихся теоретиков оценки, автор классической книги по использованию метода "кейс стади". Он сказал, что зачастую нам может быть небезразлично то, что мы оцениваем, и что так и должно быть. Как сказал другой гуру в области оценки Майкл Пэттон (Michael Patton), нам вовсе не обязательно претендовать на нейтральную позицию по отношению к проблемам, на решение которых направлены программы, для того, чтобы провести справедливую сбалансированную нейтральную оценку. "Кому нужен консультант по оценке, которому безразличны голод, домашнее насилие или ВИЧ/СПИД?" - спрашивает он. В подтверждение своих слов Пэттон говорит о том, что, оценивая программы, связанные с ВИЧ/СПИДом, он всегда помнит о погибшем от СПИДа старшем брате. Поэтому он проводит оценку с пристрастием, т.к. действительно очень хочет, чтобы такие программы работали эффективно. 

Здесь возникает другой вопрос: что можно предпринять для того, чтобы наша пристрастность не стала причиной искажения данных и не привела к ошибочным выводам и рекомендациям? 

Новый сайт Европейского общества оценки

Европейское общество оценки ровно на год перенесло свою конференцию, которая была запланирована на 6-10 сентября 2020 года. Теперь конференция состоится в те же даты, но в 2021 году. Место проведения не изменилось: Копенгаген. Однако перенос конференции не помешал нашим коллегам обновить свой сайт, о чем было объявлено сегодня.

BetterEvaluation выходит на новый уровень

BetterEvaluation - это, на мой взгляд, лучший источник информации об оценке. Причем не только на английском языке. Пользуюсь этим порталом регулярно и всегда нахожу то, что нужно. Если надо найти какие-то публикации по оценке, начинаю, как правило, с BetterEvaluation.

Этот интернет-проект был запущен около 10 лет назад, а сейчас произошло важное событие: BetterEvaluation зарегистрирована как некоммерческая организация. Одновременно с этим заработал обновленный сайт. 

Бессменный руководитель проекта и, соответственно, лидер новой НКО - Патриция Роджерс (Patricia Rogers) из Австралии. Патриция - выдающийся специалист в сфере оценки (исследователь, преподаватель, практик). У нее много замечательных публикаций. В последнее время она много работает в сфере использования системного мышления в оценке. 

На FB можно посмотреть видео, где Патриция делится свежими новостями про BetterEvaluation. 

Будущее филантропии: ключевые тренды. Метаанализ прогнозов.

Сегодня Фонд Потанина опубликовал доклад «Будущее филантропии: ключевые тренды. Метаанализ прогнозов». Он подготовлен по заказу Центра развития филантропии Благотворительного фонда Владимира Потанина. В докладе предлагается обзор наиболее значимых тенденций развития глобальной филантропии на основании мнений ведущих международных экспертов и организаций некоммерческого сектора относительно факторов, контекстов и принципов, влияющих на филантропию будущего, а также причинно-следственных связей между ними. На подготовку доклада ушло несколько месяцев, и это была очень интересная работа!

Стратегия как выбор в условиях неопределенности

Обсуждаем с одним из наших давних партнеров, как им организовать процесс стратегического планирования. Именно сейчас. Естественно, в онлайне. У них завершается цикл реализации предыдущей стратегии, потому обсудить принципиальные вопросы, связанные с будущим организации, очень важно. Проблема в том, что никто не знает, как будет развиваться ситуация, в которой мы все оказались. Имеет ли смысл в таких условиях обсуждать стратегию – в принципе? Мне кажется, что ответ на этот вопрос зависит от того, что именно обсуждать. Если рассматривать стратегию как базовые положения, которые помогают организации действовать в условиях неопределенности, то обсуждать однозначно стоит. Например, самое время проговорить, какими ценностями и принципами руководствуется организация в своей деятельности. Это имеет смысл, потому что в условиях неопределенности необходимо постоянно пересматривать линию поведения организации и быстро принимать важные решения, которые не должны противоречить принципам и ценностям. Здесь будет кстати вспомнить модель Кенэвин, о которой я писал пару лет тому назад. 

История развития мониторинга и оценки в Сети СЦПОИ. Начало.

Сегодня исполнилось 25 лет Сибирскому центру поддержки общественных инициатив (СЦПОИ). Хотел бы поздравить коллег со славной датой, пожелать дальнейшей плодотворной работы и новых высот, а также поблагодарить за доверие и возможность пройти рядом значительную часть этого долгого пути, ведь наше сотрудничество началось в 1996 году и продолжается по сей день! 
Я всегда стараюсь публикации в этом блоге делать компактными. Но сегодня - особый случай: хотел бы поделиться фрагментом моей статьи, опубликованной в бюллетене СЦПОИ "Эффект присутствия" в 1999 году. Статья называлась "Мониторинг и оценка программ в Сети СЦПОИ: взгляд со стороны", и значительная её часть, которая приводится ниже, была посвящена истории развития мониторинга и оценки. Заметьте, в 1999 году! Думаю, документ представляет собой не только историческую ценность :), но может оказаться полезен и сегодня тем, кто интересуется темой развития потенциала оценки в организациях.

Все меняется в условиях кризиса

«Все меняется в условиях кризиса. Примите изменения, не сопротивляйтесь им. Цели программы могут измениться. Меры эффективности могут измениться. Целевые группы населения могут измениться. Планы реализации могут измениться. Меры результатов могут измениться. Это означает, что дизайн оценки, сбор данных, отчетность, сроки проведения и критерии оценки будут и должны меняться. Запланированное использование результатов оценки и даже предполагаемые пользователи могут измениться. Ожидайте изменений. Поддерживайте изменения. Документируйте изменения и их последствия. Именно в этом заключается ваша работа в условиях кризиса, а не в том, чтобы продолжать работать как обычно, как будто ничего не происходит. Сейчас мы не можем работать «как обычно». Если вы видите, что программы не адаптируются к меняющимся условиям, подумайте о том, чтобы настоять на адаптации, предлагайте различные варианты решений. В случае необходимости идите на риск, чтобы помочь другим справиться с происходящим»
Майкл Пэттон (Michael Quinn Patton)
Влияние чрезвычайной ситуации (в связи с глобальной пандемией коронавируса) на оценку программ

Онлайновые инструменты для проведения совещаний

В силу известных обстоятельств возникла необходимость продолжить в онлайновом режиме серию очных совещаний, начатую в Москве. Надо работать с карточками: писать на них что-то, наклеивать на стену, соединять стрелками, перевешивать и т.д. Я это делал сотни раз, но не в онлайне. Позвонил коллеге в США. У них ассоциация фасилитаторов, давно работают в онлайне. Рекомендация такая: использовать ZOOM для конференц-связи и программу Linoit.com, которая "заточена" под работу с карточками. Коллеги в России тоже посоветовали ZOOM в сочетании с программой MIRO. Мне обе программы понравились. Но решил использовать более привычную VISIO в сочетании с ZOOM. Получилось хорошо.