Данные исследований и личный опыт: что работает при принятии решений?

Пфеффер и Саттон - авторы книги "Доказательный менеджмент. Новейшая концепция управления от Гарвардской школы бизнеса" - пишут: "Предположим, врач или менеджер принимает решение, которое не основано на лучших на данный момент доказательствах. В чем его винить? Проще всего предположить худшее: глупость, лень, обман. Но в реальности дело обстоит несколько иначе. Опытные практики избегают поиска новых доказательств (лучших на данный момент - АК), потому что они доверяют своему собственному опыту больше, чем исследованиям. Большинство из них почти наверняка признали бы проблемы с небольшим размером выборки, на базе которой формировался личный опыт, но, тем не менее, информация, полученная из первых рук, часто кажется богаче и ближе к реальным знаниям, чем слова и данные в журнальной статье" (Evidence-Based Management by Jeffrey Pfeffer and Robert I. Sutton).

В качестве подтверждения наблюдения Пфеффера и Саттона приведу две цитаты. 

Президент Беларуси А.Лукашенко (опубликовано РИА "Новости" 02.04.2020):
"Вчера один очень умный россиянин (ученый – ред.), я послушал, сказал: надо физически бороться с ним (коронавирусом – ред.). Я думаю, как же физически? Надо себя защитить от опасности. Спортом заниматься надо и на свежем воздухе быть. Надо легким помочь. Мы, говорит, на диете сидели, а нужна жирная пища. И я тоже ограничивал себя. А сливочное масло надо сейчас есть, оказывается, жир помогает легким бороться с вирусами", - сказал Лукашенко. По словам президента, если специалист, ученый, такое говорит, "наверное, не дурак". "Вот я из опыта своего его в этом поддерживаю" (выделено мной - АК), - заметил он".

Президент США Д.Трамп (опубликовано BBC News 19 мая 2020 года):
"На вопрос о том, что он считает доказательствами положительных качеств  гидроксихлорохина (для профилактики COVID-19 - АК), г-н Трамп ответил: "Вот мои доказательства: я получил много положительных отзывов об этом"  (выделено мной - АК). Он добавил: "Я слышал много хороших историй [о гидроксихлорохине]  (выделено мной - АК), и если это нехорошо, я скажу вам прямо: я не собираюсь причинять себе вред".

Наверное, этот эффект следует отнести к сфере психологии. Мы более склонны признавать данные исследований в качестве доказательств, если они соответствуют нашему личному опыту. И, наоборот, если данные исследований не подтверждаются нашим личным опытом либо противоречат ему, использование таких данных может оказаться под вопросом. Можете провести мысленный эксперимент и проверить, так ли это в Вашем случае применительно к тем решениям, которые принимаете Вы.

Движущая сила оценки

Боб Вильямс из Новой Зеландии опубликовал на днях небольшую заметку, которая начинается с такой фразы: "Критерии - движущая сила оценки". В этой заметке Боб обосновывает свою позицию относительно значимости критериев при проведении оценки. О нашей с ним дискуссии по поводу критериев в оценке я писал ранее.

Аргументация Боба на этот раз такова. Если понимать оценку как "систематический процесс определения достоинств, ценности или значимости чего-либо"; то определить, что относится к достоинствам программы, её ценности или значимости, без критериев невозможно. Далее Боб указывает на риски, связанные с использованием стандартного набора критериев. Он настаивает на том, что критерии должны формироваться под каждую конкретную задачу, ссылаясь, в частности, на разработки Чёрчмена (C. West Churchman) и Ульриха (Ulrich) в сфере "критических систем" (Critical Systems). Одной из центральных тем в рамках этого подхода является определение границ (boundaries) в связи с решением той или иной задачи. Критерии, по мнению Боба, задают такие границы. Непродуманное использование стандартных критериев может привести к ошибкам. Боб приводит в качестве примера критерий "эффективность использования средств" (efficiency) для экспериментальной программы. Он считает, что в такой программе средства почти наверняка будут использоваться не слишком эффективно, однако это никак не влияет на ценность программы: она может быть очень даже стоящей с точки зрения понимания того, как работает использованный в ней подход. 

Хорошие вопросы

Один из самых ценных и важных моментов для меня как для преподавателя - это вопросы слушателей. Во-первых, эти вопросы показывают, насколько люди включились в осмысление предложенной темы. Во-вторых, вопросы помогают понять, что можно было бы рассказать по-другому, точнее, нагляднее и - по возможности - исправиться, а также учесть это на будущее. В третьих, вопросы слушателей предоставляют преподавателю возможность для творчества в реальном времени, поскольку часто заранее заготовленного ответа может и не быть.

Предлагаю уважаемым читателям этого блога подумать над ответами на следующие вопросы, заданные слушателями в ходе недавнего (естественно, онлайнового) обзорного курса по оценке проектов и программ. Вопросы касаются экспертной и индикаторной оценки (здесь пост про виды оценки).

• Может ли специалист по оценке, основываясь на своем сугубо личном положительном опыте, сделать заключение об эффективности проекта?
• Какова мера ответственности экспертов, оценивавших замысел проекта, за наступление (или ненаступление) прогнозируемого результата проекта? 
• Для проведения экспертной оценки привлекаются опытные люди. При этом эксперт с 20-летним стажем может быть ярым противником новых методов и подходов, но его мнение окажется "весомее" мнения молодого новатора. Как быть?  
• Чем регламентирована ответственность эксперта за результаты проведенной им оценки? Что можно было бы предусмотреть в договоре с экспертом в плане его ответственности в целом (не по сути экспертной оценки)? 
• Есть ли какая-то зависимость между тем, какой вид оценки применялся на этапе проектирования, и какой вид оценки используется на этапе реализации проекта? 
• Следует ли установить существенные критерии/индикаторы для оценки проектов в определенных предметных областях? 
• Как определить наиболее значимые (весомые) индикаторы?
• В каких ситуациях целесообразно применять индикаторную оценку, чтобы получить максимальный эффект? 
• Каким образом можно выявить "пустой" индикатор (индикатор, значение которого ни о чем важном не говорит)? 
• Как давать оценку индикаторам, целевые значения которых были изначально занижены? Как обосновать свое суждение в этом случае? 
• Как оценить качество индикаторов? 

К вопросу о "нейтральной" позиции специалиста по оценке программ

Размышляю об известном тезисе о том, что специалист по оценке должен быть непредвзятым, занимать "нейтральную" позицию по отношению к оцениваемой программе или проекту. Причины очевидны: заказчик оценки - кто бы он ни был - не хочет получить отчет, содержание которого основано на общем отношении консультанта (положительном или негативном), а не на собранных в ходе оценки эмпирических данных. Более того, вольно или невольно отношение консультанта по оценке может повлиять и на характер данных, которые он собирает. 

Существует, однако, и другая точка зрения, которую хорошо сформулировал Роберт Стейк (Robert Stake) - один из выдающихся теоретиков оценки, автор классической книги по использованию метода "кейс стади". Он сказал, что зачастую нам может быть небезразлично то, что мы оцениваем, и что так и должно быть. Как сказал другой гуру в области оценки Майкл Пэттон (Michael Patton), нам вовсе не обязательно претендовать на нейтральную позицию по отношению к проблемам, на решение которых направлены программы, для того, чтобы провести справедливую сбалансированную нейтральную оценку. "Кому нужен консультант по оценке, которому безразличны голод, домашнее насилие или ВИЧ/СПИД?" - спрашивает он. В подтверждение своих слов Пэттон говорит о том, что, оценивая программы, связанные с ВИЧ/СПИДом, он всегда помнит о погибшем от СПИДа старшем брате. Поэтому он проводит оценку с пристрастием, т.к. действительно очень хочет, чтобы такие программы работали эффективно. 

Здесь возникает другой вопрос: что можно предпринять для того, чтобы наша пристрастность не стала причиной искажения данных и не привела к ошибочным выводам и рекомендациям? 

Новый сайт Европейского общества оценки

Европейское общество оценки ровно на год перенесло свою конференцию, которая была запланирована на 6-10 сентября 2020 года. Теперь конференция состоится в те же даты, но в 2021 году. Место проведения не изменилось: Копенгаген. Однако перенос конференции не помешал нашим коллегам обновить свой сайт, о чем было объявлено сегодня.

BetterEvaluation выходит на новый уровень

BetterEvaluation - это, на мой взгляд, лучший источник информации об оценке. Причем не только на английском языке. Пользуюсь этим порталом регулярно и всегда нахожу то, что нужно. Если надо найти какие-то публикации по оценке, начинаю, как правило, с BetterEvaluation.

Этот интернет-проект был запущен около 10 лет назад, а сейчас произошло важное событие: BetterEvaluation зарегистрирована как некоммерческая организация. Одновременно с этим заработал обновленный сайт. 

Бессменный руководитель проекта и, соответственно, лидер новой НКО - Патриция Роджерс (Patricia Rogers) из Австралии. Патриция - выдающийся специалист в сфере оценки (исследователь, преподаватель, практик). У нее много замечательных публикаций. В последнее время она много работает в сфере использования системного мышления в оценке. 

На FB можно посмотреть видео, где Патриция делится свежими новостями про BetterEvaluation. 

Будущее филантропии: ключевые тренды. Метаанализ прогнозов.

Сегодня Фонд Потанина опубликовал доклад «Будущее филантропии: ключевые тренды. Метаанализ прогнозов». Он подготовлен по заказу Центра развития филантропии Благотворительного фонда Владимира Потанина. В докладе предлагается обзор наиболее значимых тенденций развития глобальной филантропии на основании мнений ведущих международных экспертов и организаций некоммерческого сектора относительно факторов, контекстов и принципов, влияющих на филантропию будущего, а также причинно-следственных связей между ними. На подготовку доклада ушло несколько месяцев, и это была очень интересная работа!

Стратегия как выбор в условиях неопределенности

Обсуждаем с одним из наших давних партнеров, как им организовать процесс стратегического планирования. Именно сейчас. Естественно, в онлайне. У них завершается цикл реализации предыдущей стратегии, потому обсудить принципиальные вопросы, связанные с будущим организации, очень важно. Проблема в том, что никто не знает, как будет развиваться ситуация, в которой мы все оказались. Имеет ли смысл в таких условиях обсуждать стратегию – в принципе? Мне кажется, что ответ на этот вопрос зависит от того, что именно обсуждать. Если рассматривать стратегию как базовые положения, которые помогают организации действовать в условиях неопределенности, то обсуждать однозначно стоит. Например, самое время проговорить, какими ценностями и принципами руководствуется организация в своей деятельности. Это имеет смысл, потому что в условиях неопределенности необходимо постоянно пересматривать линию поведения организации и быстро принимать важные решения, которые не должны противоречить принципам и ценностям. Здесь будет кстати вспомнить модель Кенэвин, о которой я писал пару лет тому назад. 

История развития мониторинга и оценки в Сети СЦПОИ. Начало.

Сегодня исполнилось 25 лет Сибирскому центру поддержки общественных инициатив (СЦПОИ). Хотел бы поздравить коллег со славной датой, пожелать дальнейшей плодотворной работы и новых высот, а также поблагодарить за доверие и возможность пройти рядом значительную часть этого долгого пути, ведь наше сотрудничество началось в 1996 году и продолжается по сей день! 
Я всегда стараюсь публикации в этом блоге делать компактными. Но сегодня - особый случай: хотел бы поделиться фрагментом моей статьи, опубликованной в бюллетене СЦПОИ "Эффект присутствия" в 1999 году. Статья называлась "Мониторинг и оценка программ в Сети СЦПОИ: взгляд со стороны", и значительная её часть, которая приводится ниже, была посвящена истории развития мониторинга и оценки. Заметьте, в 1999 году! Думаю, документ представляет собой не только историческую ценность :), но может оказаться полезен и сегодня тем, кто интересуется темой развития потенциала оценки в организациях.

Все меняется в условиях кризиса

«Все меняется в условиях кризиса. Примите изменения, не сопротивляйтесь им. Цели программы могут измениться. Меры эффективности могут измениться. Целевые группы населения могут измениться. Планы реализации могут измениться. Меры результатов могут измениться. Это означает, что дизайн оценки, сбор данных, отчетность, сроки проведения и критерии оценки будут и должны меняться. Запланированное использование результатов оценки и даже предполагаемые пользователи могут измениться. Ожидайте изменений. Поддерживайте изменения. Документируйте изменения и их последствия. Именно в этом заключается ваша работа в условиях кризиса, а не в том, чтобы продолжать работать как обычно, как будто ничего не происходит. Сейчас мы не можем работать «как обычно». Если вы видите, что программы не адаптируются к меняющимся условиям, подумайте о том, чтобы настоять на адаптации, предлагайте различные варианты решений. В случае необходимости идите на риск, чтобы помочь другим справиться с происходящим»
Майкл Пэттон (Michael Quinn Patton)
Влияние чрезвычайной ситуации (в связи с глобальной пандемией коронавируса) на оценку программ