К вопросу о "нейтральной" позиции специалиста по оценке программ

Размышляю об известном тезисе о том, что специалист по оценке должен быть непредвзятым, занимать "нейтральную" позицию по отношению к оцениваемой программе или проекту. Причины очевидны: заказчик оценки - кто бы он ни был - не хочет получить отчет, содержание которого основано на общем отношении консультанта (положительном или негативном), а не на собранных в ходе оценки эмпирических данных. Более того, вольно или невольно отношение консультанта по оценке может повлиять и на характер данных, которые он собирает. 

Существует, однако, и другая точка зрения, которую хорошо сформулировал Роберт Стейк (Robert Stake) - один из выдающихся теоретиков оценки, автор классической книги по использованию метода "кейс стади". Он сказал, что зачастую нам может быть небезразлично то, что мы оцениваем, и что так и должно быть. Как сказал другой гуру в области оценки Майкл Пэттон (Michael Patton), нам вовсе не обязательно претендовать на нейтральную позицию по отношению к проблемам, на решение которых направлены программы, для того, чтобы провести справедливую сбалансированную нейтральную оценку. "Кому нужен консультант по оценке, которому безразличны голод, домашнее насилие или ВИЧ/СПИД?" - спрашивает он. В подтверждение своих слов Пэттон говорит о том, что, оценивая программы, связанные с ВИЧ/СПИДом, он всегда помнит о погибшем от СПИДа старшем брате. Поэтому он проводит оценку с пристрастием, т.к. действительно очень хочет, чтобы такие программы работали эффективно. 

Здесь возникает другой вопрос: что можно предпринять для того, чтобы наша пристрастность не стала причиной искажения данных и не привела к ошибочным выводам и рекомендациям? 

Новый сайт Европейского общества оценки

Европейское общество оценки ровно на год перенесло свою конференцию, которая была запланирована на 6-10 сентября 2020 года. Теперь конференция состоится в те же даты, но в 2021 году. Место проведения не изменилось: Копенгаген. Однако перенос конференции не помешал нашим коллегам обновить свой сайт, о чем было объявлено сегодня.

BetterEvaluation выходит на новый уровень

BetterEvaluation - это, на мой взгляд, лучший источник информации об оценке. Причем не только на английском языке. Пользуюсь этим порталом регулярно и всегда нахожу то, что нужно. Если надо найти какие-то публикации по оценке, начинаю, как правило, с BetterEvaluation.

Этот интернет-проект был запущен около 10 лет назад, а сейчас произошло важное событие: BetterEvaluation зарегистрирована как некоммерческая организация. Одновременно с этим заработал обновленный сайт. 

Бессменный руководитель проекта и, соответственно, лидер новой НКО - Патриция Роджерс (Patricia Rogers) из Австралии. Патриция - выдающийся специалист в сфере оценки (исследователь, преподаватель, практик). У нее много замечательных публикаций. В последнее время она много работает в сфере использования системного мышления в оценке. 

На FB можно посмотреть видео, где Патриция делится свежими новостями про BetterEvaluation. 

Будущее филантропии: ключевые тренды. Метаанализ прогнозов.

Сегодня Фонд Потанина опубликовал доклад «Будущее филантропии: ключевые тренды. Метаанализ прогнозов». Он подготовлен по заказу Центра развития филантропии Благотворительного фонда Владимира Потанина. В докладе предлагается обзор наиболее значимых тенденций развития глобальной филантропии на основании мнений ведущих международных экспертов и организаций некоммерческого сектора относительно факторов, контекстов и принципов, влияющих на филантропию будущего, а также причинно-следственных связей между ними. На подготовку доклада ушло несколько месяцев, и это была очень интересная работа!

Стратегия как выбор в условиях неопределенности

Обсуждаем с одним из наших давних партнеров, как им организовать процесс стратегического планирования. Именно сейчас. Естественно, в онлайне. У них завершается цикл реализации предыдущей стратегии, потому обсудить принципиальные вопросы, связанные с будущим организации, очень важно. Проблема в том, что никто не знает, как будет развиваться ситуация, в которой мы все оказались. Имеет ли смысл в таких условиях обсуждать стратегию – в принципе? Мне кажется, что ответ на этот вопрос зависит от того, что именно обсуждать. Если рассматривать стратегию как базовые положения, которые помогают организации действовать в условиях неопределенности, то обсуждать однозначно стоит. Например, самое время проговорить, какими ценностями и принципами руководствуется организация в своей деятельности. Это имеет смысл, потому что в условиях неопределенности необходимо постоянно пересматривать линию поведения организации и быстро принимать важные решения, которые не должны противоречить принципам и ценностям. Здесь будет кстати вспомнить модель Кенэвин, о которой я писал пару лет тому назад. 

История развития мониторинга и оценки в Сети СЦПОИ. Начало.

Сегодня исполнилось 25 лет Сибирскому центру поддержки общественных инициатив (СЦПОИ). Хотел бы поздравить коллег со славной датой, пожелать дальнейшей плодотворной работы и новых высот, а также поблагодарить за доверие и возможность пройти рядом значительную часть этого долгого пути, ведь наше сотрудничество началось в 1996 году и продолжается по сей день! 
Я всегда стараюсь публикации в этом блоге делать компактными. Но сегодня - особый случай: хотел бы поделиться фрагментом моей статьи, опубликованной в бюллетене СЦПОИ "Эффект присутствия" в 1999 году. Статья называлась "Мониторинг и оценка программ в Сети СЦПОИ: взгляд со стороны", и значительная её часть, которая приводится ниже, была посвящена истории развития мониторинга и оценки. Заметьте, в 1999 году! Думаю, документ представляет собой не только историческую ценность :), но может оказаться полезен и сегодня тем, кто интересуется темой развития потенциала оценки в организациях.

Все меняется в условиях кризиса

«Все меняется в условиях кризиса. Примите изменения, не сопротивляйтесь им. Цели программы могут измениться. Меры эффективности могут измениться. Целевые группы населения могут измениться. Планы реализации могут измениться. Меры результатов могут измениться. Это означает, что дизайн оценки, сбор данных, отчетность, сроки проведения и критерии оценки будут и должны меняться. Запланированное использование результатов оценки и даже предполагаемые пользователи могут измениться. Ожидайте изменений. Поддерживайте изменения. Документируйте изменения и их последствия. Именно в этом заключается ваша работа в условиях кризиса, а не в том, чтобы продолжать работать как обычно, как будто ничего не происходит. Сейчас мы не можем работать «как обычно». Если вы видите, что программы не адаптируются к меняющимся условиям, подумайте о том, чтобы настоять на адаптации, предлагайте различные варианты решений. В случае необходимости идите на риск, чтобы помочь другим справиться с происходящим»
Майкл Пэттон (Michael Quinn Patton)
Влияние чрезвычайной ситуации (в связи с глобальной пандемией коронавируса) на оценку программ

Онлайновые инструменты для проведения совещаний

В силу известных обстоятельств возникла необходимость продолжить в онлайновом режиме серию очных совещаний, начатую в Москве. Надо работать с карточками: писать на них что-то, наклеивать на стену, соединять стрелками, перевешивать и т.д. Я это делал сотни раз, но не в онлайне. Позвонил коллеге в США. У них ассоциация фасилитаторов, давно работают в онлайне. Рекомендация такая: использовать ZOOM для конференц-связи и программу Linoit.com, которая "заточена" под работу с карточками. Коллеги в России тоже посоветовали ZOOM в сочетании с программой MIRO. Мне обе программы понравились. Но решил использовать более привычную VISIO в сочетании с ZOOM. Получилось хорошо. 

"Парад ценностей"

Парад планет - астрономическое явление, при котором некоторое количество планет Солнечной системы оказывается по одну сторону от Солнца в небольшом секторе. При этом они находятся более или менее близко друг к другу на небесной сфере, и их чуть ли не все можно увидеть в одном направлении. Бывает это нечасто. Говорят, что предыдущий парад планет был в 1982 году, а следующий случится аж в 2161.
В связи с пандемией коронавируса мы все столкнулись с необходимостью принятия очень значимых решений, последствия которых могут быть по-настоящему судьбоносными - для отдельных людей, для их близких, для малых и больших организаций, для целых стран. В таких обстоятельствах люди руководствуются ценностями - тем, что для них действительно является самым важным. Читаю новости, слежу за публикациями в социальных сетях, разговариваю с друзьями и вижу своего рода "парад ценностей" - явление удивительное и весьма редкое. Как и парад планет. 

Критерии хорошего экспертного суждения

Интересный перечень критериев, описывающих хорошее экспертное суждение от Chan (1982): Expert Judgments under Uncertainty: Some Evidence and Suggestions. Social Science Quarterly 63, pp. 428

• Непротиворечивость (coherence), то есть суждение не содержит внутренних противоречий, не противоречит само себе.
• Калибровка (сalibration), то есть суждение предсказывает события с определенной статистической вероятностью.
• Однозначность (resolution), то есть суждение является как можно более однозначным и не допускает различных толкований. 
• Надежность (reliability), т.е. другое суждение того же эксперта приведет к тем же прогнозам, если будет основано на тех же фактах.

На всякий случай привожу английские термины из оригинала. Я старался не точно слова перевести, а смысл отразить. Естественно, калибровка в социальных науках (в частности, в качественном сравнительном анализе/Qualitative Comparative Analysis) - не то же самое, что калибровка в метрологии.