"Парад ценностей"

Парад планет - астрономическое явление, при котором некоторое количество планет Солнечной системы оказывается по одну сторону от Солнца в небольшом секторе. При этом они находятся более или менее близко друг к другу на небесной сфере, и их чуть ли не все можно увидеть в одном направлении. Бывает это нечасто. Говорят, что предыдущий парад планет был в 1982 году, а следующий случится аж в 2161.
В связи с пандемией коронавируса мы все столкнулись с необходимостью принятия очень значимых решений, последствия которых могут быть по-настоящему судьбоносными - для отдельных людей, для их близких, для малых и больших организаций, для целых стран. В таких обстоятельствах люди руководствуются ценностями - тем, что для них действительно является самым важным. Читаю новости, слежу за публикациями в социальных сетях, разговариваю с друзьями и вижу своего рода "парад ценностей" - явление удивительное и весьма редкое. Как и парад планет. 

Критерии хорошего экспертного суждения

Интересный перечень критериев, описывающих хорошее экспертное суждение от Chan (1982): Expert Judgments under Uncertainty: Some Evidence and Suggestions. Social Science Quarterly 63, pp. 428

• Непротиворечивость (coherence), то есть суждение не содержит внутренних противоречий, не противоречит само себе.
• Калибровка (сalibration), то есть суждение предсказывает события с определенной статистической вероятностью.
• Однозначность (resolution), то есть суждение является как можно более однозначным и не допускает различных толкований. 
• Надежность (reliability), т.е. другое суждение того же эксперта приведет к тем же прогнозам, если будет основано на тех же фактах.

На всякий случай привожу английские термины из оригинала. Я старался не точно слова перевести, а смысл отразить. Естественно, калибровка в социальных науках (в частности, в качественном сравнительном анализе/Qualitative Comparative Analysis) - не то же самое, что калибровка в метрологии. 

Оценка в Распоряжении Правительства РФ про благотворительность

На конференции газеты "Ведомости" "«Благотворительность в России: 2025», которая прошла в Москве 2 марта, меня попросили сделать небольшое сообщение на секции об оценке. По замыслу организаторов, работа этой секции должна была строиться вокруг Распоряжения Правительства РФ от 15 ноября 2019 г. № 2705-р «О Концепции содействия развитию благотворительной деятельности в РФ на период до 2025 г.»
Оценка в этом постановлении упоминается 5 раз. Ниже приведу цитаты из Распоряжения (они обозначены как РП 2705-р и выделены курсивом), а следом - основные тезисы моего сообщения.

• РП 2705-р : «содействие повышению эффективности деятельности благотворительных организаций, включая развитие … практики оценки результативности»

Согласно недавнему исследованию, проведенному Центром развития филантропии Фонда Владимира Потанина, развитие доказательной филантропии является одним из мировых трендов. Тому есть целый ряд причин: от развития информационных технологий до смены поколений. То есть, оценка – в тренде! И очень хорошо, что ей уделено место в правительственном документе.

• РП 2705-р: «включение оценки социального эффекта как необходимого этапа реализации благотворительных программ и проектов»

Возможности для профессионального развития - международные новости

По разным каналам почти одновременно пришли следующие новости: 

• Открыт прием заявок на выступления на конференции Европейского общества оценки, которая пройдет в Копенгагене 21-25 октября. Тема конференции "Оценка в неопределенном мире: сложность, легитимность и этика". 
• Открыт прием заявок на выступления на конференции Американской ассоциации оценки, которая пройдет с 26 по 31 октября в г.Портленд, шт.Орегон. Тема конференции в этом году прямо-таки романтическая: "Как ты будешь светить своим светом?" ("How Will You Shine Your Light").  Заметьте, что участники европейской конференции успевают на американскую. Просто надо сразу улетать из Копенгагена в Портленд. Очень удобно! :)   
• Открыт прием заявок на обучение по программе IPDET (International Program for Development Evaluation Training). В этом году обучение пройдет с 6 по 24 июля в Берне, Швейцария. 
• Открыт прием заявок на онлайновый курс по проектированию. Курс проводится Международным тренинговым центром Международной организации труда в Турине. Окончившие получают сертифкат. 

Ожидаемые результаты и допущения в социальном проектировании

Известно, что так называемая "теория изменений" чаще всего представляется в виде 

1. карты ожидаемых результатов, показывающей, как действия в рамках проекта приведут к достижению цели проекта, и 
2. перечня допущений или условий, при соблюдении которых сработает наша "теория", на соблюдение которых мы рассчитываем и которые находятся за пределами нашего влияния. 

Практика показывает, что при разработке "теории изменений" и даже по ходу проекта или программы может возникнуть ситуация, когда изначально принятые допущения перейдут в категорию запланированных результатов. Рассмотрим такую ситуацию на простом примере. 

Предположим, некая компания приняла решение провести обучающий семинар для своих сотрудников. "Теория изменений" состоит в том, что сотрудники получат новые знания, а затем применят их на практике, что приведет к повышению эффективности работы компании. "Теория" сработает при условии, что (а) сотрудники захотят применить новые знания и (б) сотрудники смогут применить новые знания. Это два допущения. Проведение даже самого замечательного семинара, конечно же, не гарантирует соблюдения этих условий. Однако для использования результатов семинара соблюдение обоих условий очень важно. И здесь появляется следующий вопрос: не следует ли нам скорректировать теорию изменений так, чтобы не полагаться на соблюдение необходимых условий, а создать эти условия. Естественно, при этом проект из чисто обучающего превратится в инициативу, ориентированную на изменения в организации, и его рамки расширятся. В дополнение к обучению тогда следует создать систему мотивации сотрудников (чтобы захотели применить новые знания), а также создать условия, в которых новые знания можно будет применить.  В таком случае шансы практического использования результатов обучения существенно возрастут. А допущения уже будут несколько иными...Оставляю это как повод для ваших дальнейших размышлений. 

PS Хотел сюда вставить картинку с новой "картой результатов", но почему-то эта функция в Blogger сейчас не работает. Потому словами пришлось описать. 

Обсуждение результатов оценки

Сегодня в рамках "Школы оценки 3 в 1" пройдет вэбинар на эту важную тему. Слушателям школы предстоит в ближайшее время встретиться с их заказчиками и обсудить с ними полученные результаты. Несмотря на то, что оценка учебно-практическая, а "заказчиками" являются сами слушатели, предстоящие встречи вызывают и волнение, и вопросы.

В связи с этим хотел бы поделиться несколькими соображениями.

1. Встречу надо начать с того, какие были вопросы задания и как предполагалось использовать ответы.
2. Далее нужно обсудить каждый вопрос по схеме: факты - интерпретации - выводы - рекомендации. Т.е. консультанты должны рассказать, что они узнали, как они это объяснили, к каким выводам пришли и что в связи с этими выводами рекомендуют предпринять.
3. Следующим шагом (после обсуждения результатов) является их практическое использование. Это то, ради чего, в конечном итоге, проводится оценка. Об этом нужно постоянно помнить, об этом обязательно нужно поговорить. 
4. Нужно иметь в виду, что речь идет об эмпирической оценке, и не менять жанр. В рамках эмпирической оценки все выводы базируются на собранных эмпирических данных, а не на знаниях и прошлом жизненном опыте консультанта (см. "экспертную оценку").

Международная академия оценки?

Недавняя Глобальная ассамблея Международной ассоциации оценки развития (IDEAS) завершилась утверждением Пражской декларации, в которой одобрено изучение возможности создания Международной академии оценки. Такая Академия будет дополнять усилия профессиональных ассоциаций и выступать в качестве платформы для инноваций, творчества и сотрудничества в развитии оценки.
Я в Праге не был и в обсуждениях этой идеи не участвовал. Не до конца понимаю, как будет организационно оформлена Академия. Не понимаю, кто в ней будет работать, по замыслу авторов идеи. Если судить по анкете, ссылка на которую приводится ниже, то вся надежда на волонтеров. Хм... В любом случае инициатива серьёзная и может иметь далеко идущие последствия для развития нашей профессии.
Если Вы владеете английским, можно перейти по ссылке и заполнить небольшую анкету, чтобы поделиться своим видением Академии.

Компетенции специалиста по оценке: международная инициатива

В прошлом году наши канадские и американские коллеги предложили обсудить возможность достижения (частичного) консенсуса относительно компетенций специалиста по оценке. Дело в том, что работы в этом направлении до сих пор велись разными группами в разных странах, в частности, в Австралии, США, Канаде, Новой Зеландии. Европейское общество оценки и ООН опубликовали свои варианты. Для всех заинтересованных сторон очевидно, что для развития профессии было бы неплохо прийти к согласию относительно базовых компетенций (скажем, 60-70%), а для учета специфики добавлять особые компетенции (30-40%). В прошлом году на конференции Американской ассоциации оценки эту инициативу поддержали представители многих стран. В этом году уже прошла небольшая онлайн-конференция по этому вопросу. Думаю, нашей ассоциации обязательно надо участвовать в этой инициативе. Как только станут понятны дальнейшие шаги, надо будет сформировать рабочую группу. А пока будем поддерживать контакт с инициаторами.

Больше отдыхать

На днях встречались с друзьями, которые профессионально занимаются консалтингом, как и мы, более четверти века. Обсуждали в числе прочего тему рабочей нагрузки. Если кто не в курсе 😏, консультанту приходится работать весьма напряженно - сильно ненормированный рабочий день, работа в выходные, нерегулярные отпуска и т.д. Можно ли работать меньше? Получается, что не особо. И по финансовым соображениям, и потому, что интересная же работа! Решили, что работать меньше не надо, а надо больше отдыхать.

Влияние ресурсных центров на развитие НКО

Вместе с новосибирскими СЦПОИ и ИнАЦентром мы несколько месяцев проводили оценку влияния ресурсных центров на развитие НКО сектора в России. Предварительные результаты этой оценки дважды обсуждались публично - на встрече представителей ресурсных центров в Новосибирске и на специально организованной встрече в Москве (спасибо "БЛАГОСФЕРЕ" за предоставление площадки!). Только что отчет об оценке был опубликован. Президент СЦПОИ Елена Малицкая поделилась своими мыслями об этой работе. Не стану излагать здесь содержание отчета - лучше прочесть. Отмечу лишь три момента: 

   Не удивило: список наиболее влиятельных НКО.
   Удивило: сколько же всего было сделано ими за 25 лет!
   Стало неожиданным: все бывшие "ресурсные центры" уже давно перестали быть таковыми. Может быть, это - закономерность? Если так, то имеет ли смысл создавать новые ресурсные центры? По крайней мере, надо сразу задумываться о их стратегии развития и дальнейшей судьбе.