Все меняется в условиях кризиса

«Все меняется в условиях кризиса. Примите изменения, не сопротивляйтесь им. Цели программы могут измениться. Меры эффективности могут измениться. Целевые группы населения могут измениться. Планы реализации могут измениться. Меры результатов могут измениться. Это означает, что дизайн оценки, сбор данных, отчетность, сроки проведения и критерии оценки будут и должны меняться. Запланированное использование результатов оценки и даже предполагаемые пользователи могут измениться. Ожидайте изменений. Поддерживайте изменения. Документируйте изменения и их последствия. Именно в этом заключается ваша работа в условиях кризиса, а не в том, чтобы продолжать работать как обычно, как будто ничего не происходит. Сейчас мы не можем работать «как обычно». Если вы видите, что программы не адаптируются к меняющимся условиям, подумайте о том, чтобы настоять на адаптации, предлагайте различные варианты решений. В случае необходимости идите на риск, чтобы помочь другим справиться с происходящим»
Майкл Пэттон (Michael Quinn Patton)
Влияние чрезвычайной ситуации (в связи с глобальной пандемией коронавируса) на оценку программ

Онлайновые инструменты для проведения совещаний

В силу известных обстоятельств возникла необходимость продолжить в онлайновом режиме серию очных совещаний, начатую в Москве. Надо работать с карточками: писать на них что-то, наклеивать на стену, соединять стрелками, перевешивать и т.д. Я это делал сотни раз, но не в онлайне. Позвонил коллеге в США. У них ассоциация фасилитаторов, давно работают в онлайне. Рекомендация такая: использовать ZOOM для конференц-связи и программу Linoit.com, которая "заточена" под работу с карточками. Коллеги в России тоже посоветовали ZOOM в сочетании с программой MIRO. Мне обе программы понравились. Но решил использовать более привычную VISIO в сочетании с ZOOM. Получилось хорошо. 

"Парад ценностей"

Парад планет - астрономическое явление, при котором некоторое количество планет Солнечной системы оказывается по одну сторону от Солнца в небольшом секторе. При этом они находятся более или менее близко друг к другу на небесной сфере, и их чуть ли не все можно увидеть в одном направлении. Бывает это нечасто. Говорят, что предыдущий парад планет был в 1982 году, а следующий случится аж в 2161.
В связи с пандемией коронавируса мы все столкнулись с необходимостью принятия очень значимых решений, последствия которых могут быть по-настоящему судьбоносными - для отдельных людей, для их близких, для малых и больших организаций, для целых стран. В таких обстоятельствах люди руководствуются ценностями - тем, что для них действительно является самым важным. Читаю новости, слежу за публикациями в социальных сетях, разговариваю с друзьями и вижу своего рода "парад ценностей" - явление удивительное и весьма редкое. Как и парад планет. 

Критерии хорошего экспертного суждения

Интересный перечень критериев, описывающих хорошее экспертное суждение от Chan (1982): Expert Judgments under Uncertainty: Some Evidence and Suggestions. Social Science Quarterly 63, pp. 428

• Непротиворечивость (coherence), то есть суждение не содержит внутренних противоречий, не противоречит само себе.
• Калибровка (сalibration), то есть суждение предсказывает события с определенной статистической вероятностью.
• Однозначность (resolution), то есть суждение является как можно более однозначным и не допускает различных толкований. 
• Надежность (reliability), т.е. другое суждение того же эксперта приведет к тем же прогнозам, если будет основано на тех же фактах.

На всякий случай привожу английские термины из оригинала. Я старался не точно слова перевести, а смысл отразить. Естественно, калибровка в социальных науках (в частности, в качественном сравнительном анализе/Qualitative Comparative Analysis) - не то же самое, что калибровка в метрологии. 

Оценка в Распоряжении Правительства РФ про благотворительность

На конференции газеты "Ведомости" "«Благотворительность в России: 2025», которая прошла в Москве 2 марта, меня попросили сделать небольшое сообщение на секции об оценке. По замыслу организаторов, работа этой секции должна была строиться вокруг Распоряжения Правительства РФ от 15 ноября 2019 г. № 2705-р «О Концепции содействия развитию благотворительной деятельности в РФ на период до 2025 г.»
Оценка в этом постановлении упоминается 5 раз. Ниже приведу цитаты из Распоряжения (они обозначены как РП 2705-р и выделены курсивом), а следом - основные тезисы моего сообщения.

• РП 2705-р : «содействие повышению эффективности деятельности благотворительных организаций, включая развитие … практики оценки результативности»

Согласно недавнему исследованию, проведенному Центром развития филантропии Фонда Владимира Потанина, развитие доказательной филантропии является одним из мировых трендов. Тому есть целый ряд причин: от развития информационных технологий до смены поколений. То есть, оценка – в тренде! И очень хорошо, что ей уделено место в правительственном документе.

• РП 2705-р: «включение оценки социального эффекта как необходимого этапа реализации благотворительных программ и проектов»

Возможности для профессионального развития - международные новости

По разным каналам почти одновременно пришли следующие новости: 

• Открыт прием заявок на выступления на конференции Европейского общества оценки, которая пройдет в Копенгагене 21-25 октября. Тема конференции "Оценка в неопределенном мире: сложность, легитимность и этика". 
• Открыт прием заявок на выступления на конференции Американской ассоциации оценки, которая пройдет с 26 по 31 октября в г.Портленд, шт.Орегон. Тема конференции в этом году прямо-таки романтическая: "Как ты будешь светить своим светом?" ("How Will You Shine Your Light").  Заметьте, что участники европейской конференции успевают на американскую. Просто надо сразу улетать из Копенгагена в Портленд. Очень удобно! :)   
• Открыт прием заявок на обучение по программе IPDET (International Program for Development Evaluation Training). В этом году обучение пройдет с 6 по 24 июля в Берне, Швейцария. 
• Открыт прием заявок на онлайновый курс по проектированию. Курс проводится Международным тренинговым центром Международной организации труда в Турине. Окончившие получают сертифкат. 

Ожидаемые результаты и допущения в социальном проектировании

Известно, что так называемая "теория изменений" чаще всего представляется в виде 

1. карты ожидаемых результатов, показывающей, как действия в рамках проекта приведут к достижению цели проекта, и 
2. перечня допущений или условий, при соблюдении которых сработает наша "теория", на соблюдение которых мы рассчитываем и которые находятся за пределами нашего влияния. 

Практика показывает, что при разработке "теории изменений" и даже по ходу проекта или программы может возникнуть ситуация, когда изначально принятые допущения перейдут в категорию запланированных результатов. Рассмотрим такую ситуацию на простом примере. 

Предположим, некая компания приняла решение провести обучающий семинар для своих сотрудников. "Теория изменений" состоит в том, что сотрудники получат новые знания, а затем применят их на практике, что приведет к повышению эффективности работы компании. "Теория" сработает при условии, что (а) сотрудники захотят применить новые знания и (б) сотрудники смогут применить новые знания. Это два допущения. Проведение даже самого замечательного семинара, конечно же, не гарантирует соблюдения этих условий. Однако для использования результатов семинара соблюдение обоих условий очень важно. И здесь появляется следующий вопрос: не следует ли нам скорректировать теорию изменений так, чтобы не полагаться на соблюдение необходимых условий, а создать эти условия. Естественно, при этом проект из чисто обучающего превратится в инициативу, ориентированную на изменения в организации, и его рамки расширятся. В дополнение к обучению тогда следует создать систему мотивации сотрудников (чтобы захотели применить новые знания), а также создать условия, в которых новые знания можно будет применить.  В таком случае шансы практического использования результатов обучения существенно возрастут. А допущения уже будут несколько иными...Оставляю это как повод для ваших дальнейших размышлений. 

PS Хотел сюда вставить картинку с новой "картой результатов", но почему-то эта функция в Blogger сейчас не работает. Потому словами пришлось описать. 

Обсуждение результатов оценки

Сегодня в рамках "Школы оценки 3 в 1" пройдет вэбинар на эту важную тему. Слушателям школы предстоит в ближайшее время встретиться с их заказчиками и обсудить с ними полученные результаты. Несмотря на то, что оценка учебно-практическая, а "заказчиками" являются сами слушатели, предстоящие встречи вызывают и волнение, и вопросы.

В связи с этим хотел бы поделиться несколькими соображениями.

1. Встречу надо начать с того, какие были вопросы задания и как предполагалось использовать ответы.
2. Далее нужно обсудить каждый вопрос по схеме: факты - интерпретации - выводы - рекомендации. Т.е. консультанты должны рассказать, что они узнали, как они это объяснили, к каким выводам пришли и что в связи с этими выводами рекомендуют предпринять.
3. Следующим шагом (после обсуждения результатов) является их практическое использование. Это то, ради чего, в конечном итоге, проводится оценка. Об этом нужно постоянно помнить, об этом обязательно нужно поговорить. 
4. Нужно иметь в виду, что речь идет об эмпирической оценке, и не менять жанр. В рамках эмпирической оценки все выводы базируются на собранных эмпирических данных, а не на знаниях и прошлом жизненном опыте консультанта (см. "экспертную оценку").

Международная академия оценки?

Недавняя Глобальная ассамблея Международной ассоциации оценки развития (IDEAS) завершилась утверждением Пражской декларации, в которой одобрено изучение возможности создания Международной академии оценки. Такая Академия будет дополнять усилия профессиональных ассоциаций и выступать в качестве платформы для инноваций, творчества и сотрудничества в развитии оценки.
Я в Праге не был и в обсуждениях этой идеи не участвовал. Не до конца понимаю, как будет организационно оформлена Академия. Не понимаю, кто в ней будет работать, по замыслу авторов идеи. Если судить по анкете, ссылка на которую приводится ниже, то вся надежда на волонтеров. Хм... В любом случае инициатива серьёзная и может иметь далеко идущие последствия для развития нашей профессии.
Если Вы владеете английским, можно перейти по ссылке и заполнить небольшую анкету, чтобы поделиться своим видением Академии.

Компетенции специалиста по оценке: международная инициатива

В прошлом году наши канадские и американские коллеги предложили обсудить возможность достижения (частичного) консенсуса относительно компетенций специалиста по оценке. Дело в том, что работы в этом направлении до сих пор велись разными группами в разных странах, в частности, в Австралии, США, Канаде, Новой Зеландии. Европейское общество оценки и ООН опубликовали свои варианты. Для всех заинтересованных сторон очевидно, что для развития профессии было бы неплохо прийти к согласию относительно базовых компетенций (скажем, 60-70%), а для учета специфики добавлять особые компетенции (30-40%). В прошлом году на конференции Американской ассоциации оценки эту инициативу поддержали представители многих стран. В этом году уже прошла небольшая онлайн-конференция по этому вопросу. Думаю, нашей ассоциации обязательно надо участвовать в этой инициативе. Как только станут понятны дальнейшие шаги, надо будет сформировать рабочую группу. А пока будем поддерживать контакт с инициаторами.