Рождественская версия модели Кеневин

Модель Кеневин, о которой была отдельная публикация в этом блоге, в преддверии Рождества приобретает праздничный характер. Посмотрите, как здорово получилось у Мартина Берга (Martin Berg)! 

Теория изменений: возможности использования, ограничения, вопросы

Сегодня принимал участие в семинаре по проекту Фонда Gladway и НИУ ВШЭ "Разработка и апробация модели оценки социально-экономического воздействия деятельности". Меня попросили рассказать об опыте использования теории изменений - отличный повод этот опыт осмыслить! Основные тезисы моего сообщения - ниже.

Теория изменений - это... 

• Инструмент описания результатов проекта
• Инструмент проектирования (разработки замысла проекта)
• Способ визуализации замысла проекта
• Способ обоснования причинно-следственной связи между деятельностью в рамках проекта и ее результатами
• Способ определения границ воздействия проекта (см. Допущения)
• Основа для формирования системы мониторинга проекта
• Основа для оценки проекта
• Способ «архивирования» хороших практик в обобщенном виде

Теория изменений - вопросы и ограничения: 

• Как определить оптимальную степень детализации и сложности?
• Можно ли действия встраивать в цепочки результатов? Может ли достижение результата быть условием для осуществления какого-либо действия?
• Не любую стрелку можно «раскрыть» в виде цепочки результатов.
• Для доказательства наличия причинно-следственной связи может понадобиться серьезное исследование. НКО не всегда справятся.
• Достаточно ли у НКО компетенций, чтобы использовать для обоснования ТИ данные научных исследований и научные теории?
• Линейность ТИ (в классическом варианте) не отражает нелинейность жизни
• Усложнение ТИ в случае использования циклических диаграмм. В некоторых случаях необходимость применения специального программного обеспечения.
• Невозможность применения ТИ в динамических ситуациях, которые часто имеют место именно при работе с людьми. Для таких ситуаций ТИ можно построить лишь в ретроспективе.

Очень понравилось сообщение Максима Цыганкова из Центра перспективных управленческих разработок об опыте оценки политик! Надеюсь, в записи будет доступно.

Глокальные проблемы в развитии оценки

Сегодня выступал на виртуальной конференции АСОПП с сообщением о глобальных и локальных проблемах в развитии оценки. Презентация здесь (PDF).

Вот основные тезисы: 

1. Проблема практического использования оценки существует давно и пока не решена. Можно ли в таком случае рассчитывать на широкое практическое внедрение оценки?
2. Превращение оценки в инспекцию или в исследование ограничивает возможности ее использования в принятии управленческих решений и совершенствовании оцениваемых программ и проектов.
3. Инструментальное использование оценки (знание для действия) не всегда оказывается главным при ее внедрении. Это сильно снижает потенциал оценки как инструмента управления.
4. Практическое использование оценки может сдерживаться особенностями управленческой культуры, в частности, традициями (не)обоснования управленческих решений.
5. Активизм в оценке может стать причиной возникновения конфликта интересов у специалиста по оценке и привести к его неэтичному и непрофессиональному поведению.
6. Ресурсов для развития внутренней оценки и само-оценивания пока недостаточно. Развитие преимущественно внешней оценки не вполне отвечает интересам практиков, реализующих программы и проекты социальной направленности. 
7. Обязательность проведения оценки может существенно снижать пользу от неё. Публикация отчетов о результатах оценки создает конфликт интересов для консультантов и может привести к искажению результатов либо их неполному освещению.  

К 75-летию Майкла Пэттона

Майклу Пэттону (Michael Quinn Patton) - 75. Присоединяюсь к поздравлениям, которые он получает сегодня со всех концов планеты! Мне выпала честь стать одним из его учеников: Майкл был моим научным руководителем в программе PhD. Фотография сделана в самом начале нашего сотрудничества. Это было в 2002 году, потому мы оба выглядим несколько моложе, чем сейчас :) 

По случаю знаменательной даты друзьями и коллегами Майкла был проведен специальный опрос и опубликованы топ-10 уроков от гуру. Мне, пожалуй, ближе всего вот этот: "Главное в оценке - это подлинное понимание жизни".  

Консультанты против заниженного бюджета оценки

В последние годы в кулуарах консультанты часто судачат о том, что средства, выделяемые на проведение оценки программ, очень серьезно сокращаются. Это относится, в частности, к международным организациям. 

Не могу не задать читателям этого блога риторического вопроса: как вы думаете, стали бы организации сокращать расходы на то, что им очень нужно или даже жизненно необходимо?... Но речь не об этом. 

Сегодня произошло редкое событие. В ответ на просьбу представителя Международной организации гражданской авиации / ICAO (одна из структур ООН) распространить приглашение к участию в тендере на проведение оценки два очень известных консультанта из Канады написали открытые ответы. Суть обоих ответов сводится к тому, что неприлично такие предложения рассылать (денег мало). Приведу цитаты из обоих писем, чтобы не быть голословным.

"Просмотрел ваше сообщение. После уплаты налогов (нижний предел) и эквивалента  отчислений (стандарт) дневная ставка составит от 80 до 150 долларов США... [Такая] ставка профессионального вознаграждения не соответствует должностным требованиям. Таким образом, я не только не заинтересован сам, но и не хочу делиться этим со своими коллегами" 

"...Если быть дипломатичным, можно сказать так: нелепо предлагать уровни гонораров, идентичные тому, что мне платили 40 лет назад в самом начале моей карьеры консультанта. Нет абсолютно никаких причин для распространения такого запроса... Консультанты либо не получат адекватного вознаграждения, либо не будут иметь необходимой квалификации"

В первом письме автор предлагает "сделать шаг назад" и пересмотреть условия оплаты. 

Как вы думаете, какой была реакция представителя ICAO? Вот только что пришло: "Спасибо за комментарий! Сейчас скорректируем". 

Не представляю, чем эта дискуссия может закончиться. Открытые письма продолжают поступать...

Самая большая онлайновая конференция по оценке в этом году

Американская ассоциация оценки приняла решение в связи с пандемией впервые провести свою ежегодную конференцию Evaluation 2020 в онлайновом формате. Конференция пройдет с 27 по 30 октября 2020 года. Очные конференции этой ассоциации в последние годы посещали от 3 до 4,5 тысяч человек. Можно было бы ожидать, что число участников онлайновой конференции будет никак не меньше, однако регистрационный взнос в 300 долларов за участие в конференции и 150 долларов за участие в 3-часовом семинаре могут существенно ограничить число участников, по крайней мере, из дальнего зарубежья. Хотя в целом логика понятна: участники существенно экономят на проезде, проживании и питании. Почему бы тогда не оставить регистрационный взнос на прежнем уровне? 

Судя по всему. коллеги серьезно вложились в создание нового онлайнового ресурса, который позволит провести почти все традиционные для ежегодной конференции мероприятия: 

• Сессии. В этом году их будет 120 вместо обычных 800. За счет сокращения числа сессий, по словам организаторов, повысится их качество. Зарегистрированным участникам не обязательно все три дня сидеть перед компьютером с утра до вечера. Все сессии можно будет посмотреть в записи в течение 3 месяцев.
• Стендовые доклады. Ожидается их более 200. По-моему, с содержательной точки зрения стендовые доклады в онлайне даже удобнее, чем очно.
• 10 обучающих семинаров. 
• Рабочие встречи 60 тематических групп (Topical Interst Groups - TIGs).
• Встречи с издателями и авторами книг, а также с организациями, профессионально занимающимися оценкой в виртуальном выставочном зале.
• Развитие сети своих профессиональных контактов через неформальное общение, для чего создается специальный виртуальный коммуникационный центр.

Непосредственные результаты

В социальном проектировании непосредственными результатами (outputs) называют прямое следствие череды действий в рамках проекта. Казалось бы, все просто: выполнил действие - получил непосредственный результат. Однако, как ни странно, и в зарубежных, и в российских публикациях мнения о том, что считать непосредственным результатом расходятся радикальным образом. И похоже, что у нас ошибочная позиция становится все более и более популярной. Она заключается в том, что к непосредственным результатам относят характеристики выполненной деятельности. 

Предположим, в рамках проекта проводится обучение. Собственно обучение является деятельностью в рамках проекта. Здесь вопросов ни у кого не возникает. А теперь внимание! Непосредственными результатами обучения называют следующее: сколько учебных курсов организовали, сколько часов длились занятия, сколько человек приняли участие в обучении. Но всё перечисленное относится к самой деятельности, характеризует ее масштабы, отвечает на вопрос о том, сколько мы всего сделали. Все это характеристики (показатели) выполненной деятельности, но никак не ее непосредственные результаты. Что же является непосредственным результатом обучения, его прямым следствием? То, что происходит с обучаемыми: изменение их знаний, умений, навыков, отношения к чему либо. 

Почему важно правильно формулировать непосредственные результаты? Потому что, если этого не сделать корректно, появится разрыв в логике проекта между деятельностью и ожидаемым конечным результатом проекта. Это, в свою очередь, может существенно снизить обоснованность замысла проекта, нам будет сложно доказать, что наши действия приведут к достижению желаемой цели. К тому же, не зная непосредственных результатов, может оказаться весьма сложно провести оценку проекта.

Предположим, речь идет об обучении пенсионеров компьютерной грамотности. Мы рассчитываем, что после обучения они станут пользоваться компьютером и расширят круг общения; найдут родственников, старых друзей и коллег в соцсетях; станут заказывать лекарства и продукты на дом. В конечном итоге, это приведет к повышению качества их жизни. В данной логике имеется разрыв - отсутствует непосредственный результат. Человек отсидел несколько часов на курсах и вернулся домой. В каком случае он сможет пользоваться компьютером со всеми вытекающими чудесными последствиями? Только в том случае, когда у него в результате обучения появились соответствующие навыки и знания. Вполне можно допустить, что обучение будет проведено так, что учащиеся не в полной мере освоят предложенный им материал и не сформируют необходимых навыков. Далее, соответственно, ничего не произойдет, и цель проекта достигнута не будет. Когда мы оцениваем подобный проект, который потерпел неудачу, мы обязательно обращаемся к тому, в какой мере удалось достичь непосредственных результатов (формирование новых знаний и навыков), поскольку именно здесь может оказаться причина возникшей проблемы. 

Важно отделять непосредственные результаты деятельности от самой деятельности. Это, кстати, может оказаться не так уж и просто. Куда проще отнести к непосредственным результатам число обученных и продолжительность занятий в часах. Возможно, именно поэтому и возникает столь распространенная ошибка? 

Где учиться оценке?

Есть три вводных бесплатных онлайновых курса на русском языке: 

• Вводный курс по оценке от программы EvalPartners. 
• Вводный курс по оценке от Ассоциации развития гражданского общества (Казахстан)

На эти два курса может зарегистрироваться любой желающий.

• Новый онлайновый курс "Оценка проектов и программ в сфере детства"  Этот курс «Оценка программ и проектов в сфере детства» подготовлен в рамках проектов АНО «Эволюция и Филантропия» «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства», который реализуется на средства гранта Комитета общественных связей и молодежной политики города Москвы  и «Онлайн-курс по оценке проектов и программ в сфере детства», который реализуется на средства гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проектов осуществляет также Фонд Тимченко. Условия участия в этом курсе следует уточнять у организаторов.

Две российские университетские программы:  

• Бакалаврская программа "Управление и аналитика в государственном секторе" (НИУ ВШЭ СПб)
• Магистерская программа "Доказательное проектирование и оценка программ в области управления социальными рисками в сфере детства" (МГППУ, ф-т Юридическая психология)

Известная международная обучающая программа IPDET | INTERNATIONAL PROGRAM FOR DEVELOPMENT EVALUATION TRAINING переведена в режим онлайн. Здесь нужен английский. Доступны стипендии.

Для тех, кто рассматривает возможность получить образование за рубежом: 

• Список преимущественно американских университетов, где можно получить образование в сфере оценки, от Американской ассоциации оценки.
• Список европейских университетов от Европейского общества оценки.

Конференция АСОПП: о чем будем говорить?

Сегодня - последний день подачи заявок на выступления на конференции АСОПП. На практике сроки подачи заявок почти всегда продлевались. Полагаю, что этот год не станет исключением с учетом известных форс-мажорных обстоятельств...

На всякий случай: сайт конференции, онлайновая форма подачи заявки. 

В этом году тема конференции такая: "Оценка в глобальном мире: международные тренды и российская практика". Программа конференции будет формироваться на основе конкурсного отбора заявок. Конференция пройдет в виртуальном формате. 

Долго размышлял о том, что мне хотелось бы обсудить в связи с темой конференции и пришел к выводу, что это - проблемы развития оценки (и глобальные, и локальные). О замысле своего выступления расскажу подробнее, если оно войдет в программу конференции. Заявку подал. А вы? 

Данные исследований и личный опыт: что работает при принятии решений?

Пфеффер и Саттон - авторы книги "Доказательный менеджмент. Новейшая концепция управления от Гарвардской школы бизнеса" - пишут: "Предположим, врач или менеджер принимает решение, которое не основано на лучших на данный момент доказательствах. В чем его винить? Проще всего предположить худшее: глупость, лень, обман. Но в реальности дело обстоит несколько иначе. Опытные практики избегают поиска новых доказательств (лучших на данный момент - АК), потому что они доверяют своему собственному опыту больше, чем исследованиям. Большинство из них почти наверняка признали бы проблемы с небольшим размером выборки, на базе которой формировался личный опыт, но, тем не менее, информация, полученная из первых рук, часто кажется богаче и ближе к реальным знаниям, чем слова и данные в журнальной статье" (Evidence-Based Management by Jeffrey Pfeffer and Robert I. Sutton).

В качестве подтверждения наблюдения Пфеффера и Саттона приведу две цитаты. 

Президент Беларуси А.Лукашенко (опубликовано РИА "Новости" 02.04.2020):
"Вчера один очень умный россиянин (ученый – ред.), я послушал, сказал: надо физически бороться с ним (коронавирусом – ред.). Я думаю, как же физически? Надо себя защитить от опасности. Спортом заниматься надо и на свежем воздухе быть. Надо легким помочь. Мы, говорит, на диете сидели, а нужна жирная пища. И я тоже ограничивал себя. А сливочное масло надо сейчас есть, оказывается, жир помогает легким бороться с вирусами", - сказал Лукашенко. По словам президента, если специалист, ученый, такое говорит, "наверное, не дурак". "Вот я из опыта своего его в этом поддерживаю" (выделено мной - АК), - заметил он".

Президент США Д.Трамп (опубликовано BBC News 19 мая 2020 года):
"На вопрос о том, что он считает доказательствами положительных качеств  гидроксихлорохина (для профилактики COVID-19 - АК), г-н Трамп ответил: "Вот мои доказательства: я получил много положительных отзывов об этом"  (выделено мной - АК). Он добавил: "Я слышал много хороших историй [о гидроксихлорохине]  (выделено мной - АК), и если это нехорошо, я скажу вам прямо: я не собираюсь причинять себе вред".

Наверное, этот эффект следует отнести к сфере психологии. Мы более склонны признавать данные исследований в качестве доказательств, если они соответствуют нашему личному опыту. И, наоборот, если данные исследований не подтверждаются нашим личным опытом либо противоречат ему, использование таких данных может оказаться под вопросом. Можете провести мысленный эксперимент и проверить, так ли это в Вашем случае применительно к тем решениям, которые принимаете Вы.

Движущая сила оценки

Боб Вильямс из Новой Зеландии опубликовал на днях небольшую заметку, которая начинается с такой фразы: "Критерии - движущая сила оценки". В этой заметке Боб обосновывает свою позицию относительно значимости критериев при проведении оценки. О нашей с ним дискуссии по поводу критериев в оценке я писал ранее.

Аргументация Боба на этот раз такова. Если понимать оценку как "систематический процесс определения достоинств, ценности или значимости чего-либо"; то определить, что относится к достоинствам программы, её ценности или значимости, без критериев невозможно. Далее Боб указывает на риски, связанные с использованием стандартного набора критериев. Он настаивает на том, что критерии должны формироваться под каждую конкретную задачу, ссылаясь, в частности, на разработки Чёрчмена (C. West Churchman) и Ульриха (Ulrich) в сфере "критических систем" (Critical Systems). Одной из центральных тем в рамках этого подхода является определение границ (boundaries) в связи с решением той или иной задачи. Критерии, по мнению Боба, задают такие границы. Непродуманное использование стандартных критериев может привести к ошибкам. Боб приводит в качестве примера критерий "эффективность использования средств" (efficiency) для экспериментальной программы. Он считает, что в такой программе средства почти наверняка будут использоваться не слишком эффективно, однако это никак не влияет на ценность программы: она может быть очень даже стоящей с точки зрения понимания того, как работает использованный в ней подход. 

Хорошие вопросы

Один из самых ценных и важных моментов для меня как для преподавателя - это вопросы слушателей. Во-первых, эти вопросы показывают, насколько люди включились в осмысление предложенной темы. Во-вторых, вопросы помогают понять, что можно было бы рассказать по-другому, точнее, нагляднее и - по возможности - исправиться, а также учесть это на будущее. В третьих, вопросы слушателей предоставляют преподавателю возможность для творчества в реальном времени, поскольку часто заранее заготовленного ответа может и не быть.

Предлагаю уважаемым читателям этого блога подумать над ответами на следующие вопросы, заданные слушателями в ходе недавнего (естественно, онлайнового) обзорного курса по оценке проектов и программ. Вопросы касаются экспертной и индикаторной оценки (здесь пост про виды оценки).

• Может ли специалист по оценке, основываясь на своем сугубо личном положительном опыте, сделать заключение об эффективности проекта?
• Какова мера ответственности экспертов, оценивавших замысел проекта, за наступление (или ненаступление) прогнозируемого результата проекта? 
• Для проведения экспертной оценки привлекаются опытные люди. При этом эксперт с 20-летним стажем может быть ярым противником новых методов и подходов, но его мнение окажется "весомее" мнения молодого новатора. Как быть?  
• Чем регламентирована ответственность эксперта за результаты проведенной им оценки? Что можно было бы предусмотреть в договоре с экспертом в плане его ответственности в целом (не по сути экспертной оценки)? 
• Есть ли какая-то зависимость между тем, какой вид оценки применялся на этапе проектирования, и какой вид оценки используется на этапе реализации проекта? 
• Следует ли установить существенные критерии/индикаторы для оценки проектов в определенных предметных областях? 
• Как определить наиболее значимые (весомые) индикаторы?
• В каких ситуациях целесообразно применять индикаторную оценку, чтобы получить максимальный эффект? 
• Каким образом можно выявить "пустой" индикатор (индикатор, значение которого ни о чем важном не говорит)? 
• Как давать оценку индикаторам, целевые значения которых были изначально занижены? Как обосновать свое суждение в этом случае? 
• Как оценить качество индикаторов? 

К вопросу о "нейтральной" позиции специалиста по оценке программ

Размышляю об известном тезисе о том, что специалист по оценке должен быть непредвзятым, занимать "нейтральную" позицию по отношению к оцениваемой программе или проекту. Причины очевидны: заказчик оценки - кто бы он ни был - не хочет получить отчет, содержание которого основано на общем отношении консультанта (положительном или негативном), а не на собранных в ходе оценки эмпирических данных. Более того, вольно или невольно отношение консультанта по оценке может повлиять и на характер данных, которые он собирает. 

Существует, однако, и другая точка зрения, которую хорошо сформулировал Роберт Стейк (Robert Stake) - один из выдающихся теоретиков оценки, автор классической книги по использованию метода "кейс стади". Он сказал, что зачастую нам может быть небезразлично то, что мы оцениваем, и что так и должно быть. Как сказал другой гуру в области оценки Майкл Пэттон (Michael Patton), нам вовсе не обязательно претендовать на нейтральную позицию по отношению к проблемам, на решение которых направлены программы, для того, чтобы провести справедливую сбалансированную нейтральную оценку. "Кому нужен консультант по оценке, которому безразличны голод, домашнее насилие или ВИЧ/СПИД?" - спрашивает он. В подтверждение своих слов Пэттон говорит о том, что, оценивая программы, связанные с ВИЧ/СПИДом, он всегда помнит о погибшем от СПИДа старшем брате. Поэтому он проводит оценку с пристрастием, т.к. действительно очень хочет, чтобы такие программы работали эффективно. 

Здесь возникает другой вопрос: что можно предпринять для того, чтобы наша пристрастность не стала причиной искажения данных и не привела к ошибочным выводам и рекомендациям? 

Новый сайт Европейского общества оценки

Европейское общество оценки ровно на год перенесло свою конференцию, которая была запланирована на 6-10 сентября 2020 года. Теперь конференция состоится в те же даты, но в 2021 году. Место проведения не изменилось: Копенгаген. Однако перенос конференции не помешал нашим коллегам обновить свой сайт, о чем было объявлено сегодня.

BetterEvaluation выходит на новый уровень

BetterEvaluation - это, на мой взгляд, лучший источник информации об оценке. Причем не только на английском языке. Пользуюсь этим порталом регулярно и всегда нахожу то, что нужно. Если надо найти какие-то публикации по оценке, начинаю, как правило, с BetterEvaluation.

Этот интернет-проект был запущен около 10 лет назад, а сейчас произошло важное событие: BetterEvaluation зарегистрирована как некоммерческая организация. Одновременно с этим заработал обновленный сайт. 

Бессменный руководитель проекта и, соответственно, лидер новой НКО - Патриция Роджерс (Patricia Rogers) из Австралии. Патриция - выдающийся специалист в сфере оценки (исследователь, преподаватель, практик). У нее много замечательных публикаций. В последнее время она много работает в сфере использования системного мышления в оценке. 

На FB можно посмотреть видео, где Патриция делится свежими новостями про BetterEvaluation. 

Будущее филантропии: ключевые тренды. Метаанализ прогнозов.

Сегодня Фонд Потанина опубликовал доклад «Будущее филантропии: ключевые тренды. Метаанализ прогнозов». Он подготовлен по заказу Центра развития филантропии Благотворительного фонда Владимира Потанина. В докладе предлагается обзор наиболее значимых тенденций развития глобальной филантропии на основании мнений ведущих международных экспертов и организаций некоммерческого сектора относительно факторов, контекстов и принципов, влияющих на филантропию будущего, а также причинно-следственных связей между ними. На подготовку доклада ушло несколько месяцев, и это была очень интересная работа!

Стратегия как выбор в условиях неопределенности

Обсуждаем с одним из наших давних партнеров, как им организовать процесс стратегического планирования. Именно сейчас. Естественно, в онлайне. У них завершается цикл реализации предыдущей стратегии, потому обсудить принципиальные вопросы, связанные с будущим организации, очень важно. Проблема в том, что никто не знает, как будет развиваться ситуация, в которой мы все оказались. Имеет ли смысл в таких условиях обсуждать стратегию – в принципе? Мне кажется, что ответ на этот вопрос зависит от того, что именно обсуждать. Если рассматривать стратегию как базовые положения, которые помогают организации действовать в условиях неопределенности, то обсуждать однозначно стоит. Например, самое время проговорить, какими ценностями и принципами руководствуется организация в своей деятельности. Это имеет смысл, потому что в условиях неопределенности необходимо постоянно пересматривать линию поведения организации и быстро принимать важные решения, которые не должны противоречить принципам и ценностям. Здесь будет кстати вспомнить модель Кенэвин, о которой я писал пару лет тому назад. 

История развития мониторинга и оценки в Сети СЦПОИ. Начало.

Сегодня исполнилось 25 лет Сибирскому центру поддержки общественных инициатив (СЦПОИ). Хотел бы поздравить коллег со славной датой, пожелать дальнейшей плодотворной работы и новых высот, а также поблагодарить за доверие и возможность пройти рядом значительную часть этого долгого пути, ведь наше сотрудничество началось в 1996 году и продолжается по сей день! 
Я всегда стараюсь публикации в этом блоге делать компактными. Но сегодня - особый случай: хотел бы поделиться фрагментом моей статьи, опубликованной в бюллетене СЦПОИ "Эффект присутствия" в 1999 году. Статья называлась "Мониторинг и оценка программ в Сети СЦПОИ: взгляд со стороны", и значительная её часть, которая приводится ниже, была посвящена истории развития мониторинга и оценки. Заметьте, в 1999 году! Думаю, документ представляет собой не только историческую ценность :), но может оказаться полезен и сегодня тем, кто интересуется темой развития потенциала оценки в организациях.

Все меняется в условиях кризиса

«Все меняется в условиях кризиса. Примите изменения, не сопротивляйтесь им. Цели программы могут измениться. Меры эффективности могут измениться. Целевые группы населения могут измениться. Планы реализации могут измениться. Меры результатов могут измениться. Это означает, что дизайн оценки, сбор данных, отчетность, сроки проведения и критерии оценки будут и должны меняться. Запланированное использование результатов оценки и даже предполагаемые пользователи могут измениться. Ожидайте изменений. Поддерживайте изменения. Документируйте изменения и их последствия. Именно в этом заключается ваша работа в условиях кризиса, а не в том, чтобы продолжать работать как обычно, как будто ничего не происходит. Сейчас мы не можем работать «как обычно». Если вы видите, что программы не адаптируются к меняющимся условиям, подумайте о том, чтобы настоять на адаптации, предлагайте различные варианты решений. В случае необходимости идите на риск, чтобы помочь другим справиться с происходящим»
Майкл Пэттон (Michael Quinn Patton)
Влияние чрезвычайной ситуации (в связи с глобальной пандемией коронавируса) на оценку программ

Онлайновые инструменты для проведения совещаний

В силу известных обстоятельств возникла необходимость продолжить в онлайновом режиме серию очных совещаний, начатую в Москве. Надо работать с карточками: писать на них что-то, наклеивать на стену, соединять стрелками, перевешивать и т.д. Я это делал сотни раз, но не в онлайне. Позвонил коллеге в США. У них ассоциация фасилитаторов, давно работают в онлайне. Рекомендация такая: использовать ZOOM для конференц-связи и программу Linoit.com, которая "заточена" под работу с карточками. Коллеги в России тоже посоветовали ZOOM в сочетании с программой MIRO. Мне обе программы понравились. Но решил использовать более привычную VISIO в сочетании с ZOOM. Получилось хорошо. 

"Парад ценностей"

Парад планет - астрономическое явление, при котором некоторое количество планет Солнечной системы оказывается по одну сторону от Солнца в небольшом секторе. При этом они находятся более или менее близко друг к другу на небесной сфере, и их чуть ли не все можно увидеть в одном направлении. Бывает это нечасто. Говорят, что предыдущий парад планет был в 1982 году, а следующий случится аж в 2161.
В связи с пандемией коронавируса мы все столкнулись с необходимостью принятия очень значимых решений, последствия которых могут быть по-настоящему судьбоносными - для отдельных людей, для их близких, для малых и больших организаций, для целых стран. В таких обстоятельствах люди руководствуются ценностями - тем, что для них действительно является самым важным. Читаю новости, слежу за публикациями в социальных сетях, разговариваю с друзьями и вижу своего рода "парад ценностей" - явление удивительное и весьма редкое. Как и парад планет. 

Критерии хорошего экспертного суждения

Интересный перечень критериев, описывающих хорошее экспертное суждение от Chan (1982): Expert Judgments under Uncertainty: Some Evidence and Suggestions. Social Science Quarterly 63, pp. 428

• Непротиворечивость (coherence), то есть суждение не содержит внутренних противоречий, не противоречит само себе.
• Калибровка (сalibration), то есть суждение предсказывает события с определенной статистической вероятностью.
• Однозначность (resolution), то есть суждение является как можно более однозначным и не допускает различных толкований. 
• Надежность (reliability), т.е. другое суждение того же эксперта приведет к тем же прогнозам, если будет основано на тех же фактах.

На всякий случай привожу английские термины из оригинала. Я старался не точно слова перевести, а смысл отразить. Естественно, калибровка в социальных науках (в частности, в качественном сравнительном анализе/Qualitative Comparative Analysis) - не то же самое, что калибровка в метрологии. 

Оценка в Распоряжении Правительства РФ про благотворительность

На конференции газеты "Ведомости" "«Благотворительность в России: 2025», которая прошла в Москве 2 марта, меня попросили сделать небольшое сообщение на секции об оценке. По замыслу организаторов, работа этой секции должна была строиться вокруг Распоряжения Правительства РФ от 15 ноября 2019 г. № 2705-р «О Концепции содействия развитию благотворительной деятельности в РФ на период до 2025 г.»
Оценка в этом постановлении упоминается 5 раз. Ниже приведу цитаты из Распоряжения (они обозначены как РП 2705-р и выделены курсивом), а следом - основные тезисы моего сообщения.

• РП 2705-р : «содействие повышению эффективности деятельности благотворительных организаций, включая развитие … практики оценки результативности»

Согласно недавнему исследованию, проведенному Центром развития филантропии Фонда Владимира Потанина, развитие доказательной филантропии является одним из мировых трендов. Тому есть целый ряд причин: от развития информационных технологий до смены поколений. То есть, оценка – в тренде! И очень хорошо, что ей уделено место в правительственном документе.

• РП 2705-р: «включение оценки социального эффекта как необходимого этапа реализации благотворительных программ и проектов»

Возможности для профессионального развития - международные новости

По разным каналам почти одновременно пришли следующие новости: 

• Открыт прием заявок на выступления на конференции Европейского общества оценки, которая пройдет в Копенгагене 21-25 октября. Тема конференции "Оценка в неопределенном мире: сложность, легитимность и этика". 
• Открыт прием заявок на выступления на конференции Американской ассоциации оценки, которая пройдет с 26 по 31 октября в г.Портленд, шт.Орегон. Тема конференции в этом году прямо-таки романтическая: "Как ты будешь светить своим светом?" ("How Will You Shine Your Light").  Заметьте, что участники европейской конференции успевают на американскую. Просто надо сразу улетать из Копенгагена в Портленд. Очень удобно! :)   
• Открыт прием заявок на обучение по программе IPDET (International Program for Development Evaluation Training). В этом году обучение пройдет с 6 по 24 июля в Берне, Швейцария. 
• Открыт прием заявок на онлайновый курс по проектированию. Курс проводится Международным тренинговым центром Международной организации труда в Турине. Окончившие получают сертифкат. 

Ожидаемые результаты и допущения в социальном проектировании

Известно, что так называемая "теория изменений" чаще всего представляется в виде 

1. карты ожидаемых результатов, показывающей, как действия в рамках проекта приведут к достижению цели проекта, и 
2. перечня допущений или условий, при соблюдении которых сработает наша "теория", на соблюдение которых мы рассчитываем и которые находятся за пределами нашего влияния. 

Практика показывает, что при разработке "теории изменений" и даже по ходу проекта или программы может возникнуть ситуация, когда изначально принятые допущения перейдут в категорию запланированных результатов. Рассмотрим такую ситуацию на простом примере. 

Предположим, некая компания приняла решение провести обучающий семинар для своих сотрудников. "Теория изменений" состоит в том, что сотрудники получат новые знания, а затем применят их на практике, что приведет к повышению эффективности работы компании. "Теория" сработает при условии, что (а) сотрудники захотят применить новые знания и (б) сотрудники смогут применить новые знания. Это два допущения. Проведение даже самого замечательного семинара, конечно же, не гарантирует соблюдения этих условий. Однако для использования результатов семинара соблюдение обоих условий очень важно. И здесь появляется следующий вопрос: не следует ли нам скорректировать теорию изменений так, чтобы не полагаться на соблюдение необходимых условий, а создать эти условия. Естественно, при этом проект из чисто обучающего превратится в инициативу, ориентированную на изменения в организации, и его рамки расширятся. В дополнение к обучению тогда следует создать систему мотивации сотрудников (чтобы захотели применить новые знания), а также создать условия, в которых новые знания можно будет применить.  В таком случае шансы практического использования результатов обучения существенно возрастут. А допущения уже будут несколько иными...Оставляю это как повод для ваших дальнейших размышлений. 

PS Хотел сюда вставить картинку с новой "картой результатов", но почему-то эта функция в Blogger сейчас не работает. Потому словами пришлось описать. 

Обсуждение результатов оценки

Сегодня в рамках "Школы оценки 3 в 1" пройдет вэбинар на эту важную тему. Слушателям школы предстоит в ближайшее время встретиться с их заказчиками и обсудить с ними полученные результаты. Несмотря на то, что оценка учебно-практическая, а "заказчиками" являются сами слушатели, предстоящие встречи вызывают и волнение, и вопросы.

В связи с этим хотел бы поделиться несколькими соображениями.

1. Встречу надо начать с того, какие были вопросы задания и как предполагалось использовать ответы.
2. Далее нужно обсудить каждый вопрос по схеме: факты - интерпретации - выводы - рекомендации. Т.е. консультанты должны рассказать, что они узнали, как они это объяснили, к каким выводам пришли и что в связи с этими выводами рекомендуют предпринять.
3. Следующим шагом (после обсуждения результатов) является их практическое использование. Это то, ради чего, в конечном итоге, проводится оценка. Об этом нужно постоянно помнить, об этом обязательно нужно поговорить. 
4. Нужно иметь в виду, что речь идет об эмпирической оценке, и не менять жанр. В рамках эмпирической оценки все выводы базируются на собранных эмпирических данных, а не на знаниях и прошлом жизненном опыте консультанта (см. "экспертную оценку").

Международная академия оценки?

Недавняя Глобальная ассамблея Международной ассоциации оценки развития (IDEAS) завершилась утверждением Пражской декларации, в которой одобрено изучение возможности создания Международной академии оценки. Такая Академия будет дополнять усилия профессиональных ассоциаций и выступать в качестве платформы для инноваций, творчества и сотрудничества в развитии оценки.
Я в Праге не был и в обсуждениях этой идеи не участвовал. Не до конца понимаю, как будет организационно оформлена Академия. Не понимаю, кто в ней будет работать, по замыслу авторов идеи. Если судить по анкете, ссылка на которую приводится ниже, то вся надежда на волонтеров. Хм... В любом случае инициатива серьёзная и может иметь далеко идущие последствия для развития нашей профессии.
Если Вы владеете английским, можно перейти по ссылке и заполнить небольшую анкету, чтобы поделиться своим видением Академии.

Компетенции специалиста по оценке: международная инициатива

В прошлом году наши канадские и американские коллеги предложили обсудить возможность достижения (частичного) консенсуса относительно компетенций специалиста по оценке. Дело в том, что работы в этом направлении до сих пор велись разными группами в разных странах, в частности, в Австралии, США, Канаде, Новой Зеландии. Европейское общество оценки и ООН опубликовали свои варианты. Для всех заинтересованных сторон очевидно, что для развития профессии было бы неплохо прийти к согласию относительно базовых компетенций (скажем, 60-70%), а для учета специфики добавлять особые компетенции (30-40%). В прошлом году на конференции Американской ассоциации оценки эту инициативу поддержали представители многих стран. В этом году уже прошла небольшая онлайн-конференция по этому вопросу. Думаю, нашей ассоциации обязательно надо участвовать в этой инициативе. Как только станут понятны дальнейшие шаги, надо будет сформировать рабочую группу. А пока будем поддерживать контакт с инициаторами.

Больше отдыхать

На днях встречались с друзьями, которые профессионально занимаются консалтингом, как и мы, более четверти века. Обсуждали в числе прочего тему рабочей нагрузки. Если кто не в курсе 😏, консультанту приходится работать весьма напряженно - сильно ненормированный рабочий день, работа в выходные, нерегулярные отпуска и т.д. Можно ли работать меньше? Получается, что не особо. И по финансовым соображениям, и потому, что интересная же работа! Решили, что работать меньше не надо, а надо больше отдыхать.

Влияние ресурсных центров на развитие НКО

Вместе с новосибирскими СЦПОИ и ИнАЦентром мы несколько месяцев проводили оценку влияния ресурсных центров на развитие НКО сектора в России. Предварительные результаты этой оценки дважды обсуждались публично - на встрече представителей ресурсных центров в Новосибирске и на специально организованной встрече в Москве (спасибо "БЛАГОСФЕРЕ" за предоставление площадки!). Только что отчет об оценке был опубликован. Президент СЦПОИ Елена Малицкая поделилась своими мыслями об этой работе. Не стану излагать здесь содержание отчета - лучше прочесть. Отмечу лишь три момента: 

   Не удивило: список наиболее влиятельных НКО.
   Удивило: сколько же всего было сделано ими за 25 лет!
   Стало неожиданным: все бывшие "ресурсные центры" уже давно перестали быть таковыми. Может быть, это - закономерность? Если так, то имеет ли смысл создавать новые ресурсные центры? По крайней мере, надо сразу задумываться о их стратегии развития и дальнейшей судьбе.