Формула как метафора

Примерно в 70-80-х годах прошлого века специалисты по организационному развитию придумали т.н. "формулу организационных изменений". Часто её называют "формулой Бекхарда" - по имени одно из основоположников науки об организационном развитии - или "формулой Бекхарда-Харриса". В то же время сам Бекхард приписывал авторство в создании этой формулы Дэвиду Глейчеру. 

Формула такая: Н x В x П > С

Здесь "Н" - неудовлетворенность текущей ситуацией, "В" - видение того, что и как можно и нужно изменить, "П" - первые практические шаги, а "С" - сопротивление изменениям. Произведение первых трех величин должно превышать сопротивление изменениям. Если хотя бы одна из этих величин равна нулю, то изменение невозможно, т.к. преодолеть сопротивление не удастся.

"Формула" явно ушла в народ, и её стали модифицировать. Как минимум, есть еще два варианта: в сомножители добавляют четвертый элемент - believability (правдоподобность) или capacity (наличие необходимых ресурсов).

Думаю, что формулу эту следует воспринимать не как формулу в математическом смысле, а как метафору: в ней отражены важные представления о факторах, влияющих на изменения, и взаимосвязи между ними. Не стоит пытаться искать единицы измерений для сомножителей или рассматривать эту "формулу" как основание для математической модели. Здесь больше про психологию, чем про математику. И, кстати, важная особенность метафоры: может статься, что не у всех откликнется… Это же не совсем "формула"! 😊 

Как формулу Бекхарда можно использовать при проведении оценки программы или проекта? Простой пример: если в результате проекта запланированные изменения не произошли, формула может пригодиться для выявления причин; подскажет, где их искать...

Подробнее почитать можно, например, здесь 

Из зарубежного опыта: кризис оценки в США

Известно, что оценка стала активно внедряться в США в 60-е годы прошлого века. Проводилась она преимущественно силами научно-исследовательских учреждений. Через некоторое время у многих накопились вопросы… 

Исследование, проведенное по заказу Главного контрольно-ревизионного управления США в начале 70-х годов прошлого века, показало, что подавляющее большинство оценок не имеют отношения к делу — они занимают слишком много времени, вызывают много методологических нареканий, информируют о результатах спустя много времени после принятия решений (для принятия которых они проводились), а отчеты по их результатам непонятны для пользователей. Это привело к серьезному кризису в развитии оценки в США. Выйти из него помогли, в частности, развитие оценки, ориентированной на использование результатов (М.Пэттон) и внедрение внутренней оценки и само-оценивания. 

Уроки из опыта американских коллег: 

• если оценка проводится для информационного обеспечения принятия решений, то ее результаты должны быть предоставлены к моменту принятия решения, 
• методология проведения оценки должна быть понятна пользователям ее результатов (лицам, принимающим решения) и одобрена ими,
• отчет по результатам оценки должен быть дружелюбен по отношению к читателю – пользователю результатов оценки (лицу, принимающему решения),
• организациям следует развивать собственный потенциал в сфере оценки.

Окружающая среда как стейкхолдер

В прошлый четверг на заседании клуба PROОЦЕНКУ обсуждали, кого следует включать в число заинтересованных сторон (стейкхолдеров) при проектировании и при проведении оценки проекта. Оказывается, исследователи, занимающиеся теорией стейкхолдеров (есть и такие!), уже без малого лет 20 обсуждают, можно ли считать природу (окружающую среду) стейкхолдером. К  согласию пока не пришли. На рисунке – наиболее распространенные аргументы «за» и «против» этой идеи (рисунок заимствован с этого сайта, перевод мой). 

Сказать, что природа может быть заинтересованной в оценке проекта стороной, вроде бы, можно лишь с очень большой натяжкой. Даже если проект экологический, а от результатов оценки будет зависеть состояние окружающей среды на многие годы вперед. Такое может быть, если, к примеру, по результатам оценки будет принято решение о реализации многолетней экологической программы. Или в этом случае можно сказать, что природа – стейкхолдер? Как вы думаете?

Анализ заинтересованных сторон при проведении оценки

Если вы проводите оценку своего проекта, её можно рассматривать как самостоятельный проект. Соответственно, получается, что весь спектр инструментов социального проектирования можно применить в оценке, учитывая специфику это вида деятельности. В частности, можно использовать инструменты для анализа заинтересованных сторон, для обозначения которых часто используют кальку с английского – «стейкхолдеров» (stakeholders). Суть такого анализа заключается в том, чтобы выявить тех, кто имеет существенное влияние на проект и заинтересован в его результатах. В случае с оценкой это будут люди или организации, которые заинтересованы в результатах оценки и могут повлиять на них. При проведении оценки особенно важны те, кто не просто заинтересован в результатах оценки, но планирует их использовать. 

Для анализа стейкхолдеров часто предлагается использовать матрицу, помогающую выделить тех, у кого есть интерес к проекту, и кто может оказать на него большое влияние. В предложенной здесь версии матрицы стейкхолдеров речь идет не о проекте вообще, а об оценке. 

Ключевые стейкхолдеры оказываются в правом верхнем квадранте. Активное сотрудничество с ними начинается уже на этапе постановки задачи. И продолжается вплоть до подготовки отчета. К таким стейкхолдерам может относиться, например, организация, финансирующая социальный проект (донор). Если вы планируете провести оценку своего проекта, донор почти наверняка будет заинтересован в ее результатах и может сделать существенный вклад в проведение оценки. Потому, например, неплохо выяснить, что донор хотел бы узнать по результатам оценки, и включить соответствующие вопросы в техническое задание. 

По приведенным ниже ссылкам можно посмотреть публикации по анализу стейкхолдеров применительно к оценке на английском языке:

https://www.researchgate.net/publication/305357787_Analyzing_and_Engaging_Stakeholders

https://www.betterevaluation.org/methods-approaches/methods/stakeholder-mapping-analysis  

http://evaluationtoolbox.net.au/index.php?option=com_content&view=article&id=52&Itemid=133 

«Теория изменений» и оценка рисков социального проекта

Как известно, «теория изменений» проекта показывает взаимосвязь между деятельностью в рамках проекта и её ожидаемым эффектом, а также допущения, при которых такая связь возможна. Причинно-следственные связи в теории изменений представляются в форме карты ожидаемых результатов. В общем случае карта ожидаемых результатов содержит несколько цепочек ожидаемых результатов, которые связывают действия в рамках проекта с целью проекта. В пределе (в простейшем случае) цепочка ожидаемых результатов может быть одна. Рассмотрим такой пример.

Проект состоит в том, чтобы обучить детей младших классов игре в шахматы. Для этого проводится обучение учителей, а затем детям предлагается (по желанию) ходить на уроки шахмат раз в неделю в течение учебного года. Предполагается, что дети научатся играть в шахматы, и это приведет к позитивным эффектам в сфере их личностного и интеллектуального развития.

Допущения – это те условия, которые важны для успеха проекта, но которые находятся вне сферы его влияния. В частности, в данном случае мы исходим из того, что :

• Любой учитель младших классов сможет квалифицированно преподавать шахматы детям, пройдя наш курс обучения. 
• Родители младших школьников поддержат данную инициативу и не станут возражать против того, что их детям станут еще и шахматы преподавать. 
• Любой ребенок может научиться играть в шахматы.

Каким образом можно использовать теорию изменений для выявления рисков применительно к конкретному социальному проекту? Можно проверить (а) обоснованность причинно-следственных связей (стрелочки на рисунке) и (б) реалистичность допущений.

Например, достаточно ли у нас оснований считать, что есть связь между умением играть в шахматы и эффектами на личностном и интеллектуальном уровнях? (причинно-следственная связь) А вдруг не будет таких эффектов? (риск)

Насколько мы можем быть уверены в том, что родители поддержат данную инициативу? (допущение) А если не поддержат? (риск).

Оценка рисков или где подстелить соломку

Мне кажется, что само определение понятия «риск» может вызывать измененное состояние сознания… 😊 Вот вдумайтесь: «риск — это следствие влияния неопределенности на достижение поставленных целей». Если что, «неопределенность — это состояние полного или частичного отсутствия информации, необходимой для понимания события, его последствий и их вероятностей». Красиво и немного загадочно… Обе приведенные выше цитаты взяты из ГОСТ Р ИСО 31000—2019 «Менеджмент риска. Принципы и руководство». 

О каких событиях идет речь? Чаще всего, в контексте разговора о рисках имеют в виду события, которые могут оказать негативное влияние на ход проекта и его результаты. Оценка рисков предполагает выявление таких событий и их приоритизацию с учетом вероятности и возможной степени влияния на проект. Словарь русского языка тоже определяет риск как «возможную опасность», но… ГОСТ Р ИСО 31000—2019 указывает, что «под следствием влияния неопределенности необходимо понимать отклонение от ожидаемого результата (позитивное и/или негативное)». То есть риски могут быть связаны не только с угрозами, но и с возможностями вполне положительными. 

Оценка рисков – это составляющая деятельности, которую принято называть управлением рисками. Помимо выявления и анализа рисков, управление рисками предполагает выработку стратегий реагирования на риски (как негативные, так и позитивные), реализацию этих стратегий и мониторинг ситуации. Хотя, конечно, бывают случаи, когда наука бессильна: всего не предугадаешь. Недаром говорят: «Если бы знал, где упадешь, там бы соломки подстелил».

На очередном заседании клуба PROОЦЕНКУ 19 января поговорим об оценке рисков в социальном проектировании, обменяемся опытом. Думаю, будет интересно. Приходите! Регистрация и более подробная информация здесь. 

Принципы само-оценивания программ и проектов в НКО

Само-оценивание программы (проекта) – это систематический сбор информации о деятельности в рамках программы (проекта), ее характеристиках и результатах, который проводится командой программы (проекта) для того, чтобы вынести суждение о программе (проекте), повысить эффективность программы (проекта) и/или разработать планы на будущее.

Идея адаптации принципов проведения оценки программ и проектов к ситуации само-оценивания появилась летом этого года. В июне и в июле этой теме были посвящены заседания клуба PROоценку. По итогам заседаний мы подготовили проект описания принципов, который обсудили с участниками Института оценки в рамках проекта «5 элемент»  

Мы представили промежуточные результаты нашей работы на конференции АСОПП-2022, а теперь публикуем окончательную версию принципов. 

В обсуждениях этого документа приняли участие в общей сложности 43 человека (полный список имеется в публикации), за что им большое спасибо!

Оценка чего?

Во многих странах и регионах существуют профессиональные объединения специалистов по оценке. Например, есть Европейское общество оценивания (European Evaluation Society), Американская ассоциация оценивания (American Evaluation Association), совсем недавно появилась Монгольская ассоциация оценивания (Mongolian Evaluation Association). Когда подобное название звучит в разговоре с человеком, не имеющим отношения к нашей сфере деятельности, как правило, он немедленно задаёт резонный вопрос: «Оценивание чего?». Это происходит в самых разных странах (я проверял!). Приходится добавлять, что речь идет об оценивании программ и проектов социальной направленности. Тогда ситуация более-менее проясняется. Кстати, именно по этой причине российская профессиональная ассоциация называется «Ассоциация специалистов по оценке программ и политик». 

Почему же наши уважаемые зарубежные коллеги в большинстве случаев не включают в названия своих профессиональных объединений упоминание объекта оценивания? 

Обратимся к документу, опубликованному Американской ассоциацией оценивания в 2011 году. Он называется «Что такое «оценивание»?» и начинается с такого определения: «Оценивание – это систематический процесс, позволяющий определить достоинства, ценность, или значимость чего-либо». Далее указывается, что существует несколько видов оценивания: оценка политик, оценка программ, оценка продуктов, оценка персонала. Но этим дело не ограничивается. Оценивание помогает выносить обоснованные суждения и принимать решения. Вынесение суждений и принятие решений присутствуют во всех сферах человеческой деятельности, поэтому оценивание может использоваться в самых разных сферах. 

Вот это и есть ответ на вопрос насчет названий профессиональных объединений. По Скривену, оценивание вообще претендует на статус «альфа-дисциплины», преобладающей над другими дисциплинами (сферами знания).

Другими словами, ответ на вопрос «Оценка чего?» выглядит так: «Оценка чего угодно!». Но это относится, скорее, к теории оценивания, науке оценивания (evaluation science), как стали часто говорить в последние годы. На практике же абсолютное большинство членов профессиональных объединений специалистов по оценке (evaluation) занимается оценкой программ, проектов и – реже – политик. Именно к этим сферам относится и большая часть публикаций. Даже в упомянутом выше документе Американской ассоциации оценивания («Что такое оценка?») все примеры взяты из сферы оценки программ социальной направленности.

Оценка оцениваемости: мысли по поводу

Вчерашнее заседание клуба PROОЦЕНКУ, как водится, навело на размышления. 

1) Конечно же, оценка оцениваемости проекта напрямую связана с планируемой оценкой этого проекта. Если оцениваемость понимать как возможность оценить проект надежным и заслуживающим доверия способом, то многое будет зависеть от того, что именно мы хотим узнать о проекте в рамках планируемой оценки. Ключевое значение здесь будут иметь вопросы, на которые надо ответить в рамках оценки. Оценивать оцениваемость надо с учетом этих вопросов. 

Например, если мы хотим узнать мнение благополучателей о проведенных мероприятиях, то нам нужно будет обратиться к этим людям. В случае, если их контактной информации нет, мы не сможем этого сделать. То есть, с оцениваемостью здесь явно будут проблемы. 

Рассмотрим другой пример. Допустим, вопрос задания на проведение оценки звучит так: «В какой мере достигнута цель проекта?». Мы обращаемся к проектной документации и обнаруживаем, что цель сформулирована расплывчато либо вовсе отсутствует. Ответить на вопрос о её достижении в этом случае весьма проблематично. Следовательно, оцениваемость низкая по данному параметру. Но в этом же проекте может получиться так, что контакты благополучателей имеются, и выяснить их мнение о мероприятиях проекта вполне возможно. Если соответствующий вопрос в задании есть, то оцениваемость по этому параметру – высокая. 

Говорить об оцениваемости можно только в том случае, когда мы понимаем, какие аспекты проекта мы хотим оценивать, на какие вопросы мы собираемся получить ответ в ходе планируемой оценки проекта.

2) Если понимать ОО как возможность оценить проект надежным и заслуживающим доверия способом, то рассмотрение в рамках ОО будущего использования результатов планируемой оценки проекта (один из трех ключевых компонентов ОО) вызывает вопросы. Легко можно представить себе ситуацию, когда дизайн проекта будет хорошо обоснован; вся информация, необходимая для ответов на вопросы задания на проведение оценки проекта, будет доступна; но при этом оценка будет никому не нужна. То есть, возможность оценить проект точно имеется (это как раз и есть оцениваемость!), но вот результаты этой оценки никто использовать не собирается. Конечно, в этом случае проводить оценку нет смысла. Но проект-то вполне себе оцениваемый!

Если оценка оцениваемости проекта обязательно должна включать анализ использования результатов запланированной оценки проекта, то, возможно, «оценка оцениваемости» - не совсем точное название. Либо не нужно этот компонент включать в ОО. 

3) Оценку оцениваемости выделили в качестве отдельного направления специалисты Американского общества оценочных исследований в 70-е годы прошлого века. Это было объединение специалистов академического профиля, ориентированных именно на исследования. Говорят, что в те времена продолжительность ОО могла составлять от двух недель до года! Сегодня максимальная продолжительность ОО сократилась до 4 месяцев, минимальная – до двух дней, а средняя составляет одну неделю. Такое сокращение, на мой взгляд, неслучайно. 

Думаю, дело идет к тому, что ОО будет интегрирована в дизайн проектов и в оценку проектов, «растворится» в них, станет их частью. При этом все методологические наработки в сфере ОО, естественно, пригодятся.

Оценка оцениваемости

В следующий четверг с 16.00 до 17.30 пройдет онлайновое заседание клуба PROОЦЕНКУ (регистрация здесь) на тему «Оценка оцениваемости» (ОО). На заседание приглашен Том Грейсон, бывший президент Американской ассоциации оценивания. 

Данная публикация предназначена, в первую очередь, для тех, кто собирается прийти на это заседание и хотел бы заранее в общих чертах ознакомиться с его темой. 

Оцениваемость проекта характеризует возможность оценить этот проект надежным и заслуживающим доверия способом. Говорят, что ОО выделилась как отдельное направление в оценке в США в 70-е годы прошлого века, а затем получила более широкое распространение в начале 2000-х, в первую очередь, в структурах ООН и организациях, занимающихся международным развитием. 

В самом общем случае в рамках ОО рассматриваются: теория изменений, доступность данных, и круг заинтересованных сторон, мнения которых следует учесть при проведении оценки. ОО помогает усовершенствовать дизайн проекта, выстроить систему мониторинга и оценки, а также сформировать задание на проведение оценки. 

Соответственно, ОО может включать:

1. Анализ оцениваемости «в принципе», с учетом природы теории изменений проекта или программы.
2. Анализ оцениваемости «на практике» с учетом наличия соответствующих данных и возможностей систем управления, позволяющих их получить.
3. Вынесение суждения о потенциальной полезности и практичности оценки с учетом мнений и доступности основных заинтересованных сторон.

Выделение ОО как особого вида оценивания, на мой взгляд, связано с тем, что в процессе разработки проектов мониторинг и оценка зачастую не рассматриваются как часть системы управления проектом. Когда же дело доходит до оценки, оказывается, что важные данные по ходу проекта не собирали (например, никто не получал «обратную связь» от участников мероприятий), ключевые источники информации недоступны (например, нет контактной информации благополучателей проекта), а имеющиеся показатели не связаны с ключевыми элементами теории изменений проекта. Отсутствие связи показателей с теорией изменений может объясняться тем, что сама теория изменений не продумана, а то, что описано в проектной документации, не вполне соответствует замыслу исполнителей проекта. 

Полагаю, что в оценке оцениваемости не было бы необходимости, если бы все проекты разрабатывались с учетом того, что их необходимо оценивать. 

В нашей стране спроса на ОО сегодня нет. Никто пока не готов выделять деньги на то, чтобы понять, можно ли оценить тот или иной проект и с какими трудностями можно при этом столкнуться. Однако во многих случаях внешняя оценка включает элементы ОО. Может быть, так и должно быть? 

Публикаций по оценке оцениваемости на русском языке пока нет. Но есть на английском 😊 

• Подробный обзор литературы с рекомендациями от Рика Дэвиса (Великобритания)  
• Короткий вариант статьи Рика Дэвиса 
• Рекомендации по формированию ТЗ на проведение оценки оцениваемости  
• Чек-лист по проведению оценки оцениваемости