Памяти Ларисы Аврориной

Вчера ушла из жизни Лариса Васильевна Аврорина. 

Многие знали ее как руководителя программы поддержки Фондов местных сообществ и одного из ведущих грант-менеджеров России. Я хотел бы сказать о том, какой важный вклад Лариса сделала в развитие оценки проектов и программ в нашей стране.

Мы познакомились в Новосибирске. Лариса тогда была грант-менеджером в СЦПОИ и, естественно, занималась мониторингом и оценкой проектов. Думаю, что интерес к оценке был также обусловлен её предыдущим опытом: до перехода в некоммерческий сектор Лариса без малого 30 лет проработала в науке. 

В 1998 году Лариса участвовала в организации Школы оценки для Сети Сибирского Центра. В 2000 году Лариса как представитель СЦПОИ входила в инициативную группу по созданию Международной Сети «Оценка Программ» (International Program Evaluation Network / IPEN) - первого объединения такого рода на территории бывшего СССР. Позже она вошла в Координационный Совет IPEN и приняла самое активное участие в подготовке и проведении первой конференции по оценке в нашем регионе, которая прошла в Новосибирске в ноябре 2000 года. 

Занимаясь развитием фондов местных сообществ, Лариса уделяла большое внимание развитию их потенциала в сфере мониторинга и оценки. 

В 2015 году Лариса была избрана в Правление Ассоциации специалистов по оценке программ и политик (АСОПП), где проработала 3 года. В качестве члена Правления Лариса принимала участие в рабочей группе по созданию профессионального стандарта специалиста по оценке. 

В начале 2021 года был опубликован отчет об оценке роли фондов местных сообществ (ФМС) в развитии местной филантропии. Интерес представляли не только результаты оценки, но и использованная для проведения оценки модель ACT (Assets-Capacity-Trust – «Активы-Потенциал-Доверие»), разработанная Глобальным фондом поддержки ФМС. Авторы публикации - Барри Найт (Великобритания) и Лариса Аврорина. Мы с Ларисой планировали организовать обсуждение этой методики на одном из заседаний клуба PROОЦЕНКУ, но как-то не сложилось...

Теперь Ларисы нет с нами. Ушел из жизни мудрый, профессиональный, интеллигентный человек, настоящий энтузиаст своего дела.

Соболезнования родным и близким, друзьям и коллегам.

Светлая память…

Специальный выпуск журнала «Позитивные изменения»

Вышел в свет очередной номер журнала «Позитивные изменения» (Том 3, № 1). Он целиком посвящен оценке. 

Номер открывается большим интервью с Майклом Пэттоном. Беседует с гуру Наталья Гладких, главный редактор журнала. В интервью затрагиваются многие важные вопросы. В частности, обсуждаются компетенции специалистов по оценке. Майкл считает, что «сегодня оценка — это не только методики, но еще и межличностные отношения. Оценщики должны уметь хорошо слушать, уметь работать с людьми, принадлежащими к разным культурам, хорошо коммуницировать, устанавливать связи, решать проблемы и управлять конфликтами». 

Моя статья называется «Сделай сам»: как НКО оценивать проекты своими силами». В ней обсуждаются причины появления и особенности развития внутренней оценки и само-оценивания за рубежом и в России, а также приводятся принципы само-оценивания с рекомендациями по их практическому применению в деятельности НКО.  

Ниже - оглавление номера с указанием основных рубрик. Много интересного! Можно скачивать в формате PDF отдельные статьи, а можно - весь номер целиком. 

ГОСТЬ  НОМЕРА

• «Если ты используешь оценку, то принимаешь решения лучше и помогаешь людям больше». Интервью с Майклом Пэттоном (Наталья Гладких) 

ЭКСПЕРТНЫЕ МНЕНИЯ

• Без стандартов, но по призванию. Является ли оценка проектов и программ профессией? (Юлия Вяткина)  
• Оценка в настоящем и будущем:  взгляд грантодающих организаций (Ирина Ефремова-Гарт, Татьяна Печегина)

ЭКСПЕРТНЫЕ СТАТЬИ

• «Сделай сам»: как НКО оценивать проекты своими силами (Алексей Кузьмин)  
• Союз дела и денег.  Оценка экономической устойчивости проектов  в области социального предпринимательства (Елена Авраменко)
• Законным путем. Оценка фактического воздействия в части социальных инвестиций в России и мире (Иван Смекалин)

КЕЙС ВЫПУСКА 

• Как устроен лучший грантовый конкурс социальных проектов 2022 года. Опыт фонда «Дорога к дому» (Алена Богомолова)

ИССЛЕДОВАНИЯ 

• Сила спорта. Оценка проектов в сфере физической культуры  и массового спорта (Илья Солнцев, Наталья Кошелева)  

Оценивание как наука

Одна из тенденций в развитии оценки - это превращение её в самостоятельную отрасль науки. В последние десятилетия оценка прошла путь от становления в качестве особой области знания до формирования специализированной Международной академии:

• Оценка - это самостоятельная дисциплина (оформляется в 80-е-90-е годы прошлого века)
• Оценка - это трансдисциплина (Скривен (2008), Пэттон (2009,2010))
• Оценка - это альфа-дисциплина (Скривен, 2013)
• Оценка - это наука (Пэттон, 2018)
• Создание Международной академии оценки (2022)

Дисциплиной (или научной дисциплиной) принято называть «базовую форму организации профессиональной науки, объединяющую на предметно-содержательном основании области научного знания, сообщество, занятое его производством, обработкой и трансляцией, а также механизмы развития и воспроизводства соответствующей отрасли науки как профессии». 

Майкл Скривен (Michael Scriven (2008) The Concept of a Transdiscipline: And of Evaluation as a Transdiscipline) и Майкл Пэттон (Michael Quinn Patton (2010) Future trends in evaluation) указывают на то, что оценка развивается как трансдисциплина, то есть как такая отрасль знания, которая имеет самостоятельный статус и в то же время используется как методологический или аналитический инструмент в нескольких других дисциплинах. Поясняя этот тезис, Майкл Пэттон писал в 2009 году: «...В любой дисциплине, профессии или области деятельности люди занимаются оценкой в той или иной форме. Возможно, самые яркие примеры такой оценки – оценка студентов, изучающих определенные предметы или получающих определенную профессию, а также академические журналы, где решение о публикации статьи принимается на основании оценки коллег по цеху. Оценка является дисциплиной, которая служит другим дисциплинам, хотя и является дисциплиной сама по себе, отсюда ее статус трансдисциплины. Статистика, логика, оценка – все это примеры трансдисциплин, потому что их методы, образ мысли и знания используются в других областях исследования, например, в образовании, здравоохранении социальной работе, инженерном деле, изучении окружающей среды и т.п. Я ожидаю, что в будущем оценка получит признание как трансдисциплина» (см. главу «Будущее оценки»). 

Примерно 10 лет тому назад Майкл Скривен пошел еще дальше и предложил «перевести оценку из статуса уважаемой дисциплины в статус альфа-дисциплины. Альфа-дисциплина – это та, что преобладает над другими, в данном случае – имеет ключи к царству других дисциплин. У оценки  есть такое свойство, поскольку все дисциплины полностью зависят от их легитимности и от качества их внутридисциплинарной оценки, т.е. от их способности отличить хорошее от плохого в отношении теорий, данных, гипотез, объяснений…, составляющих основу любой дисциплины».  

Несмотря на то, что оценка во многих странах получила признание как новая профессия, опирающаяся на уникальный свод знаний, далеко не все признали её как отрасль науки и, тем более, как альфа-дисциплину 😊 

В 2018 году Майкл Пэттон публикует статью «Наука оценивания» (Evaluation Science), где дает следующее определение: «Наука - это систематическое исследование того, как устроен мир. Наука оценивания - это систематическое исследование того, почему и в какой мере эффективны вмешательства, направленные на изменение мира». Пэттон продолжает: «Основное следствие становления оценки как науки заключается в том, что это повысит доверие к нам и эффективность усилий по поддержке значимости науки в нашем мире, а также объединит нас с другими учеными для достижения успеха в поддержке и отстаивании науки». (Цитируется по Patton, M. Q. (2018). Evaluation Science. American Journal of Evaluation, 39(2), 183–200). 

В 2022 году создается Международная академия оценки, которая так формулирует одну из своих основных задач: «Мы будем работать над становлением и развитием оценки как научной деятельности, дисциплины и трансдисциплины. Мы будем стремиться создать постоянно развивающийся, достоверный и пригодный для использования свод знаний о процессах и последствиях вмешательств, направленных на изменение мира».

Ну, за науку оценивания! 😊 

Значение термина «рубрика»

После вчерашнего заседания клуба PROОЦЕНКУ, где выступал Томаз Чианка из Бразилии, появились вопросы относительно значения термина «рубрика» (rubric) в контексте оценки программ и проектов. Предыдущий пост был посвящен именно этим «рубрикам». Во избежание терминологической путаницы имеет смысл кое-что уточнить. 

Начнем с того, что в русском языке термин «рубрика» означает «заголовок раздела (в газете, журнале и т. п.)» или «раздел, подразделение чего-либо». Д-р Чианка использовал термин «рубрика» в совершенно другом смысле, что закономерно вызвало вопросы. 

В английском языке термин «rubric» имеет несколько значений, одно из которых совпадает с приведенным выше, а другое выглядит так: «руководство, содержащее конкретные критерии для оценки чего-либо». Вот еще вариант: «рубрика - это инструмент оценки, основанный на критериях». Именно в этом значении термин используется в контексте оценки проектов и программ. 

В последнее время термин «рубрика» стал использоваться в русскоязычных публикациях в значении «инструмент оценки» применительно к оцениванию в учебном процессе. Достаточно ввести в поисковую строку вашего браузера словосочетание «рубрика оценивания», чтобы найти тысячи публикаций на русском языке. 

Справедливости ради, надо отметить, что «рубрика» в оценивании представляет собой не что иное как порядковую шкалу (ordinal scale). Этот термин у нас давно устоялся и широко используется. Впрочем, он является общепринятым и за рубежом.

Приживётся ли в России термин «рубрика» в оценке проектов и программ? На мой взгляд, пока сложно сказать. 

"Рубрики"

На ближайшем заседании клуба PROОЦЕНКУ выступит специалист из Бразилии Томаз Чианка. Он представит опыт проведения ретроспективной оценки влияния программы с использованием так называемых «рубрик». Идею применения рубрик в оценке проектов и программ предложила Джейн Дэвидсон из Новой Зеландии. Суть этой идеи в том, чтобы не просто привести описательный ответ на каждый из вопросов задания, но и разработать под каждый ответ специальную шкалу или «рубрику» (от англ. rubric). Наверное, самым известным примером подобной «рубрики» является приведенная ниже шкала для оценивания знаний учащихся. Каждая из оценок имеет название, количественный эквивалент и развернутое описание.

	Описание
5	Отлично. Ставится в случае, когда учащийся исчерпывающе знает весь программный материал, отлично понимает и прочно усвоил его. На вопросы (в пределах программы) дает правильные, сознательные и уверенные ответы. В различных практических заданиях умеет самостоятельно пользоваться полученными знаниями. В устных ответах и письменных работах пользуется литературно правильным языком и не допускает ошибок.
4	Хорошо. Ставится в случае, когда учащийся знает весь требуемый программой материал, хорошо понимает и прочно усвоил его. На вопросы (в пределах программы) отвечает без затруднений. Умеет применять полученные знания в практических заданиях. В устных ответах пользуется литературным языком и не делает грубых ошибок. В письменных работах допускает только незначительные ошибки.
3	Удовлетворительно. Ставится в случае, когда у учащегося обнаруживается знание основного программного учебного материала. При применении знаний на практике испытывает некоторые затруднения и преодолевает их с небольшой помощью учителя. В устных ответах допускает ошибки при изложении материала и в построении речи. В письменных работах делает ошибки.
2	Неудовлетворительно. Ставится в случае, когда у ученика обнаруживается незнание большой части программного материала, отвечает, как правило, лишь при помощи наводящих вопросов учителя, неуверенно. В письменных работах допускает частые и грубые ошибки.

Когда проводится оценка программы, разработка рубрик представляет собой отдельную задачу. Например, для оценки качества и адекватности водоснабжения, в случае, который представит д-р Чианка, специалисты по оценке после консультаций с благополучателями и другими заинтересованными сторонами разработали такую шкалу. 

Формула как метафора

Примерно в 70-80-х годах прошлого века специалисты по организационному развитию придумали т.н. "формулу организационных изменений". Часто её называют "формулой Бекхарда" - по имени одно из основоположников науки об организационном развитии - или "формулой Бекхарда-Харриса". В то же время сам Бекхард приписывал авторство в создании этой формулы Дэвиду Глейчеру. 

Формула такая: Н x В x П > С

Здесь "Н" - неудовлетворенность текущей ситуацией, "В" - видение того, что и как можно и нужно изменить, "П" - первые практические шаги, а "С" - сопротивление изменениям. Произведение первых трех величин должно превышать сопротивление изменениям. Если хотя бы одна из этих величин равна нулю, то изменение невозможно, т.к. преодолеть сопротивление не удастся.

"Формула" явно ушла в народ, и её стали модифицировать. Как минимум, есть еще два варианта: в сомножители добавляют четвертый элемент - believability (правдоподобность) или capacity (наличие необходимых ресурсов).

Думаю, что формулу эту следует воспринимать не как формулу в математическом смысле, а как метафору: в ней отражены важные представления о факторах, влияющих на изменения, и взаимосвязи между ними. Не стоит пытаться искать единицы измерений для сомножителей или рассматривать эту "формулу" как основание для математической модели. Здесь больше про психологию, чем про математику. И, кстати, важная особенность метафоры: может статься, что не у всех откликнется… Это же не совсем "формула"! 😊 

Как формулу Бекхарда можно использовать при проведении оценки программы или проекта? Простой пример: если в результате проекта запланированные изменения не произошли, формула может пригодиться для выявления причин; подскажет, где их искать...

Подробнее почитать можно, например, здесь 

Из зарубежного опыта: кризис оценки в США

Известно, что оценка стала активно внедряться в США в 60-е годы прошлого века. Проводилась она преимущественно силами научно-исследовательских учреждений. Через некоторое время у многих накопились вопросы… 

Исследование, проведенное по заказу Главного контрольно-ревизионного управления США в начале 70-х годов прошлого века, показало, что подавляющее большинство оценок не имеют отношения к делу — они занимают слишком много времени, вызывают много методологических нареканий, информируют о результатах спустя много времени после принятия решений (для принятия которых они проводились), а отчеты по их результатам непонятны для пользователей. Это привело к серьезному кризису в развитии оценки в США. Выйти из него помогли, в частности, развитие оценки, ориентированной на использование результатов (М.Пэттон) и внедрение внутренней оценки и само-оценивания. 

Уроки из опыта американских коллег: 

• если оценка проводится для информационного обеспечения принятия решений, то ее результаты должны быть предоставлены к моменту принятия решения, 
• методология проведения оценки должна быть понятна пользователям ее результатов (лицам, принимающим решения) и одобрена ими,
• отчет по результатам оценки должен быть дружелюбен по отношению к читателю – пользователю результатов оценки (лицу, принимающему решения),
• организациям следует развивать собственный потенциал в сфере оценки.

Окружающая среда как стейкхолдер

В прошлый четверг на заседании клуба PROОЦЕНКУ обсуждали, кого следует включать в число заинтересованных сторон (стейкхолдеров) при проектировании и при проведении оценки проекта. Оказывается, исследователи, занимающиеся теорией стейкхолдеров (есть и такие!), уже без малого лет 20 обсуждают, можно ли считать природу (окружающую среду) стейкхолдером. К  согласию пока не пришли. На рисунке – наиболее распространенные аргументы «за» и «против» этой идеи (рисунок заимствован с этого сайта, перевод мой). 

Сказать, что природа может быть заинтересованной в оценке проекта стороной, вроде бы, можно лишь с очень большой натяжкой. Даже если проект экологический, а от результатов оценки будет зависеть состояние окружающей среды на многие годы вперед. Такое может быть, если, к примеру, по результатам оценки будет принято решение о реализации многолетней экологической программы. Или в этом случае можно сказать, что природа – стейкхолдер? Как вы думаете?

Анализ заинтересованных сторон при проведении оценки

Если вы проводите оценку своего проекта, её можно рассматривать как самостоятельный проект. Соответственно, получается, что весь спектр инструментов социального проектирования можно применить в оценке, учитывая специфику это вида деятельности. В частности, можно использовать инструменты для анализа заинтересованных сторон, для обозначения которых часто используют кальку с английского – «стейкхолдеров» (stakeholders). Суть такого анализа заключается в том, чтобы выявить тех, кто имеет существенное влияние на проект и заинтересован в его результатах. В случае с оценкой это будут люди или организации, которые заинтересованы в результатах оценки и могут повлиять на них. При проведении оценки особенно важны те, кто не просто заинтересован в результатах оценки, но планирует их использовать. 

Для анализа стейкхолдеров часто предлагается использовать матрицу, помогающую выделить тех, у кого есть интерес к проекту, и кто может оказать на него большое влияние. В предложенной здесь версии матрицы стейкхолдеров речь идет не о проекте вообще, а об оценке. 

Ключевые стейкхолдеры оказываются в правом верхнем квадранте. Активное сотрудничество с ними начинается уже на этапе постановки задачи. И продолжается вплоть до подготовки отчета. К таким стейкхолдерам может относиться, например, организация, финансирующая социальный проект (донор). Если вы планируете провести оценку своего проекта, донор почти наверняка будет заинтересован в ее результатах и может сделать существенный вклад в проведение оценки. Потому, например, неплохо выяснить, что донор хотел бы узнать по результатам оценки, и включить соответствующие вопросы в техническое задание. 

По приведенным ниже ссылкам можно посмотреть публикации по анализу стейкхолдеров применительно к оценке на английском языке:

https://www.researchgate.net/publication/305357787_Analyzing_and_Engaging_Stakeholders

https://www.betterevaluation.org/methods-approaches/methods/stakeholder-mapping-analysis  

http://evaluationtoolbox.net.au/index.php?option=com_content&view=article&id=52&Itemid=133 

«Теория изменений» и оценка рисков социального проекта

Как известно, «теория изменений» проекта показывает взаимосвязь между деятельностью в рамках проекта и её ожидаемым эффектом, а также допущения, при которых такая связь возможна. Причинно-следственные связи в теории изменений представляются в форме карты ожидаемых результатов. В общем случае карта ожидаемых результатов содержит несколько цепочек ожидаемых результатов, которые связывают действия в рамках проекта с целью проекта. В пределе (в простейшем случае) цепочка ожидаемых результатов может быть одна. Рассмотрим такой пример.

Проект состоит в том, чтобы обучить детей младших классов игре в шахматы. Для этого проводится обучение учителей, а затем детям предлагается (по желанию) ходить на уроки шахмат раз в неделю в течение учебного года. Предполагается, что дети научатся играть в шахматы, и это приведет к позитивным эффектам в сфере их личностного и интеллектуального развития.

Допущения – это те условия, которые важны для успеха проекта, но которые находятся вне сферы его влияния. В частности, в данном случае мы исходим из того, что :

• Любой учитель младших классов сможет квалифицированно преподавать шахматы детям, пройдя наш курс обучения. 
• Родители младших школьников поддержат данную инициативу и не станут возражать против того, что их детям станут еще и шахматы преподавать. 
• Любой ребенок может научиться играть в шахматы.

Каким образом можно использовать теорию изменений для выявления рисков применительно к конкретному социальному проекту? Можно проверить (а) обоснованность причинно-следственных связей (стрелочки на рисунке) и (б) реалистичность допущений.

Например, достаточно ли у нас оснований считать, что есть связь между умением играть в шахматы и эффектами на личностном и интеллектуальном уровнях? (причинно-следственная связь) А вдруг не будет таких эффектов? (риск)

Насколько мы можем быть уверены в том, что родители поддержат данную инициативу? (допущение) А если не поддержат? (риск).