Памяти Ларисы Аврориной

Вчера ушла из жизни Лариса Васильевна Аврорина. 

Многие знали ее как руководителя программы поддержки Фондов местных сообществ и одного из ведущих грант-менеджеров России. Я хотел бы сказать о том, какой важный вклад Лариса сделала в развитие оценки проектов и программ в нашей стране.

Мы познакомились в Новосибирске. Лариса тогда была грант-менеджером в СЦПОИ и, естественно, занималась мониторингом и оценкой проектов. Думаю, что интерес к оценке был также обусловлен её предыдущим опытом: до перехода в некоммерческий сектор Лариса без малого 30 лет проработала в науке. 

В 1998 году Лариса участвовала в организации Школы оценки для Сети Сибирского Центра. В 2000 году Лариса как представитель СЦПОИ входила в инициативную группу по созданию Международной Сети «Оценка Программ» (International Program Evaluation Network / IPEN) - первого объединения такого рода на территории бывшего СССР. Позже она вошла в Координационный Совет IPEN и приняла самое активное участие в подготовке и проведении первой конференции по оценке в нашем регионе, которая прошла в Новосибирске в ноябре 2000 года. 

Занимаясь развитием фондов местных сообществ, Лариса уделяла большое внимание развитию их потенциала в сфере мониторинга и оценки. 

В 2015 году Лариса была избрана в Правление Ассоциации специалистов по оценке программ и политик (АСОПП), где проработала 3 года. В качестве члена Правления Лариса принимала участие в рабочей группе по созданию профессионального стандарта специалиста по оценке. 

В начале 2021 года был опубликован отчет об оценке роли фондов местных сообществ (ФМС) в развитии местной филантропии. Интерес представляли не только результаты оценки, но и использованная для проведения оценки модель ACT (Assets-Capacity-Trust – «Активы-Потенциал-Доверие»), разработанная Глобальным фондом поддержки ФМС. Авторы публикации - Барри Найт (Великобритания) и Лариса Аврорина. Мы с Ларисой планировали организовать обсуждение этой методики на одном из заседаний клуба PROОЦЕНКУ, но как-то не сложилось...

Теперь Ларисы нет с нами. Ушел из жизни мудрый, профессиональный, интеллигентный человек, настоящий энтузиаст своего дела.

Соболезнования родным и близким, друзьям и коллегам.

Светлая память…

Специальный выпуск журнала «Позитивные изменения»

Вышел в свет очередной номер журнала «Позитивные изменения» (Том 3, № 1). Он целиком посвящен оценке. 

Номер открывается большим интервью с Майклом Пэттоном. Беседует с гуру Наталья Гладких, главный редактор журнала. В интервью затрагиваются многие важные вопросы. В частности, обсуждаются компетенции специалистов по оценке. Майкл считает, что «сегодня оценка — это не только методики, но еще и межличностные отношения. Оценщики должны уметь хорошо слушать, уметь работать с людьми, принадлежащими к разным культурам, хорошо коммуницировать, устанавливать связи, решать проблемы и управлять конфликтами». 

Моя статья называется «Сделай сам»: как НКО оценивать проекты своими силами». В ней обсуждаются причины появления и особенности развития внутренней оценки и само-оценивания за рубежом и в России, а также приводятся принципы само-оценивания с рекомендациями по их практическому применению в деятельности НКО.  

Ниже - оглавление номера с указанием основных рубрик. Много интересного! Можно скачивать в формате PDF отдельные статьи, а можно - весь номер целиком. 

ГОСТЬ  НОМЕРА

• «Если ты используешь оценку, то принимаешь решения лучше и помогаешь людям больше». Интервью с Майклом Пэттоном (Наталья Гладких) 

ЭКСПЕРТНЫЕ МНЕНИЯ

• Без стандартов, но по призванию. Является ли оценка проектов и программ профессией? (Юлия Вяткина)  
• Оценка в настоящем и будущем:  взгляд грантодающих организаций (Ирина Ефремова-Гарт, Татьяна Печегина)

ЭКСПЕРТНЫЕ СТАТЬИ

• «Сделай сам»: как НКО оценивать проекты своими силами (Алексей Кузьмин)  
• Союз дела и денег.  Оценка экономической устойчивости проектов  в области социального предпринимательства (Елена Авраменко)
• Законным путем. Оценка фактического воздействия в части социальных инвестиций в России и мире (Иван Смекалин)

КЕЙС ВЫПУСКА 

• Как устроен лучший грантовый конкурс социальных проектов 2022 года. Опыт фонда «Дорога к дому» (Алена Богомолова)

ИССЛЕДОВАНИЯ 

• Сила спорта. Оценка проектов в сфере физической культуры  и массового спорта (Илья Солнцев, Наталья Кошелева)  

Оценивание как наука

Одна из тенденций в развитии оценки - это превращение её в самостоятельную отрасль науки. В последние десятилетия оценка прошла путь от становления в качестве особой области знания до формирования специализированной Международной академии:

• Оценка - это самостоятельная дисциплина (оформляется в 80-е-90-е годы прошлого века)
• Оценка - это трансдисциплина (Скривен (2008), Пэттон (2009,2010))
• Оценка - это альфа-дисциплина (Скривен, 2013)
• Оценка - это наука (Пэттон, 2018)
• Создание Международной академии оценки (2022)

Дисциплиной (или научной дисциплиной) принято называть «базовую форму организации профессиональной науки, объединяющую на предметно-содержательном основании области научного знания, сообщество, занятое его производством, обработкой и трансляцией, а также механизмы развития и воспроизводства соответствующей отрасли науки как профессии». 

Майкл Скривен (Michael Scriven (2008) The Concept of a Transdiscipline: And of Evaluation as a Transdiscipline) и Майкл Пэттон (Michael Quinn Patton (2010) Future trends in evaluation) указывают на то, что оценка развивается как трансдисциплина, то есть как такая отрасль знания, которая имеет самостоятельный статус и в то же время используется как методологический или аналитический инструмент в нескольких других дисциплинах. Поясняя этот тезис, Майкл Пэттон писал в 2009 году: «...В любой дисциплине, профессии или области деятельности люди занимаются оценкой в той или иной форме. Возможно, самые яркие примеры такой оценки – оценка студентов, изучающих определенные предметы или получающих определенную профессию, а также академические журналы, где решение о публикации статьи принимается на основании оценки коллег по цеху. Оценка является дисциплиной, которая служит другим дисциплинам, хотя и является дисциплиной сама по себе, отсюда ее статус трансдисциплины. Статистика, логика, оценка – все это примеры трансдисциплин, потому что их методы, образ мысли и знания используются в других областях исследования, например, в образовании, здравоохранении социальной работе, инженерном деле, изучении окружающей среды и т.п. Я ожидаю, что в будущем оценка получит признание как трансдисциплина» (см. главу «Будущее оценки»). 

Примерно 10 лет тому назад Майкл Скривен пошел еще дальше и предложил «перевести оценку из статуса уважаемой дисциплины в статус альфа-дисциплины. Альфа-дисциплина – это та, что преобладает над другими, в данном случае – имеет ключи к царству других дисциплин. У оценки  есть такое свойство, поскольку все дисциплины полностью зависят от их легитимности и от качества их внутридисциплинарной оценки, т.е. от их способности отличить хорошее от плохого в отношении теорий, данных, гипотез, объяснений…, составляющих основу любой дисциплины».  

Несмотря на то, что оценка во многих странах получила признание как новая профессия, опирающаяся на уникальный свод знаний, далеко не все признали её как отрасль науки и, тем более, как альфа-дисциплину 😊 

В 2018 году Майкл Пэттон публикует статью «Наука оценивания» (Evaluation Science), где дает следующее определение: «Наука - это систематическое исследование того, как устроен мир. Наука оценивания - это систематическое исследование того, почему и в какой мере эффективны вмешательства, направленные на изменение мира». Пэттон продолжает: «Основное следствие становления оценки как науки заключается в том, что это повысит доверие к нам и эффективность усилий по поддержке значимости науки в нашем мире, а также объединит нас с другими учеными для достижения успеха в поддержке и отстаивании науки». (Цитируется по Patton, M. Q. (2018). Evaluation Science. American Journal of Evaluation, 39(2), 183–200). 

В 2022 году создается Международная академия оценки, которая так формулирует одну из своих основных задач: «Мы будем работать над становлением и развитием оценки как научной деятельности, дисциплины и трансдисциплины. Мы будем стремиться создать постоянно развивающийся, достоверный и пригодный для использования свод знаний о процессах и последствиях вмешательств, направленных на изменение мира».

Ну, за науку оценивания! 😊 

Значение термина «рубрика»

После вчерашнего заседания клуба PROОЦЕНКУ, где выступал Томаз Чианка из Бразилии, появились вопросы относительно значения термина «рубрика» (rubric) в контексте оценки программ и проектов. Предыдущий пост был посвящен именно этим «рубрикам». Во избежание терминологической путаницы имеет смысл кое-что уточнить. 

Начнем с того, что в русском языке термин «рубрика» означает «заголовок раздела (в газете, журнале и т. п.)» или «раздел, подразделение чего-либо». Д-р Чианка использовал термин «рубрика» в совершенно другом смысле, что закономерно вызвало вопросы. 

В английском языке термин «rubric» имеет несколько значений, одно из которых совпадает с приведенным выше, а другое выглядит так: «руководство, содержащее конкретные критерии для оценки чего-либо». Вот еще вариант: «рубрика - это инструмент оценки, основанный на критериях». Именно в этом значении термин используется в контексте оценки проектов и программ. 

В последнее время термин «рубрика» стал использоваться в русскоязычных публикациях в значении «инструмент оценки» применительно к оцениванию в учебном процессе. Достаточно ввести в поисковую строку вашего браузера словосочетание «рубрика оценивания», чтобы найти тысячи публикаций на русском языке. 

Справедливости ради, надо отметить, что «рубрика» в оценивании представляет собой не что иное как порядковую шкалу (ordinal scale). Этот термин у нас давно устоялся и широко используется. Впрочем, он является общепринятым и за рубежом.

Приживётся ли в России термин «рубрика» в оценке проектов и программ? На мой взгляд, пока сложно сказать. 

"Рубрики"

На ближайшем заседании клуба PROОЦЕНКУ выступит специалист из Бразилии Томаз Чианка. Он представит опыт проведения ретроспективной оценки влияния программы с использованием так называемых «рубрик». Идею применения рубрик в оценке проектов и программ предложила Джейн Дэвидсон из Новой Зеландии. Суть этой идеи в том, чтобы не просто привести описательный ответ на каждый из вопросов задания, но и разработать под каждый ответ специальную шкалу или «рубрику» (от англ. rubric). Наверное, самым известным примером подобной «рубрики» является приведенная ниже шкала для оценивания знаний учащихся. Каждая из оценок имеет название, количественный эквивалент и развернутое описание.

	Описание
5	Отлично. Ставится в случае, когда учащийся исчерпывающе знает весь программный материал, отлично понимает и прочно усвоил его. На вопросы (в пределах программы) дает правильные, сознательные и уверенные ответы. В различных практических заданиях умеет самостоятельно пользоваться полученными знаниями. В устных ответах и письменных работах пользуется литературно правильным языком и не допускает ошибок.
4	Хорошо. Ставится в случае, когда учащийся знает весь требуемый программой материал, хорошо понимает и прочно усвоил его. На вопросы (в пределах программы) отвечает без затруднений. Умеет применять полученные знания в практических заданиях. В устных ответах пользуется литературным языком и не делает грубых ошибок. В письменных работах допускает только незначительные ошибки.
3	Удовлетворительно. Ставится в случае, когда у учащегося обнаруживается знание основного программного учебного материала. При применении знаний на практике испытывает некоторые затруднения и преодолевает их с небольшой помощью учителя. В устных ответах допускает ошибки при изложении материала и в построении речи. В письменных работах делает ошибки.
2	Неудовлетворительно. Ставится в случае, когда у ученика обнаруживается незнание большой части программного материала, отвечает, как правило, лишь при помощи наводящих вопросов учителя, неуверенно. В письменных работах допускает частые и грубые ошибки.

Когда проводится оценка программы, разработка рубрик представляет собой отдельную задачу. Например, для оценки качества и адекватности водоснабжения, в случае, который представит д-р Чианка, специалисты по оценке после консультаций с благополучателями и другими заинтересованными сторонами разработали такую шкалу.