Институт оценки

Через неделю в Москве пройдет т.н. «Институт оценки» - двухдневный семинар для тех, кто знаком с оценкой и имеет опыт практического проведения оценки проектов и программ. Этот семинар пройдет в рамках проекта «Поддержка и развитие оценки и развитие оценочного мышления. Пятый элемент» (телеграм-канал проекта здесь). Мероприятие проводим вместе с новосибирским ИнА-Центром во второй раз. Программу по сравнению прошлогодней не меняли, но содержание сессий обновили с учетом новых публикаций и событий, которые в мире оценки происходят. 

Перечислю основные темы и кое-что интересное по каждой из них.

• Развитие оценочного мышления. Психологи говорят, что надо стремиться к безоценочности, а здесь «оценочное» мышление… Нет ли противоречия? 
• Использование критериев в оценке. Почему известный специалист по оценке Том Швандт 20 лет назад написал статью «Прощание с критериологией». Какую роль играют критерии в оценке проектов и программ сегодня. 
• Оценка потребностей. Можно ли согласиться с тем, что потребность – это разница между желаемым и действительным положением дел, или всё несколько сложнее? 
• Оценка социального эффекта и оценка влияния. Как оценить влияние проекта в ретроспективе и как спрогнозировать возможное влияние проекта или программы. 
• Использование моделей в оценке. Что лучше: пользоваться известными видами моделей или формировать авторские модели? 
• Наука о системах и оценка. В чем состоят принципы системного мышления и как их применить при проведении оценки на практике. 
• Оценка услуг. Кому оказывает услугу детский садик: родителям, детям или, может, государству? Что можно и что не следует оценивать на основании мнения потребителей услуг? 
• Само-оценивание в НКО. В какой мере подходы к оценке зависят от того, как устроена некоммерческая организация. Как влияет на эти подходы организационная культура.

Феминистская оценка: знакомимся с подходом

В ближайший четверг с 11.00 до 12.30 пройдет очередное заседание клуба PROОЦЕНКУ на тему «Феминистская оценка». Я решил написать несколько слов о том, как мы выбрали эту тему и почему стоит принять участие в заседании клуба.

В этот раз у нас в гостях будет Донна Подемс из ЮАР. Нам сильно повезло «заполучить» такого профессионала! Думаю, не будет преувеличением сказать, что Донна входит в число ведущих специалистов по оценке программ в мире. При этом ей удается сочетать серьезную теоретическую базу с практической ориентацией. Донна преподает в трех университетах, ведет исследовательскую работу, регулярно публикует статьи в ведущих профессиональных изданиях. В то же время она постоянно проводит оценку различных программ и проектов, сохраняя отличную форму в качестве специалиста по оценке.

Когда мы приглашаем гостей для участия в заседаниях клуба PROОЦЕНКУ, мы всегда спрашиваем, о чем они хотели бы поговорить. На этот вопрос Донна ответила почти не задумываясь: «Феминистская оценка». Надо сказать, что она как раз сейчас завершает работу над книгой с таким названием. Мы сразу согласились: об этом подходе к оценке у нас известно крайне мало, а площадка клуба дает возможность не просто получить информацию, но и обменяться мнениями.

Согласно определению, предложенному Майклом Пэттоном, феминистская оценка как подход «уделяет большое внимание процессам, которые предполагают участие, поощряют расширение прав и возможностей и продвигают социальную справедливость». Именно в таком ключе пойдет разговор. Мы не собираемся обсуждать феминизм, мы будем говорить об определенном подходе к оценке программ и проектов. Обсуждение будет, конечно же, ориентировано на практику.

Донна Подемс – отличная рассказчица и умеет просто говорить о сложных вещах. Будет интересно!

Регистрация для участия в заседании на сайте клуба (кнопка «Регистрация на ближайшее заседание»). 

Оценочное мышление: больше, чем критическое

Рубрика "Оценочное мышление" появилась в этом блоге в прошлом году. Это было связано с подготовкой к Институту оценки, который мы провели в рамках проекта "5 элемент" вместе с ИнАЦентром. Сейчас готовимся к проведению второго "института" (это двухдневный семинар для тех, кто имеет опыт в сфере оценки) и продолжаем развивать тему. Я упоминал о том, что Майкл Пэттон предложил свое определение оценочного мышления (evaluative thinking) как сочетания критического, творческого, логического и практического мышления. Определение критического мышления можно посмотреть здесь. Ниже приводятся еще три определения. Добавьте к этому критическое мышление, и станет понятно, что оценочное мышление - это точно что-то особенное...

Творческое мышление – один из видов мышления, характеризующийся созданием субъективно нового продукта и новообразованиями в самой познавательной деятельности по его созданию. Творческое мышление отличают от процессов применения готовых знаний и умений, называемых репродуктивным мышлением.

Логическое мышление – это мыслительный процесс, при котором человек использует логические понятия и конструкции, которому свойственна доказательность, рассудительность, и целью которого является получение обоснованного вывода из имеющихся предпосылок.

Практическое мышление - это особый вид мышления, специфика которого определяется его включённостью в реальную деятельность субъекта, которая и задаёт его основные характеристики: комплексность и изменчивость объекта; направленность на преобразование и учёт требований реализуемости решения; слабая вербализуемость процесса и содержания опыта.

PS Заявки на участие в Институте оценки в Москве 1-2 июня принимаются до 12 мая. 

Оценивание трансформации

Кембриджский словарь определяет трансформацию как «полное изменение внешности или характера чего-либо или кого-либо, особенно с целью улучшения этой вещи или человека». 

Можно сказать, что трансформация – это изменение, характеризующееся глубиной, существенностью и значимостью. Как правило, это также изменение, которое носит системный характер. Например, сегодня часто говорят о цифровой трансформации компаний, имея в виду процесс внедрения организациями цифровых технологий, сопровождаемый оптимизацией системы управления основными технологическими процессами.  

Глубинные существенные значимые изменения (трансформации) могут происходить в системах разного масштаба: на уровне отдельного человека, семьи, организации, города, страны, планеты. Оценивание изменений такого рода требует особого подхода. В частности, широко известные критерии оценки программ международного развития (релевантность, результативность, эффективность использования средств, влияние, устойчивость и согласованность) не вполне адекватны для оценки трансформации. Майкл Пэттон в статье «Оценка трансформации означает трансформацию оценки» (опубликована в феврале 2023 года)  утверждает: «Самая большая опасность для специалистов по оценке во времена турбулентности, такой как пандемия и изменение климата, заключается не в самой турбулентности, а в том, чтобы действовать в рамках вчерашней парадигмы, не адаптируя оценку к вызовам изменившегося и постоянно меняющегося мира».

Именно поэтому одной из первых инициатив Международной академии оценки стала разработка принципов оценки трансформации. Обсуждение этих принципов завершится в ближайшее время, и документ будет размещен в открытом доступе, о чём обязательно сообщу. 

Сервисы для проведения онлайн-опросов

Сегодня онлайновое анкетирование стало  широко использоваться при проведении оценки проектов и программ. Наверное, можно даже сказать, что практически ни одна оценка без этого не обходится. Выбор сервисов очень большой. Вы легко найдете списки лучших онлайновых конструкторов форм. Вопрос о том, каким сервисом пользоваться, актуален как для тех, кто впервые столкнулся с необходимостью проведения онлайнового анкетирования, так и для тех, кто – как ни странно – уже давно сделал свой выбор. Хотел бы поделиться своим мнением по этому поводу. 

Среди бесплатных вариантов считаю оптимальным Google Forms. Здесь можно сформировать любое количество анкет, а также отсутствуют ограничения по числу вопросов в одной анкете и числу ответов. Интерфейс удобный. Вариантов вопросов вполне достаточно. В анкету можно встроить логику пропуска – переход к определенным вопросам в зависимости от того, какие ответы дает респондент. Есть возможности разнообразить оформление анкеты. Просмотр ответов онлайн очень удобен. Если связать анкету с таблицей Google, то можно скачивать результаты анкетирования в Excel и многих других форматах. В интернете можно найти массу публикаций и видео-материалов о том, как пользоваться Google Forms на русском языке. Здесь один из примеров, где кратко описываются возможности данного сервиса.

Если бы раньше меня спросили о платных сервисах, то я бы без колебаний порекомендовал SurveyMonkey, которым мы пользовались с 2015 года. Это один из самых популярных конструкторов онлайновых анкет в мире. В свое время я узнал о нем от зарубежных коллег, занимающихся исследованиями и оценкой программ. Работает отлично, функционал замечательный, интерфейс интуитивно понятный. Скидки для постоянных клиентов очень приятные. Прекрасный профессиональный инструмент, который постоянно совершенствуется, но… оплата предполагается в долларах США, а с этим сегодня есть проблемы. 

Соответственно, возникает вопрос о том, есть ли аналогичные российские платные сервисы. Если вопрос для вас актуален, я бы рекомендовал обратить внимание на следующие:  

• Анкетолог  
• Тестограф  
• WebAsk    

Глобальная директория академических программ в сфере оценки

На сайте BetterEvaluation размещена Глобальная директория академических программ в сфере оценки. Вы можете выбрать тип программы, продолжительность обучения, страну, язык, формат обучения (включая онлайновый). Для каждой программы на сайте есть краткое описание и ссылка, по которой можно перейти на страницу соответствующего учебного заведения для получения более подробных сведений. Полагаю, это самая представительная специализированная онлайновая база данных на сегодня.

Почему нас никогда не просили оценить «качество жизни»

До сих пор в наших технических заданиях на проведение внешней оценки программ и проектов ни разу не было вопроса, содержащего словосочетание «качество жизни». То есть в буквальном смысле нас никогда не просили оценить, как изменилось качество жизни благополучателей под влиянием программы или проекта. При этом многие инициативы, которые нам приходилось оценивать, делали вклад, иногда очень существенный, в улучшение качества жизни определенных целевых групп. Почему так получилось? Вероятнее всего, тому есть несколько причин. 

1. Когда ставится задача на проведение оценки, мы спрашиваем заказчика: «Что Вы хотели бы узнать о своей программе?». Отвечая на этот вопрос, люди склонны говорить об очень конкретных вещах.
2. Даже если бы нам предложили оценить «качество жизни», мы наверняка спросили бы, что имеется в виду. Таким образом, разговор перешел бы в плоскость обсуждения характеристик или отдельных параметров качества жизни благополучателей. Соответственно, в вопросах задания упоминались бы именно эти характеристики. 
3. Влияние программы или проекта, как правило, выборочно и ориентировано на те или иные аспекты качества жизни людей, например, связанные с их здоровьем, трудоустройством, социализацией и т.д., но не на все характеристики качества жизни в комплексе. 

Тем не менее, анализ наших отчетов о проведенных за 27 лет оценках проектов и программ, показывает, что тема повышения качества жизни иногда возникала в общении с участниками и благополучателями - в тех случаях, когда оцениваемые инициативы существенным образом меняли жизнь людей к лучшему. Например, когда в результате проекта одинокие пожилые люди, проживающие в сельской местности, получали квалифицированную медицинскую помощь и из слепых становились зрячими. Или, когда проект помогал молодым людям с инвалидностью получить хорошо оплачиваемую постоянную работу.

Продолжаем размышлять и готовиться к конференции АСОПП-2023 на тему «Качество жизни. Благополучие. Оценка.» 

Оценка качества жизни

Этой теме будет посвящено ближайшее заседание клуба PROОЦЕНКУ, которое пройдет 13 апреля с 11 до 12.30 мск. Регистрация здесь. Пока мы готовились, пришло сообщение о том, что конференция АСОПП в этому году будет также посвящена оценке качества жизни и благополучия. Начнём размышлять на заданную тему 😊 

Всемирная организация здравоохранения определяет качество жизни как «восприятие человеком своего положения в жизни в контексте культуры и систем ценностей, в которых он живет, а также в связи с его целями, ожиданиями, стандартами и заботами».  Здесь можно посмотреть русскую версию опросника ВОЗ для оценки качества жизни.  

Казалось бы, есть определение, есть инструмент, разработанный авторитетной организацией… Вопрос закрыт? Вовсе нет! Есть другие определения и, если верить Википедии, более 150 методик оценки качества жизни.  

Более того, в этой сфере активно проводятся многочисленные исследования, и даже создано специализированное международное профессиональноеобъединение (в 1995 году), которое публикует научный журнал «Прикладные исследования в области качества жизни».

В нашей практике оценки проектов и программ (имеется в виду опыт компании "Процесс Консалтинг") тема качества жизни чаще всего возникала в связи с программами медицинской направленности; с программами, ориентированными на уязвимые группы населения; а также с программами развития местных сообществ. При этом вопросы об изменении качества жизни в задания на проведение оценки, как правило, в явном виде не включались.  

Почему? Обсудим в числе прочего на клубе. Приходите! 

Памяти Ларисы Аврориной

Вчера ушла из жизни Лариса Васильевна Аврорина. 

Многие знали ее как руководителя программы поддержки Фондов местных сообществ и одного из ведущих грант-менеджеров России. Я хотел бы сказать о том, какой важный вклад Лариса сделала в развитие оценки проектов и программ в нашей стране.

Мы познакомились в Новосибирске. Лариса тогда была грант-менеджером в СЦПОИ и, естественно, занималась мониторингом и оценкой проектов. Думаю, что интерес к оценке был также обусловлен её предыдущим опытом: до перехода в некоммерческий сектор Лариса без малого 30 лет проработала в науке. 

В 1998 году Лариса участвовала в организации Школы оценки для Сети Сибирского Центра. В 2000 году Лариса как представитель СЦПОИ входила в инициативную группу по созданию Международной Сети «Оценка Программ» (International Program Evaluation Network / IPEN) - первого объединения такого рода на территории бывшего СССР. Позже она вошла в Координационный Совет IPEN и приняла самое активное участие в подготовке и проведении первой конференции по оценке в нашем регионе, которая прошла в Новосибирске в ноябре 2000 года. 

Занимаясь развитием фондов местных сообществ, Лариса уделяла большое внимание развитию их потенциала в сфере мониторинга и оценки. 

В 2015 году Лариса была избрана в Правление Ассоциации специалистов по оценке программ и политик (АСОПП), где проработала 3 года. В качестве члена Правления Лариса принимала участие в рабочей группе по созданию профессионального стандарта специалиста по оценке. 

В начале 2021 года был опубликован отчет об оценке роли фондов местных сообществ (ФМС) в развитии местной филантропии. Интерес представляли не только результаты оценки, но и использованная для проведения оценки модель ACT (Assets-Capacity-Trust – «Активы-Потенциал-Доверие»), разработанная Глобальным фондом поддержки ФМС. Авторы публикации - Барри Найт (Великобритания) и Лариса Аврорина. Мы с Ларисой планировали организовать обсуждение этой методики на одном из заседаний клуба PROОЦЕНКУ, но как-то не сложилось...

Теперь Ларисы нет с нами. Ушел из жизни мудрый, профессиональный, интеллигентный человек, настоящий энтузиаст своего дела.

Соболезнования родным и близким, друзьям и коллегам.

Светлая память…

Специальный выпуск журнала «Позитивные изменения»

Вышел в свет очередной номер журнала «Позитивные изменения» (Том 3, № 1). Он целиком посвящен оценке. 

Номер открывается большим интервью с Майклом Пэттоном. Беседует с гуру Наталья Гладких, главный редактор журнала. В интервью затрагиваются многие важные вопросы. В частности, обсуждаются компетенции специалистов по оценке. Майкл считает, что «сегодня оценка — это не только методики, но еще и межличностные отношения. Оценщики должны уметь хорошо слушать, уметь работать с людьми, принадлежащими к разным культурам, хорошо коммуницировать, устанавливать связи, решать проблемы и управлять конфликтами». 

Моя статья называется «Сделай сам»: как НКО оценивать проекты своими силами». В ней обсуждаются причины появления и особенности развития внутренней оценки и само-оценивания за рубежом и в России, а также приводятся принципы само-оценивания с рекомендациями по их практическому применению в деятельности НКО.  

Ниже - оглавление номера с указанием основных рубрик. Много интересного! Можно скачивать в формате PDF отдельные статьи, а можно - весь номер целиком. 

ГОСТЬ  НОМЕРА

• «Если ты используешь оценку, то принимаешь решения лучше и помогаешь людям больше». Интервью с Майклом Пэттоном (Наталья Гладких) 

ЭКСПЕРТНЫЕ МНЕНИЯ

• Без стандартов, но по призванию. Является ли оценка проектов и программ профессией? (Юлия Вяткина)  
• Оценка в настоящем и будущем:  взгляд грантодающих организаций (Ирина Ефремова-Гарт, Татьяна Печегина)

ЭКСПЕРТНЫЕ СТАТЬИ

• «Сделай сам»: как НКО оценивать проекты своими силами (Алексей Кузьмин)  
• Союз дела и денег.  Оценка экономической устойчивости проектов  в области социального предпринимательства (Елена Авраменко)
• Законным путем. Оценка фактического воздействия в части социальных инвестиций в России и мире (Иван Смекалин)

КЕЙС ВЫПУСКА 

• Как устроен лучший грантовый конкурс социальных проектов 2022 года. Опыт фонда «Дорога к дому» (Алена Богомолова)

ИССЛЕДОВАНИЯ 

• Сила спорта. Оценка проектов в сфере физической культуры  и массового спорта (Илья Солнцев, Наталья Кошелева)