пятница, 1 декабря 2023 г.

Клуб PROОЦЕНКУ получил премию

Вчера вечером в Impact Hub Moscow в теплой и неформальной обстановке прошла церемония вручения премий журнала «Позитивные изменения» за 2023 год. В номинации «Развитие практики оценки социальных проектов» одним из лауреатов стал клуб PROОЦЕНКУ. Хотел бы выразить благодарность учредителям премии и поздравить СЦПОИ и «Гарант» (соучредители Альянса PROОЦЕНКУ), а также всех участников клуба! 

Премия научно-популярного журнала об импакт-инвестициях и оценке социального воздействия «Позитивные изменения» — это ежегодная российская премия, учрежденная ООО «Фабрика позитивных изменений» в 2022 году. Журнал награждает лучших авторов, экспертов и организации, которые внесли вклад в область оценки социального и экономического воздействия по итогам текущего года. 

Подробнее обо всех лауреатах премии 2023 года здесь.  


четверг, 2 ноября 2023 г.

Доказательный подход и оценка

К сожалению, не смогу присутствовать на следующем заседании клуба PROОЦЕНКУ 9 ноября, которое будет посвящено обсуждению связи доказательного подхода в социальной сфере и оценки проектов и программ. Поучаствую в обсуждении через блог – авансом 😊 

Остановлюсь на вопросе о том, как доказательный подход соотносится с оценкой проектов и программ. Полагаю, что для ответа на этот вопрос нужно, в первую очередь, разобраться с терминологией.

1) «Доказательный подход» к управлению социальными проектами.

Доказательный подход к управлению чаще называют «доказательным менеджментом». По ярлычку «доказательный менеджмент» в этом блоге можно найти несколько публикаций. В одной из них (2016 г.) предлагаются следующие характеристики доказательного подхода к управлению социальными проектами: 

  • Подразумевает обязательное обоснование решений, принимаемых на всех стадиях жизненного цикла проекта.
  • Предполагает использование лучших из доступных доказательств для обоснования решений.
  • Не предполагает жесткого увязывания качества доказательств со способами их получения (как это принято, например, в доказательной медицине). 
  • Учитывает возможные различия в восприятии качества доказательств различными заинтересованными сторонами.
  • Допускает использование в виде доказательств научных данных, организационных данных, живого опыта, ценностей и принципов. 
  • Учитывает, что большинство проектов содержат и простые, и сложные, и динамичные компоненты. Предполагает использование разных доказательств для разных компонентов. При выборе обоснований применительно к динамичным компонентам учитывает контекст и начальные условия.

В этот контекст оценка абсолютно органично вписывается как средство получения тех самых «доказательств».

2) «Доказательная практика» (evidence-based practice). 

Словарь определяет понятие «практика» как «деятельность людей, в к-рой они, воздействуя на материальный мир в процессе производства, преобразуют его». Если толковать понятие «практика» широко именно как «практическую деятельность», например, по управлению социальными проектами, то все сказанное выше оказывается применимо и здесь. 

В «Стандарте доказательности социальных практик в сфере детства» находим более узкое определение: «Практика (социальная практика) – система взаимосвязанных действий, направленных на достижение позитивных изменений (социальных результатов) в жизни конкретных групп благополучателей». Там же «доказательный подход» определяется как «основанный на систематическом поиске обоснований и применении методов, призванных доказать, что реализация той или иной практики приводит к достижению социальных результатов для конкретных групп благополучателей». 

Заглядываем в «Реестр (банк) доказательных практик» на сайте Фонда Тимченко. 

Пример: «Практика оказания комплексной помощи беременным женщинам и женщинами с новорожденными детьми, находящимся в трудной жизненной ситуации, в том числе изъявляющим намерение отказаться от новорожденного ребёнка, а также в риске причинения жестокого обращения, включает в себя социальное сопровождение целевой группы на этапах беременности (поздние сроки) и актуального материнства в течение первого года после рождения ребенка, а также развитие семейных ресурсов, необходимых для полноценного выполнения родительских функций». 

Что в этом случае означает «доказательная практика»? То, что специалисты «Службы помощи матери и ребенку «Млада» в своей деятельности руководствуются доказательным подходом? Или то, что, если работать в точности как они, то желаемый результат гарантирован? Если имеется в виду второе (вроде бы, так оно и есть), то мне кажется более корректным термин «практика с доказанной эффективностью», который также используется Фондом Тимченко.

Кстати, есть еще одно понятие, которое близко по смыслу и достаточно широко используется у нас: «социальная технология» (совокупность методов и приемов для достижения определенного социального результата). 

Как оценка проектов и программ социальной направленности соотносится с обоснованием ("доказыванием") эффективности «практик» или «социальных технологий»? Очевидно, что вопросы об эффективности и о возможности тиражирования «практики» могут входить в задание на проведение оценки проекта или программы. Соответственно, по результатам оценки может быть вынесено суждение о том, что "практика" эффективна в данном проекте и может быть использована в других аналогичных проектах.

пятница, 20 октября 2023 г.

Корпоративное благополучие и оценка в НКО

Сообщение с таким названием мы с Владимиром Балакиревым сделали на только что завершившейся конференции АСОПП. 

Корпоративным благополучием, благополучием сотрудников или благополучием на рабочем месте принято называть такое «состояние, при котором сотрудник успешно реализует собственный потенциал, продуктивно работает и вносит свой вклад в развитие компании и общества в целом» (Лисовская, А. Ю., Кошелева, С. В., Соколов, Д. Н., & Денисов, А. Ф. (2021). Основные подходы к пониманию благополучия сотрудника: от теории к практике. Организационная психология, 11(1), 93-112).

Один из вариантов «драйверов корпоративного благополучия» выглядит так

  1. Достижения: «Я достигаю большинства своих целей на работе»
  2. Принятие: «На работе есть люди, которые ценят меня как личность»
  3. Принадлежность: «Я чувствую принадлежность к своей компании»
  4. Энергия: «При выполнении большинства рабочих задач я чувствую прилив энергии»
  5. Справедливая оплата: «За мою работу мне платят справедливо»
  6. Гибкость: «Моя работа допускает достаточную гибкость и по времени, и по месту»
  7. Инклюзивность: «В моей рабочей среде чувствуется инклюзивность и уважение ко всем людям»
  8. Социальная значимость: «Моя работа важна для решения социально-значимой задачи» 
  9. Обучение: «Я постоянно чему-то учусь на работе»
  10. Поддержка руководителя: «Мой руководитель помогает мне добиться успеха»
  11. Поддержка коллег: «На работе есть люди, которые оказывают мне поддержку и воодушевляют меня»
  12. Доверие: «Я могу доверять людям в моей компании»

Мы попытались показать, что полномасштабное внедрение оценки в деятельность НКО может существенным образом положительно повлиять на некоторые из этих драйверов, то есть, на благополучие сотрудников НКО.

Например, оценка/само-оценивание в НКО может способствовать ощущению достижения (драйвер №1), поскольку чаще всего одной из задач оценки является вынесение обоснованного суждения о достижении целей программы или проекта. 

Другой пример – обучение (драйвер №9). Каждый раз, проводя оценку, сотрудники НКО узнают что-то новое, учатся. Отсюда – связь оценки с обучением. 

Мы планируем опубликовать статью на эту тему в начале следующего года.

четверг, 12 октября 2023 г.

Как получить максимальный эффект от участия в конференции

Только что прошло очередное заседание клуба PROОЦЕНКУ, посвященное подготовке к конференции АСОПП-2023. Разговор получился интересный: обменялись опытом участия в конференциях и личными лайфхаками, прошлись по программе конференцииАСОПП и послушали анонсы нескольких выступлений от авторов.

Хотел бы поделиться здесь результатами обсуждения критериев выбора выступлений, которые вы планируете посетить:

  • Близко по работе, по профессии
  • Спикер (смотрю на тех, кто будет рассказывать)
  • Формат выступления
  • Если новый автор, то интересно посмотреть; знакомлюсь с новыми людьми, в т.ч. как с ресурсами для своей работы
  • Оценивать свое состояние и при этом смотреть подачу спикера – насколько формат подходит к твоему состоянию
  • Учесть, что можно живьем послушать, а что – в записи
  • Вживую послушать про практический опыт – приоритетно, а дискуссию можно в записи посмотреть
  • Тема, с которой хочется разобраться или тема, по которой больше всего вопросов (возможность задать вопрос эксперту)
  • Новизна: что необычное, новое, неизвестное, чем раньше не занималась

Видеозапись заседания клуба и презентация, как всегда, будут доступны на сайте клуба.

пятница, 6 октября 2023 г.

Прогностическая оценка

В 2007 году в журнале «Мультидисциплинарная оценка» была опубликована статья Майкла Скривена «Прогностическая оценка» (Predictive Evaluation).   Речь в ней шла о том, что во многих видах оценки (если не во всех) есть прогностическая составляющая. Скривен даже прикинул её масштабы в процентах. Оценка проектов и программ, по его мнению, прогностическая на 30%: почти во всех случаях она включает вынесение суждения об устойчивости деятельности и/или ее результатов. Устойчивость – это про будущее. Оценка политик (по Скривену) прогностическая на 75%, а оценка заявок (оценка замыслов проектов или программ) – на 100%, то есть представляет собой прогноз в чистом виде. При этом, по мнению Скривена, «прогнозирование — очень сложное дело, а оценщики обычно плохо разбираются в литературе по этому вопросу». Он указывает, что «мы слишком быстро перескакиваем от данных о прошлом к рассуждениям об будущем».

Статья была опубликована в рубрике «Информация к размышлению», и основной её пафос состоял в том, что надо развивать методологию прогностической оценки и соответствующие компетенции специалистов по оценке. Заметим, что речь здесь идет о специалистах, занимающихся преимущественно оценкой проектов и программ (program and project evaluation). Исторически сложилось так, что их профессиональная деятельность связана преимущественно со сбором и анализом эмпирических данных, характеризующих ход и результаты оцениваемых инициатив. Прогностическая же оценка развивалась в смежных областях.

Экологи, например, уже очень давно проводят ОВОС – прогностическую оценку воздействия на окружающую среду.

Специалисты по грантмейкингу на протяжении десятилетий отрабатывают методологию оценки заявок в рамкахгрантовых конкурсов  и - более широко – методологию оценки замысла проекта Самая свежая отечественная разработка в этой сфере -  «Методика оценки решений с учетом социальной значимости» Фонда «Вклад в будущее», представленная вчера на конференции Форума Доноров в Москве.

Специалисты по ассесменту социального воздействия (social impact assessment) занимаются преимущественно прогностической оценкой, указывая, что, в принципе, их методы и инструменты могут применяться и для программ на стадии реализации. Крупнейшее профессиональное объединение таких специалистов IAIA (International Association for Impact Assessment) проводит ежегодные конференции и выпускает журнал, название которого можно перевести как «Прогнозирование влияния и оценка замысла проекта».

Специалисты по оценке регулирующего воздействия (ОРВ) занимаются экспертизой (прогностической оценкой) новых законодательных актов во избежание создания избыточных издержек и административных барьеров для субъектов предпринимательской деятельности.

Специалисты по корпоративному обучению разрабатывают прогностическую оценку тренингов Обложка книги об этом использована в качестве иллюстрации.

И это лишь несколько примеров. Ресурсы для профессионального развития в сфере прогностической оценки точно имеются. 

четверг, 28 сентября 2023 г.

«Один врач не может лечить все болезни»

В древние времена врач лечил всех людей от всего, опираясь на единую теорию происхождения болезней (см., например, труды пионера в области психотерапии, физической терапии и молекулярной медицины древнегреческого врача и философа Асклепиада Вифинского). В какой-то момент стало понятно, что «Один врач не может лечить все болезни». Наставление с таким названием написал персидский учёный-энциклопедист, врач, алхимик и философ Абу Бакр Мухаммад ар-Рази (именно он изображен на рисунке). 

Подобные процессы происходят во всех сферах профессиональной деятельности по мере накопления знаний и опыта. Обязательным условием при этом, естественно, является наличие спроса. Оценка программ не стала исключением. В странах, где индустрия оценки достаточно развита, можно наблюдать, например, отраслевую специализацию консультантов по оценке (здравоохранение, культура и т.д.); методологическую специализацию (оценка с участием, оценка, основанная на теории программы и т.д.); специализацию на определенной целевой группе (пожилые люди, студенты, дети и т.д.). 

В нашей стране самым заметным направлением специализации является оценка программ в сфере детства. Здесь есть и этический кодекс, и онлайновые курсы, и методические пособия. 

О специализации в сфере оценки будет большой разговор на ноябрьском Институте оценки в Москве. Прием заявок на участие открыт до 20 октября.

пятница, 22 сентября 2023 г.

«Золотой стандарт» в оценке

Золотым стандартом называют денежную систему, в которой основной единицей расчётов является некоторое стандартизированное количество золота. 

Термин «золотой стандарт» достаточно широко используется в различных сферах как метафора, означающая «самый лучший», «идеальный»:

Вопрос о «золотом стандарте» в оценке программ и проектов выглядит так: можно ли выделить одну самую лучшую методику (или метод) оценки, к использованию которой должны стремиться все, кто проводит оценку, и на основании которой можно было бы судить о качестве оценки?

В частности, в качество «золотого стандарта» в оценке влияния программ предлагалось принять рандомизированные контролируемые исследования (РКИ). Горячая дискуссия вокруг этого вопроса закончилась тем, что  абсолютное большинство членов профессионального сообщества приняло в качестве «золотого стандарта» методологическую целесообразность. Последняя подразумевает: 

  • соответствие дизайна оценки ситуации, в которой проводится оценка; 
  • учет вопросов задания, планируемого использования результатов оценки и требований к качеству информации, достаточной для принятия решений; 
  • сравнение стоимости, преимуществ и ограничений различных вариантов дизайна оценки;
  • размер бюджета оценки;
  • ограничения по времени проведения оценки;
  • принятие во внимание этических соображений.

Если вас интересует содержание дебатов о «золотом стандарте» в оценке программ, посмотрите вот эти публикации (англ.) с «говорящими» названиями: 

четверг, 14 сентября 2023 г.

Наследие Майкла Скривена

Не стало Майкла Скривена (Michael Scriven). Он был не просто заметной фигурой в сообществе специалистов по оценке. Полагаю, его можно по праву считать одним из основоположников оценки как самостоятельной дисциплины и отрасли знания. Мне довелось общаться с ним лично, бывать на его выступлениях и участвовать в семинарах, которые он проводил. Он был выдающимся мыслителем.

В последнее время Майкл был профессором психологии в Клермонтском университете и содиректором Клермонтского оценочного центра. Более 450 публикаций Майкла Скривена были посвящены преимущественно оценке, но кроме того информатике, неформальной логике, космологии, международной филантропии и технологическим исследованиям. Он входил в редакционные и консультативные советы более чем 40 научных журналов и был избран президентом Американской ассоциации исследований в области образования, президентом Американской ассоциации оценки и научным сотрудником Центра перспективных исследований в области поведенческих наук в Стэнфорде. Он также был сотрудником Гарварда и членом Австралийской академии социальных наук. 

О наследии Майкла Скривена очень хорошо рассказал Майкл Пэттон. 40-минутный видеоролик с его выступлением (англ.) размещен здесь

среда, 13 сентября 2023 г.

Возможные ошибки при анализе данных

В финале рассказа «Пестрая лента» знаменитый сыщик Шерлок Холмс говорит: «… Вначале я пришел к совершенно неправильным выводам, мой дорогой Ватсон, и это доказывает, как опасно строить гипотезы на основе неполных данных…». Если не помните, в чем там было дело – перечитайте, получите удовольствие! Я же решил начать с этой цитаты потому, что наш опыт анализа данных при проведении оценки полностью соответствует тому, что сказал Холмс. Интерпретация неполных данных чаще всего действительно приводит к неправильным выводам. Мы с Владимиром Балакиревым сформулировали свой перечень распространенных ошибок, относящихся к интерпретации данных:

  1. Использование неполных данных (допускают несколько вариантов интерпретации)
  2. Пропуск противоречий в данных («неподходящие» данные игнорируются)
  3. Влияние эмоционального состояния на характер интерпретации данных
  4. Использование «заготовок» (сознательно или неосознанно используются заранее заготовленные интерпретации, основанные, например, на предыдущем опыте или авторитетных мнениях)
  5. Отсутствие необходимой для интерпретации определенных данных экспертизы
  6. Движение «от сложного» (вначале даются сложные объяснения, хотя все можно объяснить и просто)
  7. Игнорирование интерпретаций, которые имеются у благополучателей и других заинтересованных сторон

Завтра на заседании клуба PROОЦЕНКУ (регистрация еще открыта) поговорим и об этом.

среда, 30 августа 2023 г.

Анализ данных при проведении оценки

Начинаем подготовку к следующему заседанию клуба PROОЦЕНКУ, которое пройдет онлайн в четверг 14 сентября 2023 года с 11.00 до 12.30 мск и будет посвящено анализу данных. Регистрация на заседание откроется в понедельник 4 сентября на сайте клуба

Мы планируем обсудить следующие темы: 

  • Всегда ли мы можем получить данные для ответа на интересующие нас вопросы?
  • В какой мере мы можем доверять полученным в ходе оценки данным? 
  • Какие бывают ошибки при интерпретации данных и как их избежать?
  • Как перейти от интерпретации к выводу (суждению)?
  • Насколько хорошо обоснованы наши суждения и готовы ли мы их отстаивать?

Вице-президент компании Gartner (одна из ведущих исследовательских и консалтинговых компаний, специализирующихся на рынках информационных технологий) Марио Фариа (Mario Faria) считает, что анализ данных — это преобразование данных в выводы, на основе которых будут приниматься решения и строиться действия. Это рабочее определение очень хорошо отражает сущность анализа данных, являющегося важным элементом оценки проектов и программ, ориентированной на практическое использование (Utilization-Focused Evaluation).  

Любая оценка проекта (и внешняя, и внутренняя) завершается вынесением суждений, которые являются ответами на вопросы задания. Особенность эмпирической оценки состоит в том, что суждения основываются на систематически собранных данных. При планировании такой оценки мы определяем, какие именно данные нужны для ответа на вопросы задания и как эти данные можно получить. Важнейший этап оценки – анализ данных, состоящий в извлечении смыслов из полученных данных и переходе от данных к суждениям. Общеизвестная последовательность анализа данных при проведении эмпирической оценки выглядит следующим образом: факты – интерпретации – выводы (суждения) – рекомендации. Отправной точкой для анализа являются факты, эмпирические данные, представленные в удобном для восприятия виде. Далее даются объяснения тому, что полученные данные (факты) означают, а также, каким образом и почему они связаны между собой, если такие связи имеются. Этот этап анализа называется интерпретацией. На основании интерпретаций делаются выводы, выносятся суждения. Именно в этот момент появляются ответы на вопросы задания. На основании выводов даются рекомендации, которые также могут являться ответами на вопросы задания.


пятница, 25 августа 2023 г.

SURVEYMONKEY: доступ ограничен

Ровно 4 месяца назад я писал о сервисах для проведения онлайн-опросов. Тогда я рекомендовал SurveyMonkey как лучший, с нашей точки зрения, вариант платного сервиса, которым мы активно пользовались 8 лет. Единственной проблемой в последнее время была оплата в долларах США. В конце прошлой недели у российских пользователей SurveyMonkey возникла другая проблема: доступ к SurveyMonkey из РФ был заблокирован Amazon CloudFront: «403 ERROR. The request could not be satisfied. The Amazon CloudFront distribution is configured to block access from your country». Обойти эту блокировку, в принципе, можно, но при проведении анкетирования придется объяснять всем респондентам, как это сделать, что нереально. Посему мы переехали на российский Тестограф. Работает исправно. Если что, готов поделиться первыми впечатлениями, в том числе, по сравнению с SurveyMonkey. Обращайтесь! :)

четверг, 13 июля 2023 г.

Результаты анкетирования представителей НКО

Накануне проведения сегодняшнего заседания клуба PROОЦЕНКУ мы провели анкетирование представителей НКО относительно трудностей, мешающих интегрированию оценки в деятельность их организаций. На вопросы анкеты ответили 35 человек, в числе которых 27 руководителей НКО и 18 сотрудников НКО. 

Доли респондентов, считающих, что перечисленные ниже категории трудностей в какой-то мере относятся к их организациям распределились следующим образом (медианы): ресурсные ограничения (72%), организационные трудности (71%), технические трудности (46%) и психологические трудности (32%).

Результаты анкетирования по каждой из категорий трудностей приведены на диаграммах.

среда, 5 июля 2023 г.

Трудности интегрирования оценки в деятельность НКО

Анализ опыта участников клуба PROОЦЕНКУ и зарубежных публикаций показал, что трудности, препятствующие полноценному интегрированию оценки в деятельность НКО, можно разделить на четыре категории: 

  • Психологические. Сюда относятся разного рода опасения, связанные с проведением оценки, например, возможное негативное влияние оценки на ход программ или отношения с заинтересованными сторонами. Может также иметь место скептическое отношение руководства и сотрудников НКО к оценке.  
  • Ресурсные. Нехватка денег, времени, специалистов и т.д.  
  • Технические. Это затруднения, связанные с выбором, разработкой и/или применением методов и инструментов оценки в определенном контексте.
  • Организационные. Для того, чтобы оценка в НКО работала, нужны внутриорганизационные системы, регламентирующие проведение внешней оценки; внутренней оценки/само-оценивания; хранение информации и доступ к ней; мотивирование персонала.
На ближайшем заседании клуба PROОЦЕНКУ (13 июля с 11.00 до 12.30 мск) обсудим все четыре категории трудностей с учетом приоритетов участников заседания. Регистрация на заседание на сайте клуба (кнопка «Регистрация на ближайшее заседание») будет открыта в ближайшее время. Следите за объявлениями в телеграм-каналах "Проектирование и оценка в социальной сфере" и "5 элемент"

среда, 28 июня 2023 г.

Как «подстелить соломку»: оценка и управление рисками в социальном проектировании

Статья с таким названием опубликована в очередном номере журнала «Позитивные изменения». В ней - в числе прочего - приводятся результаты обсуждения на заседании клуба PROОЦЕНКУ, посвященного оценке рисков. 

Как всегда, в новом номере журнала много интересных материалов об оценке и не только!

понедельник, 19 июня 2023 г.

Попытки увильнуть от проведения внешней оценки в системе ООН

В конце 90-х годов прошлого века офис оценки ООН опубликовал любопытный документ, который назывался буквально так: «Попытки увильнуть от проведения внешней оценки в системе ООН: список неприемлемых отговорок». В отличие от списка из 10 причин не проводить оценку своего проекта, который я опубликовал недавно, список ООН включает 52 (!) пункта. Привожу их ниже в продолжение разговора о трудностях при проведении оценки. При ознакомлении со списком надо иметь в виду, что речь идет именно о структурах Организации Объединенных Наций, которые призваны работать в контакте с национальными правительствами и местными партнерами. 

Итак...

  1. Наш проект - особенный.
  2. Это будет слишком дорого.
  3. У нас нет времени.
  4. Этот проект слишком мал.
  5. Это не было запланировано.
  6. Мы никогда не делали этого раньше.
  7. Правительству это не понравится.
  8. Просто отдайте мне деньги, которые вы хотите потратить на оценку.
  9. Всё очень сложно; люди со стороны не смогут разобраться.
  10. Это упражнение в стиле башни из слоновой кости: далеко от приземленного, суетного мира, мира практических расчетов и житейских забот.
  11. У меня отпуск.
  12. Это не наша проблема.
  13. Зачем что-то менять, если все работает хорошо?
  14. Мы пока к этому не готовы.
  15. Этого нет в бюджете.
  16. Руководитель/партнер только что уволился.
  17. Руководитель/партнер только что сменился.
  18. Директора проекта еще не назначили.
  19. Персонал партнера пока на тренинге/стажировке.
  20. Мы отлично справляемся без этого.
  21. Мы этого раньше не пробовали.
  22. Должна быть дополнительная причина.
  23. Я не нуждаюсь в том, чтобы кто-то учил меня моей работе.
  24. Это может сработать в любой другой организации/регионе/стране/технической области, но никогда не сработает здесь.
  25. Я не уверен, что это сработает.
  26. Они просто хотят нас подловить.
  27. Подумайте о том, к каким сбоям в работе это приведет.
  28. Это невозможно сделать объективно.
  29. Менять что-либо – слишком большая головная боль.
  30. Мы всегда делали это так.
  31. Мы сделали ровно то, что заявляли.
  32. Нас уже оценивали.
  33. У нас нет никаких проблем.
  34. В правительстве – перемены.
  35. Финансовый кризис вызвал отставание от графика.
  36. У нас только аудит прошел
  37. Начальство считает, что это один из лучших проектов.
  38. Это пилотный, экспериментальный, модельный, исследовательский проект.
  39. Проект только начат/почти закончен/еще долго будет идти.
  40. Строительство еще не окончено.
  41. Оборудование еще не поступило/не установлено.
  42. Правовой статус еще не предоставлен/утвержден.
  43. Мы не можем найти исходный рабочий план.
  44. Я не был ответственным сотрудником, когда проект начинался.
  45. Правительство удовлетворено проектом.
  46. Правительство еще не предоставило свои ресурсы.
  47. Проект не поддается «оценке» в силу своего характера.
  48. У нас нет данных.
  49. Дизайн проекта слишком расплывчатый.
  50. Мы всегда сами себя оцениваем.
  51. Так сезон же дождей…
  52. У нас хорошая система мониторинга.
Цитируется по: M. Segone (Ed.), (2006). New Trends in Development Evaluation. 

среда, 14 июня 2023 г.

Размышления об экосистеме оценки социальных программ и проектов

Экосисте́ма - основная природная единица на поверхности Земли, совокупность совместно обитающих организмов и условий их существования, находящихся в закономерной взаимосвязи друг с другом и образующих систему. Чтобы процветать, эти организмы конкурируют и сотрудничают, совместно эволюционируют и адаптируются к внешним потрясениям. 
В начале 1990-х годов специалист по бизнес-стратегиям Джеймс Мур предложил рассматривать компанию не как отдельного игрока, а как представителя бизнес-экосистемы, охватывающей множество участников из разных отраслей. 

Попытаемся представить себе экосистему оценки социальных программ и проектов. Хотел бы сразу подчеркнуть, что это публикация в жанре «мысли вслух» без претензии на представление стройной комплексной модели. Скажем так, для затравки.

Причиной появления и развития экосистемы оценки, вероятно, можно считать потребность в информации, возникающую у лиц, принимающих решения, связанные с социальными программами и проектами. Это, в частности, означает формирование определенной культуры принятия решений, основанной на доказательном подходе. Значит, программы подготовки и повышения квалификации менеджеров для социальной сферы должны включать соответствующие разделы. Содержание подготовки определяют учебные заведения – государственные и негосударственные. Лица, принимающие решения, представляют самые разные организации – от финансирующих (государственных и негосударственных) до специализированных, занимающихся непосредственной реализацией социальных проектов и программ.
Спрос на внешнюю оценку должен удовлетворяться предложением со стороны специализированных компаний и фрилансеров. Качественные услуги в сфере оценки они могут оказать лишь при наличии необходимых компетенций. Здесь мы опять возвращаемся к учебным заведениям, которые должны обеспечить подготовку и повышение квалификации специалистов по оценке. 
Для осуществления внутренней оценки и само-оценивания организациям социальной сферы понадобятся либо штатные специалисты по оценке, либо компетенции, позволяющие программным специалистам квалифицированно проводить оценку своих инициатив. Это еще одно направление деятельности для учебных заведений. 
Для развития оценки необходимо проведение систематических исследований. Это позволит формировать специализированную базу знаний, создавать науку оценивания вместе с зарубежными коллегами, актуализировать образовательные программы. Это – сфера деятельности исследовательских центров, университетов.
Важным элементом экосистемы оценки является профессиональная ассоциация, которая в числе прочего определяет стандарты профессиональной деятельности в сфере оценки и влияет на программы профессиональной подготовки и повышения квалификации специалистов.
Социальные программы и проекты реализуются в интересах граждан (благополучателей), которые также входят в экосистему оценки. Полагаю, в экосистему оценки должны быть включены и депутаты разных уровней, избранные гражданами и представляющие их интересы. 
Информирование и просвещение в сфере оценки – важная функция, которая осуществляется как перечисленными выше участниками экосистемы (обучающие и образовательные учреждения, компании и специалисты, профессиональная ассоциация), но и средствами массовой информации, в том числе, электронными. Сюда надо отнести и блогеров. 
Для проведения оценки нужны современные технологии, программное обеспечение. Говорят, при проведении оценки уже начали использовать искусственный интеллект. Значит, в нашу экосистему войдут и разработчики таких технологий, и провайдеры соответствующих услуг.

Здесь, пожалуй, пора поставить многоточие… 😊 

четверг, 8 июня 2023 г.

Трудности при проведении мониторинга и оценки: зарубежный опыт

Разговор на клубе PROоценку сегодня получился интересный. Видеозапись и материалы будут доступны на сайте клуба в ближайшие дни. Пока хотел бы поделиться некоторыми зарубежными материалами по теме заседания. Все три публикации есть в открытом доступе (см. ссылки на источники).

Препятствия, влияющие на эффективный мониторинг и оценку проектов снижения бедности (на основании интервью с социальными работниками и специалистами по развитию сообществ):

  • Навыки в сфере мониторинга и оценки. Знания в сфере мониторинга и оценки.
  • Потенциал сотрудников в сфере МиО. Недостаточно специалистов, прошедших профессиональную подготовку.
  • Мониторинг как проверка на соответствие. Выполняется формально на основе чек-листов («пункт-галочка»).
  • Неэффективная работа со стейкхолдерами. Отсутствие поддержки со стороны благополучателей.       Источник

В каких сферах возникают проблемы при оценке проектов и программ в сельской местности (на основе интервью с менеджерами):

  • Измерение результатов
  • Оценка профилактических инициатив и демонстрация того, что негативный результат «не случился»
  • Многофакторный характер проблем со здоровьем
  • Разнообразие секторов и заинтересованных сторон, участвующих в программах
  • Определение эффективности стратегий воздействия
  • Проблемы доступа к благополучателям, характерные для сель
    ских сообществ
  • Защищенные группы населения
  • Отсутствие методов и инструментов оценки, предназначенных для использования в сельской местности.    Источник

Проблемы, с которыми сталкиваются НКО в сфере мониторинга и оценки (МиО):

  • Нехватка ресурсов и времени
  • Неточные данные
  • Неэффективные стратегии МиО
  • Использование стандартных моделей для всех программ
  • Вовлечение заинтересованных сторон
  • Информирование доноров об отрицательных результатах
  • Техническая экспертиза в сфере МиО
  • Культура/установки по отношению к МиО в организации
  • Отсутствие фокуса (приоритизации)    Источник

среда, 7 июня 2023 г.

10 причин не проводить оценку своего проекта

По мнению компании Grosvenor, предложение провести оценку проекта чаще всего вызывает два варианта реакций: энтузиазм или сопротивление. Энтузиазм связан с возможностью узнать что-то новое и важное о своем проекте, научиться чему-то, получить возможности для развития. Сопротивление всегда сопровождается определенными аргументами. Ниже приводится соответствующий список. Подробнее с этими аргументами и контраргументами от специалистов компании  Grosvenor можно ознакомиться здесь 

  1. То, что мы делаем, слишком сложно…
  2. Рискованно говорить с заинтересованными сторонами
  3. Хм … у нас нет данных для оценки!
  4. Я не знаю, как это делается.
  5. У нас нет на это денег.
  6. Мы и так очень заняты.
  7. Я опасаюсь негативных результатов.
  8. Я и без оценки знаю, что есть проблемы, а всем наплевать…
  9. Мы занимаемся этим уже очень давно … просто поверьте мне
  10. В результате все равно ничего не изменится

На мой взгляд, в общем случае отношение к оценке представляет собой смесь энтузиазма и опасений. Но приведенный выше список опасений вполне совпадает с нашим опытом.

Завтра на заседании клуба PROоценку будем обсуждать трудные ситуации, с которыми сталкиваются на практике участники клуба при проведении индикаторной и эмпирической оценки. Особый акцент сделаем на само-оценивании. Информация о заседании и регистрация.

четверг, 25 мая 2023 г.

Институт оценки

Через неделю в Москве пройдет т.н. «Институт оценки» - двухдневный семинар для тех, кто знаком с оценкой и имеет опыт практического проведения оценки проектов и программ. Этот семинар пройдет в рамках проекта «Поддержка и развитие оценки и развитие оценочного мышления. Пятый элемент» (телеграм-канал проекта здесь). Мероприятие проводим вместе с новосибирским ИнА-Центром во второй раз. Программу по сравнению прошлогодней не меняли, но содержание сессий обновили с учетом новых публикаций и событий, которые в мире оценки происходят. 

Перечислю основные темы и кое-что интересное по каждой из них.

  • Развитие оценочного мышления. Психологи говорят, что надо стремиться к безоценочности, а здесь «оценочное» мышление… Нет ли противоречия? 
  • Использование критериев в оценке. Почему известный специалист по оценке Том Швандт 20 лет назад написал статью «Прощание с критериологией». Какую роль играют критерии в оценке проектов и программ сегодня. 
  • Оценка потребностей. Можно ли согласиться с тем, что потребность – это разница между желаемым и действительным положением дел, или всё несколько сложнее? 
  • Оценка социального эффекта и оценка влияния. Как оценить влияние проекта в ретроспективе и как спрогнозировать возможное влияние проекта или программы. 
  • Использование моделей в оценке. Что лучше: пользоваться известными видами моделей или формировать авторские модели? 
  • Наука о системах и оценка. В чем состоят принципы системного мышления и как их применить при проведении оценки на практике. 
  • Оценка услуг. Кому оказывает услугу детский садик: родителям, детям или, может, государству? Что можно и что не следует оценивать на основании мнения потребителей услуг? 
  • Само-оценивание в НКО. В какой мере подходы к оценке зависят от того, как устроена некоммерческая организация. Как влияет на эти подходы организационная культура.

понедельник, 15 мая 2023 г.

Феминистская оценка: знакомимся с подходом

В ближайший четверг с 11.00 до 12.30 пройдет очередное заседание клуба PROОЦЕНКУ на тему «Феминистская оценка». Я решил написать несколько слов о том, как мы выбрали эту тему и почему стоит принять участие в заседании клуба.

В этот раз у нас в гостях будет Донна Подемс из ЮАР. Нам сильно повезло «заполучить» такого профессионала! Думаю, не будет преувеличением сказать, что Донна входит в число ведущих специалистов по оценке программ в мире. При этом ей удается сочетать серьезную теоретическую базу с практической ориентацией. Донна преподает в трех университетах, ведет исследовательскую работу, регулярно публикует статьи в ведущих профессиональных изданиях. В то же время она постоянно проводит оценку различных программ и проектов, сохраняя отличную форму в качестве специалиста по оценке.

Когда мы приглашаем гостей для участия в заседаниях клуба PROОЦЕНКУ, мы всегда спрашиваем, о чем они хотели бы поговорить. На этот вопрос Донна ответила почти не задумываясь: «Феминистская оценка». Надо сказать, что она как раз сейчас завершает работу над книгой с таким названием. Мы сразу согласились: об этом подходе к оценке у нас известно крайне мало, а площадка клуба дает возможность не просто получить информацию, но и обменяться мнениями.

Согласно определению, предложенному Майклом Пэттоном, феминистская оценка как подход «уделяет большое внимание процессам, которые предполагают участие, поощряют расширение прав и возможностей и продвигают социальную справедливость». Именно в таком ключе пойдет разговор. Мы не собираемся обсуждать феминизм, мы будем говорить об определенном подходе к оценке программ и проектов. Обсуждение будет, конечно же, ориентировано на практику.

Донна Подемс – отличная рассказчица и умеет просто говорить о сложных вещах. Будет интересно!

Регистрация для участия в заседании на сайте клуба (кнопка «Регистрация на ближайшее заседание»). 

среда, 10 мая 2023 г.

Оценочное мышление: больше, чем критическое

Рубрика "Оценочное мышление" появилась в этом блоге в прошлом году. Это было связано с подготовкой к Институту оценки, который мы провели в рамках проекта "5 элемент" вместе с ИнАЦентром. Сейчас готовимся к проведению второго "института" (это двухдневный семинар для тех, кто имеет опыт в сфере оценки) и продолжаем развивать тему. Я упоминал о том, что Майкл Пэттон предложил свое определение оценочного мышления (evaluative thinking) как сочетания критического, творческого, логического и практического мышления. Определение критического мышления можно посмотреть здесь. Ниже приводятся еще три определения. Добавьте к этому критическое мышление, и станет понятно, что оценочное мышление - это точно что-то особенное...

Творческое мышление – один из видов мышления, характеризующийся созданием субъективно нового продукта и новообразованиями в самой познавательной деятельности по его созданию. Творческое мышление отличают от процессов применения готовых знаний и умений, называемых репродуктивным мышлением.

Логическое мышление – это мыслительный процесс, при котором человек использует логические понятия и конструкции, которому свойственна доказательность, рассудительность, и целью которого является получение обоснованного вывода из имеющихся предпосылок.

Практическое мышление - это особый вид мышления, специфика которого определяется его включённостью в реальную деятельность субъекта, которая и задаёт его основные характеристики: комплексность и изменчивость объекта; направленность на преобразование и учёт требований реализуемости решения; слабая вербализуемость процесса и содержания опыта.

PS Заявки на участие в Институте оценки в Москве 1-2 июня принимаются до 12 мая. 

пятница, 5 мая 2023 г.

Оценивание трансформации

Кембриджский словарь определяет трансформацию как «полное изменение внешности или характера чего-либо или кого-либо, особенно с целью улучшения этой вещи или человека». 

Можно сказать, что трансформация – это изменение, характеризующееся глубиной, существенностью и значимостью. Как правило, это также изменение, которое носит системный характер. Например, сегодня часто говорят о цифровой трансформации компаний, имея в виду процесс внедрения организациями цифровых технологий, сопровождаемый оптимизацией системы управления основными технологическими процессами.  

Глубинные существенные значимые изменения (трансформации) могут происходить в системах разного масштаба: на уровне отдельного человека, семьи, организации, города, страны, планеты. Оценивание изменений такого рода требует особого подхода. В частности, широко известные критерии оценки программ международного развития (релевантность, результативность, эффективность использования средств, влияние, устойчивость и согласованность) не вполне адекватны для оценки трансформации. Майкл Пэттон в статье «Оценка трансформации означает трансформацию оценки» (опубликована в феврале 2023 года)  утверждает: «Самая большая опасность для специалистов по оценке во времена турбулентности, такой как пандемия и изменение климата, заключается не в самой турбулентности, а в том, чтобы действовать в рамках вчерашней парадигмы, не адаптируя оценку к вызовам изменившегося и постоянно меняющегося мира».

Именно поэтому одной из первых инициатив Международной академии оценки стала разработка принципов оценки трансформации. Обсуждение этих принципов завершится в ближайшее время, и документ будет размещен в открытом доступе, о чём обязательно сообщу. 

среда, 26 апреля 2023 г.

Сервисы для проведения онлайн-опросов

Сегодня онлайновое анкетирование стало  широко использоваться при проведении оценки проектов и программ. Наверное, можно даже сказать, что практически ни одна оценка без этого не обходится. Выбор сервисов очень большой. Вы легко найдете списки лучших онлайновых конструкторов форм. Вопрос о том, каким сервисом пользоваться, актуален как для тех, кто впервые столкнулся с необходимостью проведения онлайнового анкетирования, так и для тех, кто – как ни странно – уже давно сделал свой выбор. Хотел бы поделиться своим мнением по этому поводу. 

Среди бесплатных вариантов считаю оптимальным Google Forms. Здесь можно сформировать любое количество анкет, а также отсутствуют ограничения по числу вопросов в одной анкете и числу ответов. Интерфейс удобный. Вариантов вопросов вполне достаточно. В анкету можно встроить логику пропуска – переход к определенным вопросам в зависимости от того, какие ответы дает респондент. Есть возможности разнообразить оформление анкеты. Просмотр ответов онлайн очень удобен. Если связать анкету с таблицей Google, то можно скачивать результаты анкетирования в Excel и многих других форматах. В интернете можно найти массу публикаций и видео-материалов о том, как пользоваться Google Forms на русском языке. Здесь один из примеров, где кратко описываются возможности данного сервиса.

Если бы раньше меня спросили о платных сервисах, то я бы без колебаний порекомендовал SurveyMonkey, которым мы пользовались с 2015 года. Это один из самых популярных конструкторов онлайновых анкет в мире. В свое время я узнал о нем от зарубежных коллег, занимающихся исследованиями и оценкой программ. Работает отлично, функционал замечательный, интерфейс интуитивно понятный. Скидки для постоянных клиентов очень приятные. Прекрасный профессиональный инструмент, который постоянно совершенствуется, но… оплата предполагается в долларах США, а с этим сегодня есть проблемы. 

Соответственно, возникает вопрос о том, есть ли аналогичные российские платные сервисы. Если вопрос для вас актуален, я бы рекомендовал обратить внимание на следующие:  

вторник, 18 апреля 2023 г.

Глобальная директория академических программ в сфере оценки

На сайте BetterEvaluation размещена Глобальная директория академических программ в сфере оценки. Вы можете выбрать тип программы, продолжительность обучения, страну, язык, формат обучения (включая онлайновый). Для каждой программы на сайте есть краткое описание и ссылка, по которой можно перейти на страницу соответствующего учебного заведения для получения более подробных сведений. Полагаю, это самая представительная специализированная онлайновая база данных на сегодня.

понедельник, 17 апреля 2023 г.

Почему нас никогда не просили оценить «качество жизни»

До сих пор в наших технических заданиях на проведение внешней оценки программ и проектов ни разу не было вопроса, содержащего словосочетание «качество жизни». То есть в буквальном смысле нас никогда не просили оценить, как изменилось качество жизни благополучателей под влиянием программы или проекта. При этом многие инициативы, которые нам приходилось оценивать, делали вклад, иногда очень существенный, в улучшение качества жизни определенных целевых групп. Почему так получилось? Вероятнее всего, тому есть несколько причин. 

  1. Когда ставится задача на проведение оценки, мы спрашиваем заказчика: «Что Вы хотели бы узнать о своей программе?». Отвечая на этот вопрос, люди склонны говорить об очень конкретных вещах.
  2. Даже если бы нам предложили оценить «качество жизни», мы наверняка спросили бы, что имеется в виду. Таким образом, разговор перешел бы в плоскость обсуждения характеристик или отдельных параметров качества жизни благополучателей. Соответственно, в вопросах задания упоминались бы именно эти характеристики. 
  3. Влияние программы или проекта, как правило, выборочно и ориентировано на те или иные аспекты качества жизни людей, например, связанные с их здоровьем, трудоустройством, социализацией и т.д., но не на все характеристики качества жизни в комплексе. 

Тем не менее, анализ наших отчетов о проведенных за 27 лет оценках проектов и программ, показывает, что тема повышения качества жизни иногда возникала в общении с участниками и благополучателями - в тех случаях, когда оцениваемые инициативы существенным образом меняли жизнь людей к лучшему. Например, когда в результате проекта одинокие пожилые люди, проживающие в сельской местности, получали квалифицированную медицинскую помощь и из слепых становились зрячими. Или, когда проект помогал молодым людям с инвалидностью получить хорошо оплачиваемую постоянную работу.

Продолжаем размышлять и готовиться к конференции АСОПП-2023 на тему «Качество жизни. Благополучие. Оценка.» 

четверг, 6 апреля 2023 г.

Оценка качества жизни

Этой теме будет посвящено ближайшее заседание клуба PROОЦЕНКУ, которое пройдет 13 апреля с 11 до 12.30 мск. Регистрация здесь. Пока мы готовились, пришло сообщение о том, что конференция АСОПП в этому году будет также посвящена оценке качества жизни и благополучия. Начнём размышлять на заданную тему 😊 

Всемирная организация здравоохранения определяет качество жизни как «восприятие человеком своего положения в жизни в контексте культуры и систем ценностей, в которых он живет, а также в связи с его целями, ожиданиями, стандартами и заботами».  Здесь можно посмотреть русскую версию опросника ВОЗ для оценки качества жизни.  

Казалось бы, есть определение, есть инструмент, разработанный авторитетной организацией… Вопрос закрыт? Вовсе нет! Есть другие определения и, если верить Википедии, более 150 методик оценки качества жизни.  

Более того, в этой сфере активно проводятся многочисленные исследования, и даже создано специализированное международное профессиональноеобъединение (в 1995 году), которое публикует научный журнал «Прикладные исследования в области качества жизни».

В нашей практике оценки проектов и программ (имеется в виду опыт компании "Процесс Консалтинг") тема качества жизни чаще всего возникала в связи с программами медицинской направленности; с программами, ориентированными на уязвимые группы населения; а также с программами развития местных сообществ. При этом вопросы об изменении качества жизни в задания на проведение оценки, как правило, в явном виде не включались.  

Почему? Обсудим в числе прочего на клубе. Приходите! 

четверг, 30 марта 2023 г.

Памяти Ларисы Аврориной

Вчера ушла из жизни Лариса Васильевна Аврорина. 

Многие знали ее как руководителя программы поддержки Фондов местных сообществ и одного из ведущих грант-менеджеров России. Я хотел бы сказать о том, какой важный вклад Лариса сделала в развитие оценки проектов и программ в нашей стране.

Мы познакомились в Новосибирске. Лариса тогда была грант-менеджером в СЦПОИ и, естественно, занималась мониторингом и оценкой проектов. Думаю, что интерес к оценке был также обусловлен её предыдущим опытом: до перехода в некоммерческий сектор Лариса без малого 30 лет проработала в науке. 

В 1998 году Лариса участвовала в организации Школы оценки для Сети Сибирского Центра. В 2000 году Лариса как представитель СЦПОИ входила в инициативную группу по созданию Международной Сети «Оценка Программ» (International Program Evaluation Network / IPEN) - первого объединения такого рода на территории бывшего СССР. Позже она вошла в Координационный Совет IPEN и приняла самое активное участие в подготовке и проведении первой конференции по оценке в нашем регионе, которая прошла в Новосибирске в ноябре 2000 года. 

Занимаясь развитием фондов местных сообществ, Лариса уделяла большое внимание развитию их потенциала в сфере мониторинга и оценки. 

В 2015 году Лариса была избрана в Правление Ассоциации специалистов по оценке программ и политик (АСОПП), где проработала 3 года. В качестве члена Правления Лариса принимала участие в рабочей группе по созданию профессионального стандарта специалиста по оценке. 

В начале 2021 года был опубликован отчет об оценке роли фондов местных сообществ (ФМС) в развитии местной филантропии. Интерес представляли не только результаты оценки, но и использованная для проведения оценки модель ACT (Assets-Capacity-Trust – «Активы-Потенциал-Доверие»), разработанная Глобальным фондом поддержки ФМС. Авторы публикации - Барри Найт (Великобритания) и Лариса Аврорина. Мы с Ларисой планировали организовать обсуждение этой методики на одном из заседаний клуба PROОЦЕНКУ, но как-то не сложилось...

Теперь Ларисы нет с нами. Ушел из жизни мудрый, профессиональный, интеллигентный человек, настоящий энтузиаст своего дела.

Соболезнования родным и близким, друзьям и коллегам.

Светлая память…

среда, 29 марта 2023 г.

Специальный выпуск журнала «Позитивные изменения»

Вышел в свет очередной номер журнала «Позитивные изменения» (Том 3, № 1). Он целиком посвящен оценке. 

Номер открывается большим интервью с Майклом Пэттоном. Беседует с гуру Наталья Гладких, главный редактор журнала. В интервью затрагиваются многие важные вопросы. В частности, обсуждаются компетенции специалистов по оценке. Майкл считает, что «сегодня оценка — это не только методики, но еще и межличностные отношения. Оценщики должны уметь хорошо слушать, уметь работать с людьми, принадлежащими к разным культурам, хорошо коммуницировать, устанавливать связи, решать проблемы и управлять конфликтами». 

Моя статья называется «Сделай сам»: как НКО оценивать проекты своими силами». В ней обсуждаются причины появления и особенности развития внутренней оценки и само-оценивания за рубежом и в России, а также приводятся принципы само-оценивания с рекомендациями по их практическому применению в деятельности НКО.  

Ниже - оглавление номера с указанием основных рубрик. Много интересного! Можно скачивать в формате PDF отдельные статьи, а можно - весь номер целиком. 

ГОСТЬ  НОМЕРА

  • «Если ты используешь оценку, то принимаешь решения лучше и помогаешь людям больше». Интервью с Майклом Пэттоном (Наталья Гладких

ЭКСПЕРТНЫЕ МНЕНИЯ

  • Без стандартов, но по призванию. Является ли оценка проектов и программ профессией? (Юлия Вяткина)  
  • Оценка в настоящем и будущем:  взгляд грантодающих организаций (Ирина Ефремова-Гарт, Татьяна Печегина)

ЭКСПЕРТНЫЕ СТАТЬИ

  • «Сделай сам»: как НКО оценивать проекты своими силами (Алексей Кузьмин)  
  • Союз дела и денег.  Оценка экономической устойчивости проектов  в области социального предпринимательства (Елена Авраменко)
  • Законным путем. Оценка фактического воздействия в части социальных инвестиций в России и мире (Иван Смекалин)

КЕЙС ВЫПУСКА 

  • Как устроен лучший грантовый конкурс социальных проектов 2022 года. Опыт фонда «Дорога к дому» (Алена Богомолова)

ИССЛЕДОВАНИЯ 

  • Сила спорта. Оценка проектов в сфере физической культуры  и массового спорта (Илья Солнцев, Наталья Кошелева)  

четверг, 23 марта 2023 г.

Оценивание как наука

Одна из тенденций в развитии оценки - это превращение её в самостоятельную отрасль науки. В последние десятилетия оценка прошла путь от становления в качестве особой области знания до формирования специализированной Международной академии:

  • Оценка - это самостоятельная дисциплина (оформляется в 80-е-90-е годы прошлого века)
  • Оценка - это трансдисциплина (Скривен (2008), Пэттон (2009,2010))
  • Оценка - это альфа-дисциплина (Скривен, 2013)
  • Оценка - это наука (Пэттон, 2018)
  • Создание Международной академии оценки (2022)

Дисциплиной (или научной дисциплиной) принято называть «базовую форму организации профессиональной науки, объединяющую на предметно-содержательном основании области научного знания, сообщество, занятое его производством, обработкой и трансляцией, а также механизмы развития и воспроизводства соответствующей отрасли науки как профессии». 

Майкл Скривен (Michael Scriven (2008) The Concept of a Transdiscipline: And of Evaluation as a Transdiscipline) и Майкл Пэттон (Michael Quinn Patton (2010) Future trends in evaluation) указывают на то, что оценка развивается как трансдисциплина, то есть как такая отрасль знания, которая имеет самостоятельный статус и в то же время используется как методологический или аналитический инструмент в нескольких других дисциплинах. Поясняя этот тезис, Майкл Пэттон писал в 2009 году: «...В любой дисциплине, профессии или области деятельности люди занимаются оценкой в той или иной форме. Возможно, самые яркие примеры такой оценки – оценка студентов, изучающих определенные предметы или получающих определенную профессию, а также академические журналы, где решение о публикации статьи принимается на основании оценки коллег по цеху. Оценка является дисциплиной, которая служит другим дисциплинам, хотя и является дисциплиной сама по себе, отсюда ее статус трансдисциплины. Статистика, логика, оценка – все это примеры трансдисциплин, потому что их методы, образ мысли и знания используются в других областях исследования, например, в образовании, здравоохранении социальной работе, инженерном деле, изучении окружающей среды и т.п. Я ожидаю, что в будущем оценка получит признание как трансдисциплина» (см. главу «Будущее оценки»). 

Примерно 10 лет тому назад Майкл Скривен пошел еще дальше и предложил «перевести оценку из статуса уважаемой дисциплины в статус альфа-дисциплины. Альфа-дисциплина – это та, что преобладает над другими, в данном случае – имеет ключи к царству других дисциплин. У оценки  есть такое свойство, поскольку все дисциплины полностью зависят от их легитимности и от качества их внутридисциплинарной оценки, т.е. от их способности отличить хорошее от плохого в отношении теорий, данных, гипотез, объяснений…, составляющих основу любой дисциплины».  

Несмотря на то, что оценка во многих странах получила признание как новая профессия, опирающаяся на уникальный свод знаний, далеко не все признали её как отрасль науки и, тем более, как альфа-дисциплину 😊 

В 2018 году Майкл Пэттон публикует статью «Наука оценивания» (Evaluation Science), где дает следующее определение: «Наука - это систематическое исследование того, как устроен мир. Наука оценивания - это систематическое исследование того, почему и в какой мере эффективны вмешательства, направленные на изменение мира». Пэттон продолжает: «Основное следствие становления оценки как науки заключается в том, что это повысит доверие к нам и эффективность усилий по поддержке значимости науки в нашем мире, а также объединит нас с другими учеными для достижения успеха в поддержке и отстаивании науки». (Цитируется по Patton, M. Q. (2018). Evaluation Science. American Journal of Evaluation, 39(2), 183–200). 

В 2022 году создается Международная академия оценки, которая так формулирует одну из своих основных задач: «Мы будем работать над становлением и развитием оценки как научной деятельности, дисциплины и трансдисциплины. Мы будем стремиться создать постоянно развивающийся, достоверный и пригодный для использования свод знаний о процессах и последствиях вмешательств, направленных на изменение мира».

Ну, за науку оценивания! 😊 

пятница, 17 марта 2023 г.

Значение термина «рубрика»

После вчерашнего заседания клуба PROОЦЕНКУ, где выступал Томаз Чианка из Бразилии, появились вопросы относительно значения термина «рубрика» (rubric) в контексте оценки программ и проектов. Предыдущий пост был посвящен именно этим «рубрикам». Во избежание терминологической путаницы имеет смысл кое-что уточнить. 

Начнем с того, что в русском языке термин «рубрика» означает «заголовок раздела (в газете, журнале и т. п.)» или «раздел, подразделение чего-либо». Д-р Чианка использовал термин «рубрика» в совершенно другом смысле, что закономерно вызвало вопросы. 

В английском языке термин «rubric» имеет несколько значений, одно из которых совпадает с приведенным выше, а другое выглядит так: «руководство, содержащее конкретные критерии для оценки чего-либо». Вот еще вариант: «рубрика - это инструмент оценки, основанный на критериях». Именно в этом значении термин используется в контексте оценки проектов и программ. 

В последнее время термин «рубрика» стал использоваться в русскоязычных публикациях в значении «инструмент оценки» применительно к оцениванию в учебном процессе. Достаточно ввести в поисковую строку вашего браузера словосочетание «рубрика оценивания», чтобы найти тысячи публикаций на русском языке. 

Справедливости ради, надо отметить, что «рубрика» в оценивании представляет собой не что иное как порядковую шкалу (ordinal scale). Этот термин у нас давно устоялся и широко используется. Впрочем, он является общепринятым и за рубежом.

Приживётся ли в России термин «рубрика» в оценке проектов и программ? На мой взгляд, пока сложно сказать.