пятница, 15 марта 2024 г.

Участники заседания клуба PROОЦЕНКУ голосуют за кодекс эксперта

Обсуждение на вчерашнем заседании клуба было оживленным и интересным (видеозапись, презентация). Судя по всему, тема оказалась актуальной. После обсуждения аргументов «за» и «против» разработки кодекса для эксперта грантовых конкурсов мы предложили участникам ответить на два вопроса. Результаты голосования – на диаграммах. Ответили 23 человека из 32 присутствовавших на заседании.

Таким образом, три четверти опрошенных (17 человек) сочли, что кодекс нужен. Не согласны с этим только 13% (3 человека).
Если принять во внимание первый из ответов на открытый вопрос («кому-то ещё») насчет потенциальных разработчиков кодекса, то можно констатировать, что на первом месте (12 голосов) оказалось сообщество экспертов грантовых конкурсов, а на втором (10 голосов) – сами грантодающие организации. Довольно много голосов (по 8, 3 место) набрали Форум Доноров и АСОПП. Идею разработки кодекса госструктурой федерального уровня поддержали только 2 участника.
В предыдущей публикации я написал, что у нас нет сообщества экспертов грантовых конкурсов. Имел в виду формальное (как АСОПП) или неформальное объединение таких экспертов на национальном уровне. В ходе обсуждения на клубе это подтвердилось, но выяснилось также, что на региональном уровне у нас в стране есть устойчивые неформальные сообщества экспертов грантовых конкурсов. Сложились сообщества экспертов и вокруг некоторых грантодающих организаций. Такие сообщества могли бы предложить проект Кодекса эксперта для региональных грантовых конкурсов либо для конкретной грантодающей организации. 
Не знаю, в какой мере разработка такого кодекса находится в сфере интересов АСОПП и Форума доноров. На заседании клуба были представители обеих организаций. Посмотрим...
На мой взгляд, самым реалистичным является на данный момент разработка кодексов самими грантодающими организациями с участием экспертов. Требование соблюдать такой кодекс может быть в таком случае включено в контракт грантодателя с экспертом, а ознакомление с кодексом может войти в программу обучения экспертов.

среда, 6 марта 2024 г.

Этический кодекс для эксперта

Следующее заседание клуба PROОЦЕНКУ будет посвящено обсуждению того, нужен ли этический кодекс для экспертов, занимающихся оценкой заявок на получение гранта. 

Можно с уверенностью сказать, что число специалистов, занимающихся экспертной оценкой заявок в нашей стране, существенно превышает число тех, кто проводит эмпирическую оценку проектов и программ социальной направленности. При этом принципы проведения эмпирической оценки были разработаны и приняты АСОПП (Ассоциация специалистов по оценке программ и политик) несколько лет тому назад. А вот для экспертов грантовых конкурсов ни принципы, ни этический кодекс пока не разработаны. Наверняка тому есть причины, которые мы обсудим через неделю на заседании клуба PROОЦЕНКУ. Одна из этих причин состоит в том, что, как правило, этические кодексы разрабатываются профессиональными объединениями. Профессионального объединения экспертов грантовых конкурсов у нас нет. Почему? Возможно, эта деятельность не является профессией? В таком случае и объединение, наверное, не нужно…

Хотя в других сферах деятельности этические кодексы для экспертов существуют. Вот три примера: 

В общем, здесь есть, над чем поразмышлять и что обсудить.

PS Регулярные публикации в блоге возобновляю. Перерыв пришлось сделать по независящим от меня причинам.

пятница, 1 декабря 2023 г.

Клуб PROОЦЕНКУ получил премию

Вчера вечером в Impact Hub Moscow в теплой и неформальной обстановке прошла церемония вручения премий журнала «Позитивные изменения» за 2023 год. В номинации «Развитие практики оценки социальных проектов» одним из лауреатов стал клуб PROОЦЕНКУ. Хотел бы выразить благодарность учредителям премии и поздравить СЦПОИ и «Гарант» (соучредители Альянса PROОЦЕНКУ), а также всех участников клуба! 

Премия научно-популярного журнала об импакт-инвестициях и оценке социального воздействия «Позитивные изменения» — это ежегодная российская премия, учрежденная ООО «Фабрика позитивных изменений» в 2022 году. Журнал награждает лучших авторов, экспертов и организации, которые внесли вклад в область оценки социального и экономического воздействия по итогам текущего года. 

Подробнее обо всех лауреатах премии 2023 года здесь.  


четверг, 2 ноября 2023 г.

Доказательный подход и оценка

К сожалению, не смогу присутствовать на следующем заседании клуба PROОЦЕНКУ 9 ноября, которое будет посвящено обсуждению связи доказательного подхода в социальной сфере и оценки проектов и программ. Поучаствую в обсуждении через блог – авансом 😊 

Остановлюсь на вопросе о том, как доказательный подход соотносится с оценкой проектов и программ. Полагаю, что для ответа на этот вопрос нужно, в первую очередь, разобраться с терминологией.

1) «Доказательный подход» к управлению социальными проектами.

Доказательный подход к управлению чаще называют «доказательным менеджментом». По ярлычку «доказательный менеджмент» в этом блоге можно найти несколько публикаций. В одной из них (2016 г.) предлагаются следующие характеристики доказательного подхода к управлению социальными проектами: 

  • Подразумевает обязательное обоснование решений, принимаемых на всех стадиях жизненного цикла проекта.
  • Предполагает использование лучших из доступных доказательств для обоснования решений.
  • Не предполагает жесткого увязывания качества доказательств со способами их получения (как это принято, например, в доказательной медицине). 
  • Учитывает возможные различия в восприятии качества доказательств различными заинтересованными сторонами.
  • Допускает использование в виде доказательств научных данных, организационных данных, живого опыта, ценностей и принципов. 
  • Учитывает, что большинство проектов содержат и простые, и сложные, и динамичные компоненты. Предполагает использование разных доказательств для разных компонентов. При выборе обоснований применительно к динамичным компонентам учитывает контекст и начальные условия.

В этот контекст оценка абсолютно органично вписывается как средство получения тех самых «доказательств».

2) «Доказательная практика» (evidence-based practice). 

Словарь определяет понятие «практика» как «деятельность людей, в к-рой они, воздействуя на материальный мир в процессе производства, преобразуют его». Если толковать понятие «практика» широко именно как «практическую деятельность», например, по управлению социальными проектами, то все сказанное выше оказывается применимо и здесь. 

В «Стандарте доказательности социальных практик в сфере детства» находим более узкое определение: «Практика (социальная практика) – система взаимосвязанных действий, направленных на достижение позитивных изменений (социальных результатов) в жизни конкретных групп благополучателей». Там же «доказательный подход» определяется как «основанный на систематическом поиске обоснований и применении методов, призванных доказать, что реализация той или иной практики приводит к достижению социальных результатов для конкретных групп благополучателей». 

Заглядываем в «Реестр (банк) доказательных практик» на сайте Фонда Тимченко. 

Пример: «Практика оказания комплексной помощи беременным женщинам и женщинами с новорожденными детьми, находящимся в трудной жизненной ситуации, в том числе изъявляющим намерение отказаться от новорожденного ребёнка, а также в риске причинения жестокого обращения, включает в себя социальное сопровождение целевой группы на этапах беременности (поздние сроки) и актуального материнства в течение первого года после рождения ребенка, а также развитие семейных ресурсов, необходимых для полноценного выполнения родительских функций». 

Что в этом случае означает «доказательная практика»? То, что специалисты «Службы помощи матери и ребенку «Млада» в своей деятельности руководствуются доказательным подходом? Или то, что, если работать в точности как они, то желаемый результат гарантирован? Если имеется в виду второе (вроде бы, так оно и есть), то мне кажется более корректным термин «практика с доказанной эффективностью», который также используется Фондом Тимченко.

Кстати, есть еще одно понятие, которое близко по смыслу и достаточно широко используется у нас: «социальная технология» (совокупность методов и приемов для достижения определенного социального результата). 

Как оценка проектов и программ социальной направленности соотносится с обоснованием ("доказыванием") эффективности «практик» или «социальных технологий»? Очевидно, что вопросы об эффективности и о возможности тиражирования «практики» могут входить в задание на проведение оценки проекта или программы. Соответственно, по результатам оценки может быть вынесено суждение о том, что "практика" эффективна в данном проекте и может быть использована в других аналогичных проектах.

пятница, 20 октября 2023 г.

Корпоративное благополучие и оценка в НКО

Сообщение с таким названием мы с Владимиром Балакиревым сделали на только что завершившейся конференции АСОПП. 

Корпоративным благополучием, благополучием сотрудников или благополучием на рабочем месте принято называть такое «состояние, при котором сотрудник успешно реализует собственный потенциал, продуктивно работает и вносит свой вклад в развитие компании и общества в целом» (Лисовская, А. Ю., Кошелева, С. В., Соколов, Д. Н., & Денисов, А. Ф. (2021). Основные подходы к пониманию благополучия сотрудника: от теории к практике. Организационная психология, 11(1), 93-112).

Один из вариантов «драйверов корпоративного благополучия» выглядит так

  1. Достижения: «Я достигаю большинства своих целей на работе»
  2. Принятие: «На работе есть люди, которые ценят меня как личность»
  3. Принадлежность: «Я чувствую принадлежность к своей компании»
  4. Энергия: «При выполнении большинства рабочих задач я чувствую прилив энергии»
  5. Справедливая оплата: «За мою работу мне платят справедливо»
  6. Гибкость: «Моя работа допускает достаточную гибкость и по времени, и по месту»
  7. Инклюзивность: «В моей рабочей среде чувствуется инклюзивность и уважение ко всем людям»
  8. Социальная значимость: «Моя работа важна для решения социально-значимой задачи» 
  9. Обучение: «Я постоянно чему-то учусь на работе»
  10. Поддержка руководителя: «Мой руководитель помогает мне добиться успеха»
  11. Поддержка коллег: «На работе есть люди, которые оказывают мне поддержку и воодушевляют меня»
  12. Доверие: «Я могу доверять людям в моей компании»

Мы попытались показать, что полномасштабное внедрение оценки в деятельность НКО может существенным образом положительно повлиять на некоторые из этих драйверов, то есть, на благополучие сотрудников НКО.

Например, оценка/само-оценивание в НКО может способствовать ощущению достижения (драйвер №1), поскольку чаще всего одной из задач оценки является вынесение обоснованного суждения о достижении целей программы или проекта. 

Другой пример – обучение (драйвер №9). Каждый раз, проводя оценку, сотрудники НКО узнают что-то новое, учатся. Отсюда – связь оценки с обучением. 

Мы планируем опубликовать статью на эту тему в начале следующего года.

четверг, 12 октября 2023 г.

Как получить максимальный эффект от участия в конференции

Только что прошло очередное заседание клуба PROОЦЕНКУ, посвященное подготовке к конференции АСОПП-2023. Разговор получился интересный: обменялись опытом участия в конференциях и личными лайфхаками, прошлись по программе конференцииАСОПП и послушали анонсы нескольких выступлений от авторов.

Хотел бы поделиться здесь результатами обсуждения критериев выбора выступлений, которые вы планируете посетить:

  • Близко по работе, по профессии
  • Спикер (смотрю на тех, кто будет рассказывать)
  • Формат выступления
  • Если новый автор, то интересно посмотреть; знакомлюсь с новыми людьми, в т.ч. как с ресурсами для своей работы
  • Оценивать свое состояние и при этом смотреть подачу спикера – насколько формат подходит к твоему состоянию
  • Учесть, что можно живьем послушать, а что – в записи
  • Вживую послушать про практический опыт – приоритетно, а дискуссию можно в записи посмотреть
  • Тема, с которой хочется разобраться или тема, по которой больше всего вопросов (возможность задать вопрос эксперту)
  • Новизна: что необычное, новое, неизвестное, чем раньше не занималась

Видеозапись заседания клуба и презентация, как всегда, будут доступны на сайте клуба.

пятница, 6 октября 2023 г.

Прогностическая оценка

В 2007 году в журнале «Мультидисциплинарная оценка» была опубликована статья Майкла Скривена «Прогностическая оценка» (Predictive Evaluation).   Речь в ней шла о том, что во многих видах оценки (если не во всех) есть прогностическая составляющая. Скривен даже прикинул её масштабы в процентах. Оценка проектов и программ, по его мнению, прогностическая на 30%: почти во всех случаях она включает вынесение суждения об устойчивости деятельности и/или ее результатов. Устойчивость – это про будущее. Оценка политик (по Скривену) прогностическая на 75%, а оценка заявок (оценка замыслов проектов или программ) – на 100%, то есть представляет собой прогноз в чистом виде. При этом, по мнению Скривена, «прогнозирование — очень сложное дело, а оценщики обычно плохо разбираются в литературе по этому вопросу». Он указывает, что «мы слишком быстро перескакиваем от данных о прошлом к рассуждениям об будущем».

Статья была опубликована в рубрике «Информация к размышлению», и основной её пафос состоял в том, что надо развивать методологию прогностической оценки и соответствующие компетенции специалистов по оценке. Заметим, что речь здесь идет о специалистах, занимающихся преимущественно оценкой проектов и программ (program and project evaluation). Исторически сложилось так, что их профессиональная деятельность связана преимущественно со сбором и анализом эмпирических данных, характеризующих ход и результаты оцениваемых инициатив. Прогностическая же оценка развивалась в смежных областях.

Экологи, например, уже очень давно проводят ОВОС – прогностическую оценку воздействия на окружающую среду.

Специалисты по грантмейкингу на протяжении десятилетий отрабатывают методологию оценки заявок в рамкахгрантовых конкурсов  и - более широко – методологию оценки замысла проекта Самая свежая отечественная разработка в этой сфере -  «Методика оценки решений с учетом социальной значимости» Фонда «Вклад в будущее», представленная вчера на конференции Форума Доноров в Москве.

Специалисты по ассесменту социального воздействия (social impact assessment) занимаются преимущественно прогностической оценкой, указывая, что, в принципе, их методы и инструменты могут применяться и для программ на стадии реализации. Крупнейшее профессиональное объединение таких специалистов IAIA (International Association for Impact Assessment) проводит ежегодные конференции и выпускает журнал, название которого можно перевести как «Прогнозирование влияния и оценка замысла проекта».

Специалисты по оценке регулирующего воздействия (ОРВ) занимаются экспертизой (прогностической оценкой) новых законодательных актов во избежание создания избыточных издержек и административных барьеров для субъектов предпринимательской деятельности.

Специалисты по корпоративному обучению разрабатывают прогностическую оценку тренингов Обложка книги об этом использована в качестве иллюстрации.

И это лишь несколько примеров. Ресурсы для профессионального развития в сфере прогностической оценки точно имеются. 

четверг, 28 сентября 2023 г.

«Один врач не может лечить все болезни»

В древние времена врач лечил всех людей от всего, опираясь на единую теорию происхождения болезней (см., например, труды пионера в области психотерапии, физической терапии и молекулярной медицины древнегреческого врача и философа Асклепиада Вифинского). В какой-то момент стало понятно, что «Один врач не может лечить все болезни». Наставление с таким названием написал персидский учёный-энциклопедист, врач, алхимик и философ Абу Бакр Мухаммад ар-Рази (именно он изображен на рисунке). 

Подобные процессы происходят во всех сферах профессиональной деятельности по мере накопления знаний и опыта. Обязательным условием при этом, естественно, является наличие спроса. Оценка программ не стала исключением. В странах, где индустрия оценки достаточно развита, можно наблюдать, например, отраслевую специализацию консультантов по оценке (здравоохранение, культура и т.д.); методологическую специализацию (оценка с участием, оценка, основанная на теории программы и т.д.); специализацию на определенной целевой группе (пожилые люди, студенты, дети и т.д.). 

В нашей стране самым заметным направлением специализации является оценка программ в сфере детства. Здесь есть и этический кодекс, и онлайновые курсы, и методические пособия. 

О специализации в сфере оценки будет большой разговор на ноябрьском Институте оценки в Москве. Прием заявок на участие открыт до 20 октября.

пятница, 22 сентября 2023 г.

«Золотой стандарт» в оценке

Золотым стандартом называют денежную систему, в которой основной единицей расчётов является некоторое стандартизированное количество золота. 

Термин «золотой стандарт» достаточно широко используется в различных сферах как метафора, означающая «самый лучший», «идеальный»:

Вопрос о «золотом стандарте» в оценке программ и проектов выглядит так: можно ли выделить одну самую лучшую методику (или метод) оценки, к использованию которой должны стремиться все, кто проводит оценку, и на основании которой можно было бы судить о качестве оценки?

В частности, в качество «золотого стандарта» в оценке влияния программ предлагалось принять рандомизированные контролируемые исследования (РКИ). Горячая дискуссия вокруг этого вопроса закончилась тем, что  абсолютное большинство членов профессионального сообщества приняло в качестве «золотого стандарта» методологическую целесообразность. Последняя подразумевает: 

  • соответствие дизайна оценки ситуации, в которой проводится оценка; 
  • учет вопросов задания, планируемого использования результатов оценки и требований к качеству информации, достаточной для принятия решений; 
  • сравнение стоимости, преимуществ и ограничений различных вариантов дизайна оценки;
  • размер бюджета оценки;
  • ограничения по времени проведения оценки;
  • принятие во внимание этических соображений.

Если вас интересует содержание дебатов о «золотом стандарте» в оценке программ, посмотрите вот эти публикации (англ.) с «говорящими» названиями: 

четверг, 14 сентября 2023 г.

Наследие Майкла Скривена

Не стало Майкла Скривена (Michael Scriven). Он был не просто заметной фигурой в сообществе специалистов по оценке. Полагаю, его можно по праву считать одним из основоположников оценки как самостоятельной дисциплины и отрасли знания. Мне довелось общаться с ним лично, бывать на его выступлениях и участвовать в семинарах, которые он проводил. Он был выдающимся мыслителем.

В последнее время Майкл был профессором психологии в Клермонтском университете и содиректором Клермонтского оценочного центра. Более 450 публикаций Майкла Скривена были посвящены преимущественно оценке, но кроме того информатике, неформальной логике, космологии, международной филантропии и технологическим исследованиям. Он входил в редакционные и консультативные советы более чем 40 научных журналов и был избран президентом Американской ассоциации исследований в области образования, президентом Американской ассоциации оценки и научным сотрудником Центра перспективных исследований в области поведенческих наук в Стэнфорде. Он также был сотрудником Гарварда и членом Австралийской академии социальных наук. 

О наследии Майкла Скривена очень хорошо рассказал Майкл Пэттон. 40-минутный видеоролик с его выступлением (англ.) размещен здесь