Деколонизация оценки

Колонизация – это выделение поселений или основание новых поселений на чужой территории либо заселение и освоение своих окраинных земель (внутренняя колонизация). Соответственно, деколонизация – это превращение колониальных и зависимых территорий в свободные и независимые государства.

В последние годы много говорят и пишут о деколонизации науки. При желании можно найти много публикаций на эту тему в рунете (например, здесь). Одна из основных целей деколонизации науки - признание и устранение неравенств, которые возникают в результате колониального наследия. Колониальная наука часто приводила к маргинализации знаний и практик коренных народов, подавлению альтернативных мировоззрений и установлению гегемонии западной науки.  Деколонизация науки предполагает критический анализ научной методологии и признание в качестве научных традиционных способов познания и критериев доказательности. Деколонизация науки также ориентирована на диверсификацию академических сообществ. 

Не остались в стороне и специалисты по оценке. В прошлом году вышел в свет специальный выпуск Журнала мультидисплинарной оценки (Journal of MultiDisciplinary Evaluation), посвященный деколонизации оценки. Деколонизация – одно из приоритетных направлений деятельности Международной академии оценки (International Evaluation Academy), которая приняла самое активное участие в подготовке этой публикации. 

Общая направленность деколонизации оценки примерно такая же, как в науке. Оценка в том виде, как она сегодня есть, родилась и развивалась на западе при полном игнорировании традиций коренных народов. Это надо менять, считают сторонники деколонизации оценки, и бросают вызов широко известным и общепринятым подходам к проведению оценки – от постановки задачи и выбора методов получения знаний до представления результатов оценки и их визуализации. 

Вначале я хотел озаглавить эту публикацию так: «Надо ли нам деколонизировать оценку в России?», но потом решил, что лучше закончить этим вопросом. Тут есть, о чем подумать.

Чек-лист для анкеты

При проведении оценки проектов и программ часто используется анкетирование. Предлагаю чек-лист, который поможет проверить вашу анкету на наличие часто встречающихся ошибок. 

• Связаны ли вопросы анкеты с вопросами задания? Понимаем ли мы, как будем использовать ответы на вопросы анкеты для ответа на вопросы задания?
• Нет ли в анкете вопросов, содержащих «два и более в одном»?
• Хорошо ли будут понятны респондентам формулировки вопросов?
• Нет ли в вопросах и вариантах ответов терминов, которые могут неоднозначно трактоваться респондентами?
• Нет ли в вариантах ответов шкал «от забора до обеда»? Являются ли варианты ответов рядоположенными? Нет ли среди вариантов ответов таких, которые относятся к другому вопросу?
• Если есть вопросы, предполагающие сравнение, понятны ли и корректны ли основания для сравнения?
• Не слишком ли много в анкете открытых вопросов?
• Четко ли мы для себя определили, о чем спрашиваем (например, о знаниях, о мнении или о живом опыте)?
• Хватит ли респондентам предложенных вариантов ответов?
• Следуем ли мы правилу «развернутый вопрос – компактный ответ» (варианты ответов должны быть по возможности компактными)?

Модель для диагностики организации

Эта модель (Six-Box Model) была разработана Марвином Вайсбордом в середине 70-х годов.

При её использовании нужно ответить на следующие вопросы:

• Цели. Почему вы существуете? Какие проблемы вы решаете для людей? Каков ваш целевой рынок? Каково ваше видение? Какова ваша миссия? Каковы ваши стратегические цели?
• Структура. Подходит ли существующая структура для того, чего вы пытаетесь достичь? Правильное ли соотношение количества руководителей и сотрудников? По какому принципу формируются подразделения? Насколько эффективны процессы внутри организации?
• Поощрения. Какова система оплаты? Какие схемы поощрения существуют помимо оплаты? Случается ли, что чьи-то достижения остаются незамеченными? Как вы ставите цели перед членами команды?
• Полезные механизмы.  Какие системы и процессы сейчас используются в работе организации? Как часто проверяются системы на предмет их эффективности? Каковы отзывы членов команды о системах и процессах?
• Взаимоотношения. Как люди общаются? Как люди сотрудничают? Каковы ваши основные ценности? Как вы разрешаете конфликты?
• Лидерство. Как ведут себя менеджеры? Проявляются ли ценности компании в их взаимодействии между собой и с сотрудниками? Все ли менеджеры знают и понимают стратегию организации? Чувствуют ли сотрудники поддержку со стороны менеджеров?

Источник: Weisbord, M. R. (1978). Organizational diagnosis: a workbook of theory and practice. Addison-Wesley Pub. Co.

Рефрейминг организаций

Ли Болман и Теренс Дил предложили интересный подход к анализу организаций. На картинке – обложка 7-го (!) издания их книги, которое можно буквально перевести как «Рефрейминг организаций» ((Bolman, L. G., & Deal, T. E. (2021). Reframing organizations: artistry, choice, and leadership (Seventh Edition. ed.). Jossey-Bass.). 

Центральная идея этого подхода – использование для анализа четырех разных «рамок» (frames). Соответственно, «рефрейминг» в данном случае – это смена «рамок» анализа для того, чтобы лучше понять организацию. С позиции системного мышления можно было бы назвать эти «рамки» ракурсами. 

В приведенной ниже таблице показано, как эти рамки работают.

Таблица позаимствована из этой презентации (перевод мой). 

Оценка и информированное согласие

В медицине с информированным согласием все понятно. Взрослые жители нашей страны наверняка такой документ подписывали, например, у стоматолога. «Информированное добровольное согласие — доктрина в медицинской этике и медицинском праве, согласно которой для медицинского вмешательства, особенно сопряженного с риском, должно быть получено согласие пациента».  

В социальных науках у нас в стране эта тема возникла несколько позже. Но, можно считать, что процесс пошел. Информированное согласие на участие в исследовании содержит примерно такой текст: «Подписывая данную форму информированного согласия, я подтверждаю, что прочитал(а) и понял(а) цели, процедуру, методы и возможные неудобства участия в исследовании. Я был(а) проинформирован о продолжительности экспериментального воздействия и сроках проведения подобных исследований вообще. Я получил(а) информацию о действиях в случае непредвиденного влияния на мое здоровье. У меня была возможность задать все интересующие меня вопросы. Я получил(а) удовлетворительные ответы и уточнения по всем вопросам, интересовавшим меня в связи с данным исследованием. Данное согласие дается не под влиянием обмана, психического или физического насилия или в условиях несвободы. Мое согласие не вынуждено стечением тяжелых жизненных обстоятельств (недостатком материальных средств) и/или не обусловлено какой-либо зависимостью от экспериментатора (-ов). Я даю свое согласие на участие в исследовании».

При проведении оценки социально-ориентированных проектов и программ подписывать такого рода документ не принято. Это, в частности, связано с тем, что оценка является функцией управления, и реализация этой функции осуществляется вне зависимости от согласия участников программы. Ещё одно отличие оценки от исследования, между прочим... Однако получение устного информированного согласия от участников процесса оценки мне кажется все же очень важным шагом. Мы информируем людей о том, зачем проводится оценка, по каким правилам, как будут использованы результаты. Затем предлагаем задать вопросы. И только после этого переходим, например, к интервью. Такой подход помогает выстроить доверительные отношения с участниками программы и повышает качество оценки. 

Но есть одна ситуация, в которой правильнее получить письменное информированное согласие о проведении оценки. Имею в виду проведение обучения, в ходе которого слушателям предлагается осуществить оценку реального проекта в качестве учебного задания. В этой ситуации оценку проводит человек, не имеющий необходимого опыта и квалификации. А проект настоящий! Поэтому логично попросить информированное согласие руководителя организации, реализующей данный проект. 

Вот текст, который мы использовали в Школе оценки, которую проводим в партнерстве с новосибирским ИнаЦентром в рамках проекта #экосистема_оценки: «Настоящим письмом подтверждаю, что сотрудник нашей организации (ФИО) согласовал со мной техническое задание на проведение оценки нашего проекта (Название проекта) в качестве учебно-практического задания. Я даю согласие на использование результатов данной оценки в процессе обучения указанного выше специалиста в Школе оценки при условии, что эти результаты не будут опубликованы полностью либо частично без письменного разрешения со стороны нашей организации».

Оценка влияния мероприятий на целевую аудиторию: все непросто

Счетная палата проверила деятельность Роспатриотцентра*. Аудитор Счетной палаты Даниил Шилков сообщил, что в целом все неплохо.  

При этом отмечаются два недостатка: 

1. Невозможно оценить охват целевой аудитории из-за того, что в разных мероприятиях могут по несколько раз участвовать одни и те же люди. Регистрация уникальных участников (по аналогии с уникальными посетителями сайтов) не организована. 
2. «Государственное задание Центра и результаты федеральных проектов, в реализации которых он участвует, не содержат параметров, позволяющих оценивать влияние проводимых мероприятий на целевую аудиторию. В связи с этим отсутствует возможность оценки возникающих социальных эффектов, что в свою очередь не позволяет оценить обоснованность масштабов организации мероприятий в сфере молодежной политики».

Неоднократный учет одних и тех же участников – проблема, с которой сталкиваются и многие НКО. Скажем, в 5 мероприятиях участвует один и тот же человек. При определении общего числа участников мероприятий его учитывают 5 раз, т.к. подсчитывается общая сумма по спискам участников. При такой системе подсчета результаты могут быть парадоксальными: если группа из 5 человек соберётся 20 раз, то общее число участников мероприятий будет 100! 

Оценка влияния программ патриотического воспитания на целевую аудиторию действительно представляется весьма сложной задачей. Тут одними индикаторами, скорее всего, не обойтись. 

* ФГБУ «Российский центр гражданского и патриотического воспитания детей и молодежи» был создан в 2002 году для реализации полномочий государства в сфере молодежной политики. В его задачи входит организация мероприятий, направленных на гражданско-патриотическое воспитание молодежи, развитие ее гражданской активности, вовлечение в добровольческую деятельность, а также популяризацию волонтерства в России. Ежегодно в мероприятиях Центра участвуют около 5 млн человек. Ежегодный общий объем субсидий составляет около 1 млрд рублей.

Участники заседания клуба PROОЦЕНКУ голосуют за кодекс эксперта

Обсуждение на вчерашнем заседании клуба было оживленным и интересным (видеозапись, презентация). Судя по всему, тема оказалась актуальной. После обсуждения аргументов «за» и «против» разработки кодекса для эксперта грантовых конкурсов мы предложили участникам ответить на два вопроса. Результаты голосования – на диаграммах. Ответили 23 человека из 32 присутствовавших на заседании.

Таким образом, три четверти опрошенных (17 человек) сочли, что кодекс нужен. Не согласны с этим только 13% (3 человека).

Если принять во внимание первый из ответов на открытый вопрос («кому-то ещё») насчет потенциальных разработчиков кодекса, то можно констатировать, что на первом месте (12 голосов) оказалось сообщество экспертов грантовых конкурсов, а на втором (10 голосов) – сами грантодающие организации. Довольно много голосов (по 8, 3 место) набрали Форум Доноров и АСОПП. Идею разработки кодекса госструктурой федерального уровня поддержали только 2 участника.

В предыдущей публикации я написал, что у нас нет сообщества экспертов грантовых конкурсов. Имел в виду формальное (как АСОПП) или неформальное объединение таких экспертов на национальном уровне. В ходе обсуждения на клубе это подтвердилось, но выяснилось также, что на региональном уровне у нас в стране есть устойчивые неформальные сообщества экспертов грантовых конкурсов. Сложились сообщества экспертов и вокруг некоторых грантодающих организаций. Такие сообщества могли бы предложить проект Кодекса эксперта для региональных грантовых конкурсов либо для конкретной грантодающей организации. 

Не знаю, в какой мере разработка такого кодекса находится в сфере интересов АСОПП и Форума доноров. На заседании клуба были представители обеих организаций. Посмотрим...

На мой взгляд, самым реалистичным является на данный момент разработка кодексов самими грантодающими организациями с участием экспертов. Требование соблюдать такой кодекс может быть в таком случае включено в контракт грантодателя с экспертом, а ознакомление с кодексом может войти в программу обучения экспертов.

Этический кодекс для эксперта

Следующее заседание клуба PROОЦЕНКУ будет посвящено обсуждению того, нужен ли этический кодекс для экспертов, занимающихся оценкой заявок на получение гранта. 

Можно с уверенностью сказать, что число специалистов, занимающихся экспертной оценкой заявок в нашей стране, существенно превышает число тех, кто проводит эмпирическую оценку проектов и программ социальной направленности. При этом принципы проведения эмпирической оценки были разработаны и приняты АСОПП (Ассоциация специалистов по оценке программ и политик) несколько лет тому назад. А вот для экспертов грантовых конкурсов ни принципы, ни этический кодекс пока не разработаны. Наверняка тому есть причины, которые мы обсудим через неделю на заседании клуба PROОЦЕНКУ. Одна из этих причин состоит в том, что, как правило, этические кодексы разрабатываются профессиональными объединениями. Профессионального объединения экспертов грантовых конкурсов у нас нет. Почему? Возможно, эта деятельность не является профессией? В таком случае и объединение, наверное, не нужно…

Хотя в других сферах деятельности этические кодексы для экспертов существуют. Вот три примера: 

• Этический кодекс Уполномоченных Общественных Экспертов всероссийской сети представителей Общероссийской общественной организации инвалидов – больных рассеянным склерозом. 
• Кодекс профессиональной этики эксперта - члена Гильдии экспертов в сфере профессионального образования 
• Кодекс профессиональной этики экспертов в сфере государственной экспертизы проектной документации и результатов инженерных изысканий 

В общем, здесь есть, над чем поразмышлять и что обсудить.

PS Регулярные публикации в блоге возобновляю. Перерыв пришлось сделать по независящим от меня причинам.