Конференция в Чикаго

В этом году конференция Американской ассоциации оценки посвящена лучшему опыту, который имеется в мире. Естественно, это связано с Международным годом оценки. Конференция пройдет в Чикаго с 9 по 14 ноября. Вчера был открыт сайт конференции, и теперь можно посмотреть программу семинаров (до и после) и программу конференции.

В программе, как минимум, 5 выступлений с участием российских специалистов:

1. 2547:Child-Friendly Evaluation Model: How Nonprofits Can Make Their Evaluation More Child-Focused? (Дарья Шамрова, Татьяна Подушкина, Анна Тихомирова)
2. 2720:Moving Towards Exemplar Humanistic Evaluation: Experience in Establishing A New Way Of Thinking About Children’s Roles in Evaluation in Russia (Дарья Шамрова, Татьяна Подушкина)
3. 1228:Using Critical Systems Heuristics to reflect upon adaptive evaluation consulting process (Боб Вильямс, Геннадий Подольный, Алексей Кузьмин)
4. NPF2:Evaluation from the Inside Out: Foundation and Nonprofit Perspectives (Ирина Ефремова-Гарт)
5. PD1:Evaluators’ roles in Program Design – Perspectives and Practice (Алексей Кузьмин, Ирина Ефремова-Гарт) 

Оценка как вредная навязанная идея

На сайте Форума Доноров опубликовано небольшое интервью с Олегом Шарипковым - директором фонда местного сообщества в г.Пенза. На вопрос о том, следует ли фондам целевого капитала использовать оценку в своей работе, Олег ответил следующее:
"Оценку считаю чрезвычайно вредной, это навязанная идея. Появилось у нас много экспертов по оценке, которые кроме прочтения двух книг в жизни ничего больше не сделали и теперь разъезжают по России, надувая щеки. 90% этих экспертов – шарлатаны. Я считаю оценку вредной, никому не нужной кроме самих оценщиков и ведущих семинаров по оценке. Это навязанная идея, под которую «рубят бабло».
Интересно, кто и каким образом так "достал" Олега? Что за шарлатаны массово бороздят просторы нашей страны и "рубят бабло"? Еще один вопрос, который у меня возникает, связан с 10% экспертов, которые - по классификации Олега  - в число шарлатанов не входят. Будучи носителями вредной навязанной нам идеи они все равно, получается, относятся к "темным силам"?
Решил написать об этом, потому что достаточно давно знаю Олега и уважаю его как профессионала. Мнением такого человека пренебрегать не стоит. Вероятнее всего, в консерватории надо что-то поправлять, как говаривал классик.
Бросать заниматься оценкой пока не стану - надо вначале разобраться :)

10 гуманистических принципов, лежащих в основе качественного исследования

В этом году вышло новое издание книги Майкла Пэттона по качественным методам:
Patton, M. Q. (2015) Qualitative research & evaluation methods: Integrating theory and practice (Fourth edition. ed.).

На стр.234 приводятся 10 гуманистических принципов, лежащих в основе качественного исследования (перевод мой):

1. Каждый человек либо сообщество людей уникальны. 
2. Каждый человек либо сообщество людей заслуживают уважения.
3. Равенство, справедливость, уважение и взаимность должны составлять основу взаимодействия между людьми.
4. Уважение и забота о других проявляются в том, чтобы лучше узнать и понять их, их взгляды, их мир. 
5. Процессы изменений должны быть личностно-центрированными. Изменения должны планироваться с учетом возможных эффектов для реальных людей, имеющих свои уникальные потребности и интересы.  
6. Эмоции и чувства являются естественными составляющими человеческой жизни и значимой частью живого опыта людей. 
7. Агент изменений, психотерапевт, исследователь или специалист по оценке занимает непредвзятую уважительную позицию, принимает и поддерживает других в осуществлении их права самостоятельно принимать решения и жить в соответствии с их собственным выбором. Эмпатическая нейтральность как особая позиция характеризуется искренней глубокой заинтересованностью в опыте людей и их взглядах при сохранении нейтральности (непредвзятости) по отношению к содержанию.
8. Людей и сообщества людей следует рассматривать и изучать как целое и в определенном контексте. 
9. Процесс (то, как осуществляется деятельность) столь же важен, как и результаты. 
10. Обмен информацией должен происходить открыто и честно как знак взаимного уважения как демонстрация прозрачности в качестве ценности.  

Мне кажется, это важное дополнение к нашему разговору о гуманистической оценке и о принципах оценки вообще. 

Качественные индикаторы

В публикациях по мониторингу программ и проектов на удивление широко распространено ошибочное мнение о том, что значения качественных индикаторов не являются числами. Чтобы не быть голословным, приведу фрагмент из текста ЮНИСЕФ (Детский фонд ООН), опубликованного на русском языке несколько лет тому назад.

"Качественные индикаторы можно определить как суждения и восприятие людей.
Например, число людей в деревне, у которых есть швейные машинки – это количественный индикатор, а уверенность в завтрашнем дне, которую дает этим людям обладание
швейной машинкой как инструментом финансовой независимости, – это качественный
индикатор. Обратите внимание, что индикаторы «качества жизни», с помощью которых,
например, измеряют здоровье, образование и занятость населения, часто путают с качественными индикаторами, так как в обоих случаях употребляется слово «качество».
На самом деле, для измерения здоровья, образования или других предметов можно использовать и качественные, и количественные индикаторы."

Ошибка авторов приведенного выше фрагмента текста состоит в том, что значения и количественных, и качественных индикаторов выражаются числами. Это одно из преимуществ использования индикаторов для оценки программ и проектов. Путаница, на мой взгляд. возникает из-за того, что смешиваются понятия "качественные данные" и "качественные индикаторы". Качественные данные действительно могут носить описательный характер и отражать мнения людей. Однако, когда речь идет о качественных индикаторах, то имеется в виду, что это индикаторы, отражающие качественные характеристики программы, но имеющие числовые значения. Качественные индикаторы не "выражаются в словах", как пишут авторы еще одной публикации, подготовленной ЦРНО из Санкт-Петербурга (см. стр.23). Кстати, в этой публикации практически целиком позаимствован вышеприведенный фрагмент текста ЮНИСЕФ (про швейные машинки), а ссылки на источник почему-то нет. Досадная небрежность уважаемой организации! И крайне неудачное заимствование.

Итак, в словах выражаются (могут выражаться) качественные данные. А качественные индикаторы ВСЕГДА выражаются в числах - как и количественные.

Например, повышение уверенности в завтрашнем дне может быть качественной характеристикой программы. При этом степень уверенности в завтрашнем дне действительно может быть индикатором, значение которого подсчитывается, скажем, как доля взрослых жителей деревни (в %), которые на вопрос о степени их уверенности в завтрашнем дне ответили "уверен" или "скорее уверен" (соответственно, еще два возможных варианта ответа - "не уверен" или "скорее не уверен").

"Из отчета о результатах оценки я не узнал ничего нового..."

Представим себе, что эту фразу произносит человек, который является основным пользователем (заказчиком) результатов оценки. О чем свидетельствует такая "обратная связь"? Следует ли специалисту по оценке в такой ситуации посыпать голову пеплом? Должен ли отчет о результатах оценки содержать новую для основных заинтересованных лиц информацию? 

Оценка эффективности бюджетных расходов и госпрограмм: новый курс Счетной палаты РФ

С того момента как во главе Счетной палаты РФ встала Татьяна Алексеевна Голикова, она сделала целый ряд публичных заявлений, свидетельствующих об ориентации Счетной палаты на современные подходы к оценке государственных программ и эффективности бюджетных расходов. Это подтверждается и отчетами Счетной палаты об оценке федеральных программ, опубликованными в последнее время.

В частности, чуть ли не впервые на таком высоком уровне было отмечено, что «цели, задачи, мероприятия отдельных государственных программ не всегда увязаны с заявленными стратегическими приоритетами». Об этом говорили ранее специалисты по оценке программ и исследователи, но не руководитель Счетной палаты.

В другом случае Т.Голикова заметила, что «цели большинства программ неконкретны, содержат нечеткие формулировки, допускающие произвольное толкование, что не позволяет обеспечить проверку их исполнения… Типичны ситуации, когда достижение цели программы не обеспечивается ни одной из задач или задача не направлена на достижение ни одной из целей»

На недавних парламентских слушаниях, Т.Голикова сказала: "Зачастую для оценки эффективности бюджетных расходов достигнутые показатели сравниваются с плановыми значениями, при этом показатели устанавливаются самими ведомствами. Это говорит об отсутствии вовлеченности в данную процедуру других участников бюджетного процесса и гражданского общества... Оценка эффективности должна быть направлена не только на сравнение установленных и фактически достигнутых показателей и затраченных средств, но и на анализ полноты и качества социально-экономических эффектов и степени удовлетворенности потребителей предоставляемыми услугами".

Опубликована презентация результатов оценки в Центральной Азии

В начале июня на конференции в Алматы я рассказывал об оценке программы "Развитие через региональное сотрудничество". При проведении оценки использовался метод Case Study для  изучения того, как развиваются успешные партнерства между НКО и органами государственного управления. Сегодня презентация опубликована. Это довольно редкий случай развернутого представления результатов оценки программы, за что АРГО (Ассоциация развития гражданского общества) большое спасибо! 

Школа оценки в Новосибирске

Сегодня и завтра проводим вместе с ИнаЦентром Школу оценки в Новосибирске. В ней, в основном, участвуют представители НКО из разных регионов страны. Есть несколько человек, представляющих государственные структуры. Всего около 80 участников. После Школы планируется серия вэбинаров. В них, как я понимаю, смогут принять участие все желающие. Информация об этом проекте доступна на сайте СЦПОИ. Нечасто приходится проводить подобные обучающие мероприятия для такой большой группы. Эффективность работы здесь в значительной степени зависит от того, насколько группа ориентирована на сотрудничество и заинтересована в изучении предмета. У нас все получается неплохо, за что участникам я очень признателен. Приятно работать! Завтрашний день будет посвящен эмпирической оценке и практическим вопросам внедрения оценки в деятельность организации. 

Евразийский альянс национальных ассоциаций в сфере оценки

Сегодня на конференции программы "Развитие через региональное сотрудничество" в Алматы (Казахстан) официально объявлено о создании Евразийского альянса национальных ассоциаций в сфере оценки.

Евразийский альянс национальных ассоциаций в сфере оценки создан для содействия профессионализации оценки в странах региона через развитие национальных объединений специалистов по оценке.

Альянс учредили:

• Ассоциация специалистов по оценке программ и политик (Россия),

• Казахстанская сеть специалистов по оценке

• Национальная сеть мониторинга и оценки в Кыргызстане

• Сообщество практиков по мониторингу и оценке Республики Таджикистан

• Украинская ассоциация оценивания

Учредители альянса убеждены в том, что национальные ассоциации призваны сыграть важную роль в развитии потенциала оценки в странах региона. Объединение ассоциаций позволяет им более эффективно обмениваться опытом, осуществлять совместные проекты, оказывать взаимную поддержку в решении возникающих вопросов. 

Главным приоритетом деятельности альянса является укрепление и повышение устойчивости национальных объединений. Альянс открыт для вступления национальных ассоциаций в сфере оценки из всех стран евразийского региона. Членами альянса могут быть как официально зарегистрированные организации, так и неформальные объединения специалистов по оценке. 

В ближайшие планы альянса входит формирование долгосрочной стратегии, выстраивание и отработка организационных механизмов. 

Интернет-сайт альянса 

Предпринимательский потенциал университета и его оценка

С 2014 года по заказу USRF мы работали над созданием специализированного интернет-ресурса, предназначенного для оценки предпринимательского потенциала университетов. Начали с обзора литературы. Вчера в журнале "Проектирование, мониторинг и оценка" опубликована наша с Геннадием Подольным статья, а сегодня я выступал с большим сообщением в рамках международной конференции «Инновации и предпринимательство в университетах: сегодня и завтра».