среда, 9 декабря 2015 г.

Новый русскоязычный специализированный интернет-ресурс по оценке

Некоммерческое партнерство "ИнА-Центр" из Новосибирска объявило об открытии "Виртуального ресурсного центра по оценке". Выглядит симпатично. Хотел бы от души поздравить коллег!!! Теперь дело за малым: наполнять, развивать и поддерживать... Успеха на этом нелегком пути!

понедельник, 7 декабря 2015 г.

Две публикации на сайте Форума Доноров

Первая публикация называется "Ценностные основы благо­твори­тель­ной деятельности фондов в России. Результаты исследования". Исследование было проведено по инициативе Форума Доноров в рамках подготовки ежегодного Доклада о состоянии и развитии фондов в России и было призвано ответить на следующие вопросы:
1. Каковы декларируемые организационные ценности фондов, работающих в России?
2. Как ценности российских фондов соотносятся с ценностями зарубежных фондов?
3. Какие факторы влияют на формирование ценностей фондов, работающих в Рос-сии?
4. В какой степени фонды, работающие в России, ориентированы на открытое декларирование своих ценностей? Чем обусловлена их позиция?
Исследование проведено ООО «Компания «Процесс Консалтинг» в период с июля по ноябрь 2014 года.

Другая публикация на сайте Форума Доноров касается развития оценки в нашей стране и ее внедрения в деятельность фондов. По этой теме у нас был интересный разговор с Ириной Ефремовой-Гарт. С результатами нашего обсуждения можно познакомиться здесь

четверг, 26 ноября 2015 г.

Новое поколение выбирает...

Многие знают, что я на семинарах по оценке часто использую в качестве примера Шерлока Холмса и его подход к анализу данных. Соответственно, в презентации есть слайд с портретом Холмса (актер Ливанов) в профиль. Во время семинара в Южно-Сахалинске открыл этот слайд и спросил участников, кто на нем изображен. Первый ответ был: Фредди Крюгер. А что? Есть что-то общее :)  Сравните сами.



вторник, 17 ноября 2015 г.

Конференция Американской ассоциации в Чикаго, день 4

7 утра. Обсуждение образовательных и обучающих программ в сфере оценки. Много говорили о том, что надо стремиться учесть контекст, в котором обучающиеся находятся - национальный, культурный, организационный. Любопытное было выступление специалиста из Польши. Они придумали настольную обучающую игру, которую используют при обучении оценке в сочетании с мини-лекциями. Я с этим подходом не знаком, но надо будет найти. Полагаю, они в интернете должны были засветиться.

Следующая сессия была про неудачный опыт проведения оценки. Вначале четыре заранее подготовившихся человека из опытных рассказали о своих провалах и извлеченных уроках. Потом пригласили людей из зала поделиться. Я тоже выступил. Получил сертификат (см. фото)  :)  Текст примерно такой: вручен Алексею Кузьмину за выдающуюся провальную оценку и за то, что он проявил мужество и публично о ней рассказал.  

Далее пошел на сессию про развитие гуманистического подхода к оценке программ в сфере детства. Выступали Анна Тихомирова и Татьяна Подушкина. Как всегда содержательно и интересно! Ждем статью про гуманистическую оценку.

В заключение было гала-закрытие конференции, которое завершилось коллективным исполнением песни "Оценщики без границ" (текст Майкла Пэттона, музыка чья-то еще). Пели все, кто был в зале - не менее 1500 человек, включая всех наших. К сожалению, ролик слишком большой, и здесь я его разместить не смогу. Потом, может, как-то на youtube размещу. Пока предлагаю послушать небольшой фрагмент выступления Майкла Пэттона (это до того, как он петь начал). Гуру говорит о значимости принадлежности специалиста к международному профессиональному сообществу, "которое в значительной степени определяет, кто я есть".   



суббота, 14 ноября 2015 г.

Конференция Американской ассоциации в Чикаго, день 3

Это был самый насыщенный день. 

Сессия 1.
В 7 утра началось выступление Дарьи Шамровой, Анны Тихомировой и  Татьяны Подушкиной на тему "Модель оценки, дружественной по отношению к детям". Все прошло очень хорошо. Несмотря на очень раннее время на сессию пришло 9 человек, среди которых были специалисты из США, Китая, Африки и России. Сессия продолжалась 45 минут. После выступления Дарьи, Анны и Татьяны было обсуждение, народ активно участвовал. А коллега из Китая вообще сказала, что про детей во всей программе одно только выступление, потому она не поленилась и пришла так рано.

пятница, 13 ноября 2015 г.

Конференция Американской ассоциации в Чикаго, день 2.

Первые сессии начинаются здесь в 7 утра. Я сегодня не смог. Завтра пойду обязательно, т.к. наши выступают. Описать, что здесь происходит одному человеку невозможно. Потому ограничусь краткой информацией о том, что запомнилось из того, что увидел и услышал за день.

четверг, 12 ноября 2015 г.

Конференция Американской ассоциации в Чикаго, день 1

С 8.00 до 15.00 был на семинаре по использованию системного подхода в проектировании и оценке у профессора Патриции Роджерс из Австралии. Очень интересно и содержательно. Все это предстоит еще осмыслить. Приведу пока одну цитату: "Неправильно рассуждать о том, что работает хорошо, а что - нет. Корректно говорить о том, что хорошо работает с учетом того, для кого и в каком контексте". 

Открывающая пленарная сессия началась сегодня в 15.00. На первом фото видна часть зала, где проходило открытие. На втором фото - российская делегация (слева направо: Геннадий Подольный, Ирина Ефремова-Гарт, Татьяна Подушкина, Анна Тихомирова, Дарья Шамрова).



вторник, 10 ноября 2015 г.

Конференция АЕА - подготовка

В среду официально откроется конференция Американской ассоциации оценки (American Evaluation Association или АЕА), которая обещает стать самой многочисленной за всю историю ассоциации. Организаторы сообщают о том, что ожидается 4000 участников из 71 страны! Завтра на заседании правления АЕА будет официально рассматриваться свод компетенций специалиста по оценке, которые впервые решено так ли иначе утвердить на уровне ассоциации. Докладывать будет Джин Кинг, которая систематически занимается этим вопросом уже лет 15. До последнего времени правление АЕА отказывалось принимать какие-либо решения относительно компетенций. Но время, видимо, пришло. Посмотрим, во что это выльется. 
Сегодня уже начались семинары перед конференцией. У меня же, как и у многих других, завтра - встречи и подготовка к конференции. В среду с 8 утра - семинар и после обеда уже будет открытие конференции. 

четверг, 5 ноября 2015 г.

Кульминация

Конец октября и первая половина ноября стали для меня кульминацией Международного года оценки (что было ожидаемо, конечно). Конференция Форума Доноров (22.10), серия мероприятий с участием президента Американской ассоциации оценки Джона Гаргани (с 23.10 по 27.10), конференция российской Ассоциации специалистов по оценке программ и политик (28-30.10) и вот теперь конференция Американской ассоциации оценки на следующей неделе (с 9.11 по 14.11). 
Подготовка ко всем этим мероприятиям была достаточно напряженной, потому ничего не писал в блоге почти месяц. Наверстаем. Постараюсь подробно рассказывать о конференции в США. Тем более, что у меня теперь одной общественной нагрузкой меньше - закончилось мое президентство в АСОПП :)

среда, 7 октября 2015 г.

Ценностные основы деятельности фондов в России

Опубликован доклад Форума Доноров "О состоянии и развитии фондов в России". В нем есть раздел "Ценностные основы деятельности фондов в России" (стр.19-33). Этот раздел включает часть нашего отчета по исследованию ценностей фондов, которое было проведено в прошлом году. Если я правильно понимаю, Форум Доноров планирует опубликовать полный текст отчета об исследовании в ближайшем будущем. В нем вы сможете найти небольшой обзор литературы, а также результаты изучения декларируемых ценностей зарубежных фондов. 

пятница, 28 августа 2015 г.

Профессиональный стандарт для специалиста по оценке

Сегодня в новостях АСОПП опубликована информация о начале работы над профессиональным стандартом для специалиста по оценке программ и политик в социальной сфере. Заявка на эту разработку зарегистрирована на сайте Минтруда РФ. Считаю решение Правления АСОПП о разработке такого стандарта очень важным шагом с точки зрения профессионализации оценки в нашей стране. Тем более, что применение профессиональных стандартов в России с 1 июля 2016 года будет регламентироваться законодательно. 

В частности, профессиональные стандарты будут использоваться:
  • при формировании кадровой политики и в управлении персоналом, при организации обучения и аттестации работников, разработке должностных инструкций, тарификации работ, присвоении тарифных разрядов работникам и установлении систем оплаты труда с учетом особенностей организации производства, труда и управления;
  • при разработке профессиональных образовательных программ;
  • при разработке федеральных государственных образовательных стандартов профессионального образования. 
Хотел бы ответить на два вопроса, которые могут возникнуть в связи с нашей заявкой:

1) Почему официальным заявителем является Компания "Процесс Консалтинг", а не АСОПП?

Заявка должна подаваться от имени юридического лица. АСОПП таковым не является, поэтому было принято решение подать заявку от имени одной из организаций, которые примут активное участие в разработке. АСОПП будет играть ведущую роль в этой работе.

2) Почему стандарт ориентирован лишь на оценку программ и политик в социальной сфере? 

Во-первых, это связано с требованиями Минтруда по конкретизации сферы деятельности. Во-вторых, оценка программ и политик особенно активно развивается именно в социальной сфере, к которой относятся образование, здравоохранение, культура, физическая культура и спорт, социальная защита. Появление данного стандарта не исключает возможностей для создания стандартов в других сферах деятельности. Это лишь первый шаг.

пятница, 31 июля 2015 г.

Конференция в Чикаго

В этом году конференция Американской ассоциации оценки посвящена лучшему опыту, который имеется в мире. Естественно, это связано с Международным годом оценки. Конференция пройдет в Чикаго с 9 по 14 ноября. Вчера был открыт сайт конференции, и теперь можно посмотреть программу семинаров (до и после) и программу конференции.
В программе, как минимум, 5 выступлений с участием российских специалистов:
  1. 2547:Child-Friendly Evaluation Model: How Nonprofits Can Make Their Evaluation More Child-Focused? (Дарья Шамрова, Татьяна Подушкина, Анна Тихомирова)
  2. 2720:Moving Towards Exemplar Humanistic Evaluation: Experience in Establishing A New Way Of Thinking About Children’s Roles in Evaluation in Russia (Дарья Шамрова, Татьяна Подушкина)
  3. 1228:Using Critical Systems Heuristics to reflect upon adaptive evaluation consulting process (Боб Вильямс, Геннадий Подольный, Алексей Кузьмин)
  4. NPF2:Evaluation from the Inside Out: Foundation and Nonprofit Perspectives (Ирина Ефремова-Гарт)
  5. PD1:Evaluators’ roles in Program Design – Perspectives and Practice (Алексей Кузьмин, Ирина Ефремова-Гарт) 

среда, 29 июля 2015 г.

Оценка как вредная навязанная идея

На сайте Форума Доноров опубликовано небольшое интервью с Олегом Шарипковым - директором фонда местного сообщества в г.Пенза. На вопрос о том, следует ли фондам целевого капитала использовать оценку в своей работе, Олег ответил следующее:
"Оценку считаю чрезвычайно вредной, это навязанная идея. Появилось у нас много экспертов по оценке, которые кроме прочтения двух книг в жизни ничего больше не сделали и теперь разъезжают по России, надувая щеки. 90% этих экспертов – шарлатаны. Я считаю оценку вредной, никому не нужной кроме самих оценщиков и ведущих семинаров по оценке. Это навязанная идея, под которую «рубят бабло».
Интересно, кто и каким образом так "достал" Олега? Что за шарлатаны массово бороздят просторы нашей страны и "рубят бабло"? Еще один вопрос, который у меня возникает, связан с 10% экспертов, которые - по классификации Олега  - в число шарлатанов не входят. Будучи носителями вредной навязанной нам идеи они все равно, получается, относятся к "темным силам"?
Решил написать об этом, потому что достаточно давно знаю Олега и уважаю его как профессионала. Мнением такого человека пренебрегать не стоит. Вероятнее всего, в консерватории надо что-то поправлять, как говаривал классик.
Бросать заниматься оценкой пока не стану - надо вначале разобраться :)

среда, 22 июля 2015 г.

10 гуманистических принципов, лежащих в основе качественного исследования

В этом году вышло новое издание книги Майкла Пэттона по качественным методам:
Patton, M. Q. (2015) Qualitative research & evaluation methods: Integrating theory and practice (Fourth edition. ed.).

На стр.234 приводятся 10 гуманистических принципов, лежащих в основе качественного исследования (перевод мой):

  1. Каждый человек либо сообщество людей уникальны. 
  2. Каждый человек либо сообщество людей заслуживают уважения.
  3. Равенство, справедливость, уважение и взаимность должны составлять основу взаимодействия между людьми.
  4. Уважение и забота о других проявляются в том, чтобы лучше узнать и понять их, их взгляды, их мир. 
  5. Процессы изменений должны быть личностно-центрированными. Изменения должны планироваться с учетом возможных эффектов для реальных людей, имеющих свои уникальные потребности и интересы.  
  6. Эмоции и чувства являются естественными составляющими человеческой жизни и значимой частью живого опыта людей. 
  7. Агент изменений, психотерапевт, исследователь или специалист по оценке занимает непредвзятую уважительную позицию, принимает и поддерживает других в осуществлении их права самостоятельно принимать решения и жить в соответствии с их собственным выбором. Эмпатическая нейтральность как особая позиция характеризуется искренней глубокой заинтересованностью в опыте людей и их взглядах при сохранении нейтральности (непредвзятости) по отношению к содержанию.
  8. Людей и сообщества людей следует рассматривать и изучать как целое и в определенном контексте. 
  9. Процесс (то, как осуществляется деятельность) столь же важен, как и результаты. 
  10. Обмен информацией должен происходить открыто и честно как знак взаимного уважения как демонстрация прозрачности в качестве ценности.  

Мне кажется, это важное дополнение к нашему разговору о гуманистической оценке и о принципах оценки вообще. 

вторник, 21 июля 2015 г.

Качественные индикаторы

В публикациях по мониторингу программ и проектов на удивление широко распространено ошибочное мнение о том, что значения качественных индикаторов не являются числами. Чтобы не быть голословным, приведу фрагмент из текста ЮНИСЕФ (Детский фонд ООН), опубликованного на русском языке несколько лет тому назад.

"Качественные индикаторы можно определить как суждения и восприятие людей.
Например, число людей в деревне, у которых есть швейные машинки – это количественный индикатор, а уверенность в завтрашнем дне, которую дает этим людям обладание
швейной машинкой как инструментом финансовой независимости, – это качественный
индикатор. Обратите внимание, что индикаторы «качества жизни», с помощью которых,
например, измеряют здоровье, образование и занятость населения, часто путают с качественными индикаторами, так как в обоих случаях употребляется слово «качество».
На самом деле, для измерения здоровья, образования или других предметов можно использовать и качественные, и количественные индикаторы."

Ошибка авторов приведенного выше фрагмента текста состоит в том, что значения и количественных, и качественных индикаторов выражаются числами. Это одно из преимуществ использования индикаторов для оценки программ и проектов. Путаница, на мой взгляд. возникает из-за того, что смешиваются понятия "качественные данные" и "качественные индикаторы". Качественные данные действительно могут носить описательный характер и отражать мнения людей. Однако, когда речь идет о качественных индикаторах, то имеется в виду, что это индикаторы, отражающие качественные характеристики программы, но имеющие числовые значения. Качественные индикаторы не "выражаются в словах", как пишут авторы еще одной публикации, подготовленной ЦРНО из Санкт-Петербурга (см. стр.23). Кстати, в этой публикации практически целиком позаимствован вышеприведенный фрагмент текста ЮНИСЕФ (про швейные машинки), а ссылки на источник почему-то нет. Досадная небрежность уважаемой организации! И крайне неудачное заимствование.

Итак, в словах выражаются (могут выражаться) качественные данные. А качественные индикаторы ВСЕГДА выражаются в числах - как и количественные.

Например, повышение уверенности в завтрашнем дне может быть качественной характеристикой программы. При этом степень уверенности в завтрашнем дне действительно может быть индикатором, значение которого подсчитывается, скажем, как доля взрослых жителей деревни (в %), которые на вопрос о степени их уверенности в завтрашнем дне ответили "уверен" или "скорее уверен" (соответственно, еще два возможных варианта ответа - "не уверен" или "скорее не уверен").

суббота, 11 июля 2015 г.

"Из отчета о результатах оценки я не узнал ничего нового..."

Представим себе, что эту фразу произносит человек, который является основным пользователем (заказчиком) результатов оценки. О чем свидетельствует такая "обратная связь"? Следует ли специалисту по оценке в такой ситуации посыпать голову пеплом? Должен ли отчет о результатах оценки содержать новую для основных заинтересованных лиц информацию? 

среда, 24 июня 2015 г.

Оценка эффективности бюджетных расходов и госпрограмм: новый курс Счетной палаты РФ

С того момента как во главе Счетной палаты РФ встала Татьяна Алексеевна Голикова, она сделала целый ряд публичных заявлений, свидетельствующих об ориентации Счетной палаты на современные подходы к оценке государственных программ и эффективности бюджетных расходов. Это подтверждается и отчетами Счетной палаты об оценке федеральных программ, опубликованными в последнее время.

В частности, чуть ли не впервые на таком высоком уровне было отмечено, что «цели, задачи, мероприятия отдельных государственных программ не всегда увязаны с заявленными стратегическими приоритетами». Об этом говорили ранее специалисты по оценке программ и исследователи, но не руководитель Счетной палаты.

В другом случае Т.Голикова заметила, что «цели большинства программ неконкретны, содержат нечеткие формулировки, допускающие произвольное толкование, что не позволяет обеспечить проверку их исполнения… Типичны ситуации, когда достижение цели программы не обеспечивается ни одной из задач или задача не направлена на достижение ни одной из целей»

На недавних парламентских слушаниях, Т.Голикова сказала: "Зачастую для оценки эффективности бюджетных расходов достигнутые показатели сравниваются с плановыми значениями, при этом показатели устанавливаются самими ведомствами. Это говорит об отсутствии вовлеченности в данную процедуру других участников бюджетного процесса и гражданского общества... Оценка эффективности должна быть направлена не только на сравнение установленных и фактически достигнутых показателей и затраченных средств, но и на анализ полноты и качества социально-экономических эффектов и степени удовлетворенности потребителей предоставляемыми услугами".

среда, 17 июня 2015 г.

Опубликована презентация результатов оценки в Центральной Азии

В начале июня на конференции в Алматы я рассказывал об оценке программы "Развитие через региональное сотрудничество". При проведении оценки использовался метод Case Study для  изучения того, как развиваются успешные партнерства между НКО и органами государственного управления. Сегодня презентация опубликована. Это довольно редкий случай развернутого представления результатов оценки программы, за что АРГО (Ассоциация развития гражданского общества) большое спасибо! 

среда, 10 июня 2015 г.

Школа оценки в Новосибирске

Сегодня и завтра проводим вместе с ИнаЦентром Школу оценки в Новосибирске. В ней, в основном, участвуют представители НКО из разных регионов страны. Есть несколько человек, представляющих государственные структуры. Всего около 80 участников. После Школы планируется серия вэбинаров. В них, как я понимаю, смогут принять участие все желающие. Информация об этом проекте доступна на сайте СЦПОИ. Нечасто приходится проводить подобные обучающие мероприятия для такой большой группы. Эффективность работы здесь в значительной степени зависит от того, насколько группа ориентирована на сотрудничество и заинтересована в изучении предмета. У нас все получается неплохо, за что участникам я очень признателен. Приятно работать! Завтрашний день будет посвящен эмпирической оценке и практическим вопросам внедрения оценки в деятельность организации. 

вторник, 2 июня 2015 г.

Евразийский альянс национальных ассоциаций в сфере оценки

Сегодня на конференции программы "Развитие через региональное сотрудничество" в Алматы (Казахстан) официально объявлено о создании Евразийского альянса национальных ассоциаций в сфере оценки.
Евразийский альянс национальных ассоциаций в сфере оценки создан для содействия профессионализации оценки в странах региона через развитие национальных объединений специалистов по оценке.
Альянс учредили:
• Ассоциация специалистов по оценке программ и политик (Россия),
• Казахстанская сеть специалистов по оценке
• Национальная сеть мониторинга и оценки в Кыргызстане
• Сообщество практиков по мониторингу и оценке Республики Таджикистан
• Украинская ассоциация оценивания
Учредители альянса убеждены в том, что национальные ассоциации призваны сыграть важную роль в развитии потенциала оценки в странах региона. Объединение ассоциаций позволяет им более эффективно обмениваться опытом, осуществлять совместные проекты, оказывать взаимную поддержку в решении возникающих вопросов. 
Главным приоритетом деятельности альянса является укрепление и повышение устойчивости национальных объединений. Альянс открыт для вступления национальных ассоциаций в сфере оценки из всех стран евразийского региона. Членами альянса могут быть как официально зарегистрированные организации, так и неформальные объединения специалистов по оценке. 
В ближайшие планы альянса входит формирование долгосрочной стратегии, выстраивание и отработка организационных механизмов. 

вторник, 19 мая 2015 г.

Предпринимательский потенциал университета и его оценка

С 2014 года по заказу USRF мы работали над созданием специализированного интернет-ресурса, предназначенного для оценки предпринимательского потенциала университетов. Начали с обзора литературы. Вчера в журнале "Проектирование, мониторинг и оценка" опубликована наша с Геннадием Подольным статья, а сегодня я выступал с большим сообщением в рамках международной конференции «Инновации и предпринимательство в университетах: сегодня и завтра»

пятница, 24 апреля 2015 г.

Интерпретация значений индикаторов

На семинаре по видам оценки вчера получилось интересное обсуждение в конце благодаря Татьяне Подушкиной, Олегу Казакову и Нодару Хананашвили. К сожалению, очень редко бывает у нас возможность так обсудить какие-то концептуальные вещи. Один из вопросов касался интерпретации значений индикаторов (в рамках индикаторной оценки, естественно).
Я считаю, что способ интерпретации значений индикаторов определяется в процессе создания системы индикаторной оценки (системы мониторинга, например). Когда формируется эта система, ее разработчики (эксперты в предметной области) закладывают в систему то, как следует интерпретировать значения индикаторов. Если этого не сделано на стадии разработки, значит, работа не доведена до конца. Прелесть индикаторной оценки именно в том, что при хорошо разработанной системе не нужно быть экспертом, чтобы делать выводы на основании значений индикаторов. Скажем, вы смотрите на приборную панель автомобиля и понимаете, что, если температура охлаждающей жидкости превышает определенный уровень, необходимо, как минимум дать двигателю остыть, иначе он может выйти из строя. При этом вам не нужно быть экспертом по двигателям - эксперты уже заложили свои знания в систему мониторинга автомобиля. Вам нужно только следить за значением соответствующего индикатора. 

среда, 15 апреля 2015 г.

Семинар по видам оценки

23 апреля утром (с 10 до 12) буду проводить семинар в рамках инициативы "Оценка проектов и программ в сфере детства". Планирую подробно рассказать о классификации видов оценки программ и проектов, которую мы с коллегами предложили несколько лет тому назад и находим очень полезной. Речь идет об экспертном, индикаторном и эмпирическом подходах. На семинаре мы будем ориентироваться именно на практическое использование данной классификации, рассмотрим много примеров. Этот семинар - вводный. Мы договорились с нашими партнерами из Фонда "Культура детства" о проведении до лета еще трех семинаров - по одному на каждый из видов оценки.
Регистрация на семинар здесь. Он пройдет на Сретенке в здании МГППУ,

четверг, 9 апреля 2015 г.

Нелинейность

Одна из задач, которые стоят перед нами в одной из текущих работ - выстроить по результатам оценки программы концептуальную модель взаимодействия между партнерскими организациями. Дело в том, что в рамках этой программы все проекты - партнерские, и для исполнителей программы важно понять, от чего зависит и чем характеризуется успешное партнерство. Это - один из основных уроков программы. 
Мы используем метод Case Study: подробнейшим образом изучили несколько успешных партнерств и теперь проводим анализ, чтобы получить общую картину. 
Фрагмент модели, которая у нас складывается, выглядит так. 
Партнеры должны быть (а) мотивированы к участию в совместной деятельности (хотеть работать вместе) и (б) быть готовы к участию в ней (оснащены для совместного проекта во всех отношениях). Результатом совместной деятельности - помимо социального эффекта - становится развитие отношений между партнерами (доверие, уважение, личная симпатия и т.п.). Развитие отношений, в свою очередь, повышает мотивацию партнеров и их готовность к совместной деятельности...

среда, 1 апреля 2015 г.

Интересные вопросы

По окончании курса по социальному проектированию в МГППУ я попросил студентов подумать о том, какие вопросы у них остались или появились по итогам занятий. Приведу несколько самых интересных - на мой взгляд - вопросов. Как бы Вы на них ответили? 
  • Могут ли ценности рассматриваться как ресурсы проекта или программы? 
  • Можно ли использовать "теорию изменений" в исследованиях? 
  • Есть ли случаи, когда использование "теории изменений" вредно или не полезно для организации?
  • Если исходить из логической модели, обязательно ли, чтобы у проекта был обозначен социальный эффект? В особенности, если это небольшой и непродолжительный проект. 
  • Большинство теорий и практик, о которых мы говорили, - иностранные. Работают ли они безусловно или существуют какие-то ментальные барьеры? Нужно ли дополнительное осмысление зарубежных практик социального проектирования в условиях России? 
  • Можно ли говорить о "гуманистическом проектировании"? 

воскресенье, 29 марта 2015 г.

Ценности в социальном проектировании

На прошлой неделе завершил небольшой курс по социальному проектированию в МГППУ для студентов магистратуры. Очень давно не вел курса занятий именно по проектированию. Как-то все время получалось, что разговор о проектировании идет в контексте обсуждения оценки программ. Поэтому для подготовки и проведения курса пришлось собрать и упорядочить много разных материалов, включая совсем новые. Хотелось рассказать студентам о том, где сейчас передний край в разработке методов социального проектирования, над чем думают лучшие умы.

Естественно, что некоторые разделы курса были новыми и для меня. В частности, это относится к рассмотрению ценностей программ как одного из компонентов социального проектирования. Идею эту я позаимствовал у американских специалистов Гаргани и Доналдсона. Их книжка с подробным описанием подхода выйдет из печати в ближайшее время (Gargani, J., & Donaldson, S. I. (2015). Theory-driven program design and redesign: A practical guide to achieving social impact. Newbury Park, CA: Sage).

Включение в описание программы перечня базовых ценностей не является чем-то абсолютно новым. Поиск в Google по ключевым словам "program values" дает порядка 85 тыс. ссылок. Понятно, что при разработке программы или проекта авторы руководствуются определенными ценностями, которые, в частности, должны согласовываться с ценностями их организации и ценностями донора, которому они планируют подать заявку на получение финансирования. Однако, чаще всего ценности остаются "за кадром", и в описание проекта или программы их не включают. Новизна идеи Гаргани и Доналдсона состоит для меня в том, чтобы включать ценности как обязательный раздел в описание замысла проекта (программы).
На рисунке в свернутом виде представлено содержание той части учебного курса, в которой мы говорили о ценностях в социальном проектировании. 

среда, 18 марта 2015 г.

АСОПП: ответы на два часто задаваемых вопроса

15 мая 2014 года начала свою работу российская Ассоциация специалистов по оценке программ и политик (АСОПП). Подготовка к этому событию заняла более двух лет. К моменту создания АСОПП уже активно работали подобные национальные ассоциации в  Грузии, Кыргызстане и Украине. Теперь и в России есть своя ассоциация, что открывает новые возможности для развития нашей профессии у нас дома. Сегодня активно работает правление АСОПП, в рамках Международного года оценки полным ходом идет подготовка к первой конференции АСОПП, развиваются международные контакты ассоциации с аналогичными ассоциациями в нашем регионе и за его пределами. Скоро состоятся выборы новых членов правления и президента ассоциации, который будет возглавлять ее в 2016-17 гг.

Один из вопросов, которые часто задают членам правления АСОПП: при ком создана ваша ассоциация? Ответ "не при ком" многим кажется неожиданным. Ассоциация создана по инициативе людей, которых объединило стремление развивать оценку программ и политик как профессию в России. За созданием АСОПП действительно не стоят никакие структуры. Ассоциация опирается на своих членов и действует в их интересах. 

Членами ассоциации могут быть только физические лица. Есть два уровня членства. Можно просто зарегистрироваться на сайте АСОПП. В этом случае вы имеете возможность получать рассылку ассоциации, имеете небольшие скидки на участие в мероприятиях ассоциации и, естественно, можете указывать, что являетесь членом данного профессионального объединения, в своем резюме. Первый уровень членства в АСОПП чем-то сродни членству в группах на Facebook. Естественно, для ассоциации важно число таких членов, и мы очень ценим их поддержку. Второй уровень членства предполагает оплату членского взноса, которая в силу ряда обстоятельств осуществляется в форме благотворительного пожертвования. Те, кто оплачивают членские взносы, получают доступ к онлайновой библиотеке АСОПП, участвуют в принятии решений, в голосованиях, могут быть избраны в руководящие органы АСОПП, получают существенные скидки на участие в мероприятиях ассоциации. Размер ежегодного пожертвования (членского взноса) - 3000 рублей. 

Второй вопрос, который часто задают членам правления: что я буду иметь с того, что внесу пожертвование в поддержку АСОПП? Вопрос абсолютно резонный. На него есть два ответа. Первый приведен выше. Второй же заключается в том, что оплачивая членский взнос АСОПП вы не столько "покупаете" услуги ассоциации, сколько поддерживаете развитие профессионального сообщества и профессии в нашей стране. Правильнее относиться к этому как некоторому альтруистическому акту, а не как к коммерческой сделке. Самостоятельность ассоциации в числе прочего определяется ее финансовыми возможностями. На данный момент членские взносы являются основным источником финансирования АСОПП. Потому я хотел бы выразить особую благодарность тем, кто нашел возможность поддержать ассоциацию деньгами. Как президент АСОПП (2014-15) и как один из инициаторов ее создания я верю, что число таких людей будет расти и мы построим устойчивую национальную профессиональную ассоциацию в сфере оценки программ и политик. Вступайте в АСОПП, чтобы получить возможность сделать вклад в это важное дело!

понедельник, 2 марта 2015 г.

Открыт прием заявок на выступления на конференции АСОПП-2015

Российская Ассоциация специалистов по оценке программ и политик (АСОПП) приглашает всех желающих принять участие в конференции «Оценка программ и политик в России: становление профессии». Конференция пройдет в Москве 30-31 октября 2015 года. Накануне конференции (29 октября 2015 г.) пройдут обучающие семинары. Программа конференции будет сформирована на основе конкурсного отбора заявок на выступления. Прием заявок на выступления открывается 2 марта 2015 года и будет закрыт 30 апреля 2015 г. в 18.00 по московскому времени. Программа семинаров и конференции будет опубликована 29 мая 2015 года. В этот же день будет открыта регистрация участников конференции. Все подробности на сайте конференции

пятница, 27 февраля 2015 г.

Еще раз об оценке эффективности судов

На сайте "Ракурс" опубликована статья о критериях оценки эффективности судов в США. Этой темы я уже касался дважды в связи с публикациями по поводу казахстанского опыта. Статья, о которой идет речь сегодня, написана в связи с судебной реформой на Украине.
Вот какие критерии оценки эффективности судов в США приводятся в данной публикации: 
  1. доступность и объективность
  2. процент рассмотренных дел от общего количества дел, поступивших в суд
  3. соблюдение процессуальных сроков, то есть процент дел, рассмотренных или завершенных другим способом в течение отведенного на них процессуального срока
  4. продолжительность нахождения дел на рассмотрении (количество дней от подачи дела в суд до даты проведения оценки) 
  5. надежность даты слушания дела, то есть количество назначений дат слушания дела при рассмотрении
  6. надежность и целостность материалов дел
  7. процент взысканных и переданных по назначению штрафов от общей суммы назначенных в конкретных делах денежных наказаний
  8. результативность процесса отбора присяжных, достаточно квалифицированных и готовых войти в состав суда, выраженная как процент от общего количества потенциальных присяжных
  9. удовлетворенность работников судебного аппарата
  10. средняя стоимость рассмотрения одного дела, отдельно по типам дел

четверг, 26 февраля 2015 г.

Растём!

Сегодня в Общественной Палате РФ прошел "круглый стол" на тему "Развитие в России культуры оценки социально-экономической эффективности социальных программ". На мой взгляд, о развитии культуры оценки там речи не было вовсе. Зато были представлены очень разные подходы к оценке социально-экономической эффективности как программ, так и организаций. Вероятно, в ближайшее время представленные на "круглом столе" материалы будут доступны на каком-нибудь сайте, потому обсуждать детали представленных подходов я сейчас не буду. Хочу сказать о другом. Судя по всему, мы достигли такого момента, когда достаточно много людей и организаций в России всерьез занимается различными видами оценки программ. Это говорит об определенном уровне развития этой сферы деятельности у нас в стране. Как справедливо отметила одна из участниц "круглого стола", эти совершенно разные подходы к оценке не следует пытаться объединять. Наоборот, каждый из них должен развиваться и совершенствоваться самостоятельно. А объединяться они должны в головах специалистов-практиков, которые по мере необходимости будут выбирать те методы или такое их сочетание, которое даст наилучшие результаты при заданных ограничениях. Чем шире будет методологический репертуар практиков в сфере оценки, тем лучше. И еще: никогда все не будут уметь всё. Уже наметилась вполне отчетливая специализация в сфере оценки у различных групп и отдельных людей, что абсолютно закономерно и правильно. Растём!

пятница, 20 февраля 2015 г.

А кто сказал, что это легко?

Главное при разработке любой программы - аргументированно показать, как действия в рамках программы приведут к достижению цели программы. Другими словами, речь идет об обосновании причинно-следственных связей между действиями и ожидаемыми результатами. 
Сделать такое описание "теории" программы очень непросто. Трудности начинаются уже на стадии формулировки цели программы. Очередное подтверждение тому -  проект Государственной программы «Патриотическое воспитание граждан Российской Федерации на 2016-2020 годы». Говорят, что Росмолодежь подготовила окончательную версию этого документа. Бюджет программы - около 2 миллиардов рублей. Я не имел возможности ознакомиться с доработанной версией программы, но читал ее проект

Вот как в проекте программы были сформулированы цель и задачи программы (курсив мой):

четверг, 19 февраля 2015 г.

Председатель Верховного суда Казахстана - за использование эмпирической оценки

В январе этого года я уже писал о казахстанской инициативе по оценке деятельности судов. Сегодня появилась интересная статья, в которой Председатель Верховного суда Республики Казахстан Кайрат Мами рассказывает о "внедрении социологических замеров как инструмента оценки эффективности деятельности судов и мониторинге работы судов в целом".
«Хочу отметить, что с 16 февраля в судах, при участии Программы развития ООН в Казахстане, будет начат очередной исследовательский проект, который продлится три месяца. Планируется изучить мнение более десяти тысяч граждан по всей республике. Результаты будут рассмотрены по завершении первого полугодия», - сказал Кайрат Мами.
А я хотел бы отметить, что в данном случае одно из высших должностных лиц соседней страны де-факто говорит о том, как важно использование эмпирической оценки ("социологические замеры" есть не что иное как сбор и анализ эмпирических данных) в деятельности государственных органов и какие результаты оно дает. 

среда, 18 февраля 2015 г.

Сколько должна стоить оценка программы

Естественно, стоимость оценки должна соответствовать ценности ее результатов. Однако это мало поможет, скажем, спланировать бюджет оценки на год.
Наиболее распространен подход, заключающийся в том, что стоимость оценки указывают как процент от общей стоимости программы. Как следует из приведенной ниже таблицы, чаще всего бюджет оценки составляет от 5 до 10% от бюджета программы, которую предстоит оценивать.


Это - ориентировочные пропорции, на уровне политик организаций. Понятно, что могут быть оценки, стоимость которых сопоставима со стоимостью программы (например, в пилотных программах). 

Гуманистический подход к оценке программ: есть о чем подумать

Тема эта появилась в моем поле зрения благодаря коллегам из фонда "Культура детства", которые на протяжении нескольких лет последовательно развивают ее.

Для того, чтобы охарактеризовать гуманистический подход к оценке программ, логично обратиться к универсальным базовым принципам гуманизма (см., например, публикации Российского гуманистического общества), а также посмотреть, как этот подход реализован в других сферах, например, в психологии (см. "гуманистическая психология") и педагогике (см. "гуманистическая педагогика"). 

Вот один из вариантов формулировок принципов гуманистической педагогики: 
  1. Учебный процесс должен направляться самим учеником. 
  2. Школы должны готовить учеников, которые хотят учиться и знают, как это делать.
  3. Единственная форма значимой оценки - это самооценивание.
  4. Чувства, как и знания, являются важной частью процесса обучения.
  5. Обучение происходит наиболее эффективно в обстановке, где ученику ничто не угрожает. 
Мне кажется, что даже если просто попытаться переформулировать эти принципы применительно к оценке программ, заменив "обучение" на "оценку", то уже интересно получается. Есть о чем подумать, по крайней мере. 

среда, 11 февраля 2015 г.

Оценочные исследования и доказательный менеджмент в социальной сфере

Вчера в Общественной Палате РФ состоялся "круглый стол" на тему "Актуальные проблемы профессионализации социальных инициатив: вызовы времени и перспективы сотрудничества ВУЗов с негосударственными организациями". Мероприятие было организовано Центром доказательного социального проектирования при МГППУ, о котором я писал недавно.

Свое выступление в рамках "круглого стола" я назвал "Оценочные исследования и доказательный менеджмент в социальной сфере". Тезисы выступления приведены ниже. Презентацию в формате PDF можно посмотреть или скачать здесь

среда, 4 февраля 2015 г.

Оценочный централ

Есть такая закономерность: когда в интернете появляется много ресурсов по какой-либо теме, обязательно находится кто-то, кто создает мета-ресурс, то есть такой интернет-ресурс, который позволяет получить доступ к другим ресурсам. Как правило, создатели подобных сайтов стараются сделать их как можно более удобными и интуитивно понятными для пользователя, наполнить большим количеством ссылок и не добавляют собственный контент. 

Приведу два примера: 

Eval Central. Создатель ресурса - Крис Лиси (Chris Lysy) из США. Это сайт, где автоматически отображаются все записи из нескольких дюжин специализированных (про оценку) блогов. Если вы хотите знать, что происходит в англоязычной блогосфере касательно оценки, заходите сюда. Мой английский блог здесь тоже есть. Только я давно туда не писал. Крис мне очень помог несколько лет назад. Я случайно удалил пару десятков последних записей из своего блога, а у Криса на сайте оказалось все сохранено, и я восстановил эти записи с его помощью. Кстати, название этого ресурса у русскоязычной аудитории может вызвать не связанные с оценкой ассоциации (см. Владимирский централ).

Evaluation Portal Link Connection Создатель этого портала Ларс Бальцер (Lars Balzer) из Швейцарии. Здесь можно найти ссылки на самые разные ресурсы - от книжек до сайтов профессиональных ассоциаций на английском и на немецком языках. Др.Бальцер активно сканирует интернет и сам приглашает людей и организации разместить свою информацию на его сайте. В частности, там есть информация о нашей компании ("Процесс Консалтинг"), о российской Ассоциации специалистов по оценке программ и политик, о Международной сети "Оценка программ"

среда, 28 января 2015 г.

Открыт прием заявок на выступления на конференции Американской ассоциации оценки

В этом году конференция одной из ведущих профессиональных ассоциаций в сфере оценки пройдет в Чикаго с 9 по 14 ноября. Тема конференции: "Exemplary Evaluations in a Multicultural World: Learning from Evaluation's Successes Across the Globe." Перевод этого некороткого и весьма замысловатого названия может звучать примерно так: "Примеры оценки в мультикультурном мире: уроки успешных оценок, проведенных в разных концах земного шара". Такая тема появилась в связи с тем, что 2015 год объявлен Международным годом оценки. Американские коллеги решили сделать свою очередную конференцию еще более международной, чем обычно. Ожидается более 3000 участников "со всех концов земного шара". Срок подачи заявок на выступления - до 16 марта 2015 года. 

пятница, 23 января 2015 г.

Интересный семинар в Казахстане

По информации, размещенной на сайте "NOMAD Кочевник", сегодня в Верховном Суде Республики Казахстан состоялся международный семинар-тренинг "Мониторинг и оценка эффективности деятельности судов". Мероприятие организовано совместно с ПРООН (Программа развития ООН) в Казахстане. Участники семинара – председатели и судьи коллегий Верховного Суда, представители Генеральной прокуратуры, Министерства юстиции и Союза Судей, председатели областных и приравненных к ним судов, руководство Департамента по обеспечению деятельности судов. 
На данном семинаре в числе прочего были "озвучены итоги проведения внешней оценки качества работы специализированных экономических судов. Для проведения данного исследования были разработаны анкеты, содержащие вопросы из вопросника Всемирного экономического форума о степени удовлетворенности субъектов бизнес-структур-участников судебных процессов качеством предоставляемых экономическими судами судебных услуг".

среда, 21 января 2015 г.

Доказательное социальное проектирование

В прошлом году на базе Московского городского психолого-педагогического университета (МГППУ) был создан Центр доказательного социального проектирования, который возглавила Анна Тихомирова. Создание центра - знаменует одну из первых попыток системного применения принципа доказательности в социальном проектировании в нашей стране. Оценка проектов (систематический сбор информации для ее последующего использования в принятии управленческих решений) является неотъемлемой частью "доказательного" подхода, поэтому я решил эту тему включить в блог.

Идея "доказательности" впервые появилась в медицине (см. "доказательная медицина").
"Доказательная медицина" или "Медицина, основанная на доказательствах" (от английского Evidence-Based Medicine) - это "совокупность методологических подходов к проведению клинических исследований, оценке и применению их результатов. В узком смысле «доказательная медицина» - это способ (разновидность) медицинской практики, когда врач применяет в ведении пациента только те методы, полезность которых доказана в доброкачественных исследованиях" (цитата заимствована с указанного выше сайта). 

Адаптировав удачный опыт использования доказательной медицины к менеджменту, ученые из Гарварда Дж.Пфеффер и Р.Саттон предложили управленцам идею "доказательного менеджмента": "Неопровержимые факты и обстоятельства, характерные для конкретного предприятия, а не полуправда и домыслы лежат в основе правильного управленческого решения, принимаемого всеми лидерами без исключения. Однако далеко не всем управленцам это очевидно. Слепое копирование модных и популярных управленческих решений, которые работают на других предприятиях, подчас приводит к дорогостоящим или непоправимым ошибкам" (цитата заимствована с указанного выше сайта).

Идея "доказательного социального проектирования" (вариант английского названия: evidence-based social programming) активно развивается за рубежом. В интернете уже доступны пособия по применению этого подхода

Полагаю, что при всей привлекательности идеи "доказательности" ее полномасштабное внедрение в социальной сфере в нашей стране будет сопряжено с объективными трудностями. В частности, будет крайне проблематично найти (или сформировать?) серьезную базу данных с результатами массовых хорошо обоснованных научных исследований эффективности тех или иных подходов к решению социальных проблем. Впрочем, медики нашли выход: они пользуются открытыми постоянно обновляемыми базами знаний. Возможно ли такое в социальной сфере?