Интерпретация значений индикаторов

На семинаре по видам оценки вчера получилось интересное обсуждение в конце благодаря Татьяне Подушкиной, Олегу Казакову и Нодару Хананашвили. К сожалению, очень редко бывает у нас возможность так обсудить какие-то концептуальные вещи. Один из вопросов касался интерпретации значений индикаторов (в рамках индикаторной оценки, естественно).

Я считаю, что способ интерпретации значений индикаторов определяется в процессе создания системы индикаторной оценки (системы мониторинга, например). Когда формируется эта система, ее разработчики (эксперты в предметной области) закладывают в систему то, как следует интерпретировать значения индикаторов. Если этого не сделано на стадии разработки, значит, работа не доведена до конца. Прелесть индикаторной оценки именно в том, что при хорошо разработанной системе не нужно быть экспертом, чтобы делать выводы на основании значений индикаторов. Скажем, вы смотрите на приборную панель автомобиля и понимаете, что, если температура охлаждающей жидкости превышает определенный уровень, необходимо, как минимум дать двигателю остыть, иначе он может выйти из строя. При этом вам не нужно быть экспертом по двигателям - эксперты уже заложили свои знания в систему мониторинга автомобиля. Вам нужно только следить за значением соответствующего индикатора. 

Семинар по видам оценки

23 апреля утром (с 10 до 12) буду проводить семинар в рамках инициативы "Оценка проектов и программ в сфере детства". Планирую подробно рассказать о классификации видов оценки программ и проектов, которую мы с коллегами предложили несколько лет тому назад и находим очень полезной. Речь идет об экспертном, индикаторном и эмпирическом подходах. На семинаре мы будем ориентироваться именно на практическое использование данной классификации, рассмотрим много примеров. Этот семинар - вводный. Мы договорились с нашими партнерами из Фонда "Культура детства" о проведении до лета еще трех семинаров - по одному на каждый из видов оценки.

Регистрация на семинар здесь. Он пройдет на Сретенке в здании МГППУ,

Нелинейность

Одна из задач, которые стоят перед нами в одной из текущих работ - выстроить по результатам оценки программы концептуальную модель взаимодействия между партнерскими организациями. Дело в том, что в рамках этой программы все проекты - партнерские, и для исполнителей программы важно понять, от чего зависит и чем характеризуется успешное партнерство. Это - один из основных уроков программы. 

Мы используем метод Case Study: подробнейшим образом изучили несколько успешных партнерств и теперь проводим анализ, чтобы получить общую картину. 

Фрагмент модели, которая у нас складывается, выглядит так. 

Партнеры должны быть (а) мотивированы к участию в совместной деятельности (хотеть работать вместе) и (б) быть готовы к участию в ней (оснащены для совместного проекта во всех отношениях). Результатом совместной деятельности - помимо социального эффекта - становится развитие отношений между партнерами (доверие, уважение, личная симпатия и т.п.). Развитие отношений, в свою очередь, повышает мотивацию партнеров и их готовность к совместной деятельности...

Интересные вопросы

По окончании курса по социальному проектированию в МГППУ я попросил студентов подумать о том, какие вопросы у них остались или появились по итогам занятий. Приведу несколько самых интересных - на мой взгляд - вопросов. Как бы Вы на них ответили? 

• Могут ли ценности рассматриваться как ресурсы проекта или программы? 
• Можно ли использовать "теорию изменений" в исследованиях? 
• Есть ли случаи, когда использование "теории изменений" вредно или не полезно для организации?
• Если исходить из логической модели, обязательно ли, чтобы у проекта был обозначен социальный эффект? В особенности, если это небольшой и непродолжительный проект. 
• Большинство теорий и практик, о которых мы говорили, - иностранные. Работают ли они безусловно или существуют какие-то ментальные барьеры? Нужно ли дополнительное осмысление зарубежных практик социального проектирования в условиях России? 
• Можно ли говорить о "гуманистическом проектировании"? 

Ценности в социальном проектировании

На прошлой неделе завершил небольшой курс по социальному проектированию в МГППУ для студентов магистратуры. Очень давно не вел курса занятий именно по проектированию. Как-то все время получалось, что разговор о проектировании идет в контексте обсуждения оценки программ. Поэтому для подготовки и проведения курса пришлось собрать и упорядочить много разных материалов, включая совсем новые. Хотелось рассказать студентам о том, где сейчас передний край в разработке методов социального проектирования, над чем думают лучшие умы.

Естественно, что некоторые разделы курса были новыми и для меня. В частности, это относится к рассмотрению ценностей программ как одного из компонентов социального проектирования. Идею эту я позаимствовал у американских специалистов Гаргани и Доналдсона. Их книжка с подробным описанием подхода выйдет из печати в ближайшее время (Gargani, J., & Donaldson, S. I. (2015). Theory-driven program design and redesign: A practical guide to achieving social impact. Newbury Park, CA: Sage).

Включение в описание программы перечня базовых ценностей не является чем-то абсолютно новым. Поиск в Google по ключевым словам "program values" дает порядка 85 тыс. ссылок. Понятно, что при разработке программы или проекта авторы руководствуются определенными ценностями, которые, в частности, должны согласовываться с ценностями их организации и ценностями донора, которому они планируют подать заявку на получение финансирования. Однако, чаще всего ценности остаются "за кадром", и в описание проекта или программы их не включают. Новизна идеи Гаргани и Доналдсона состоит для меня в том, чтобы включать ценности как обязательный раздел в описание замысла проекта (программы).
На рисунке в свернутом виде представлено содержание той части учебного курса, в которой мы говорили о ценностях в социальном проектировании. 

АСОПП: ответы на два часто задаваемых вопроса

15 мая 2014 года начала свою работу российская Ассоциация специалистов по оценке программ и политик (АСОПП). Подготовка к этому событию заняла более двух лет. К моменту создания АСОПП уже активно работали подобные национальные ассоциации в  Грузии, Кыргызстане и Украине. Теперь и в России есть своя ассоциация, что открывает новые возможности для развития нашей профессии у нас дома. Сегодня активно работает правление АСОПП, в рамках Международного года оценки полным ходом идет подготовка к первой конференции АСОПП, развиваются международные контакты ассоциации с аналогичными ассоциациями в нашем регионе и за его пределами. Скоро состоятся выборы новых членов правления и президента ассоциации, который будет возглавлять ее в 2016-17 гг.

Один из вопросов, которые часто задают членам правления АСОПП: при ком создана ваша ассоциация? Ответ "не при ком" многим кажется неожиданным. Ассоциация создана по инициативе людей, которых объединило стремление развивать оценку программ и политик как профессию в России. За созданием АСОПП действительно не стоят никакие структуры. Ассоциация опирается на своих членов и действует в их интересах. 

Членами ассоциации могут быть только физические лица. Есть два уровня членства. Можно просто зарегистрироваться на сайте АСОПП. В этом случае вы имеете возможность получать рассылку ассоциации, имеете небольшие скидки на участие в мероприятиях ассоциации и, естественно, можете указывать, что являетесь членом данного профессионального объединения, в своем резюме. Первый уровень членства в АСОПП чем-то сродни членству в группах на Facebook. Естественно, для ассоциации важно число таких членов, и мы очень ценим их поддержку. Второй уровень членства предполагает оплату членского взноса, которая в силу ряда обстоятельств осуществляется в форме благотворительного пожертвования. Те, кто оплачивают членские взносы, получают доступ к онлайновой библиотеке АСОПП, участвуют в принятии решений, в голосованиях, могут быть избраны в руководящие органы АСОПП, получают существенные скидки на участие в мероприятиях ассоциации. Размер ежегодного пожертвования (членского взноса) - 3000 рублей. 

Второй вопрос, который часто задают членам правления: что я буду иметь с того, что внесу пожертвование в поддержку АСОПП? Вопрос абсолютно резонный. На него есть два ответа. Первый приведен выше. Второй же заключается в том, что оплачивая членский взнос АСОПП вы не столько "покупаете" услуги ассоциации, сколько поддерживаете развитие профессионального сообщества и профессии в нашей стране. Правильнее относиться к этому как некоторому альтруистическому акту, а не как к коммерческой сделке. Самостоятельность ассоциации в числе прочего определяется ее финансовыми возможностями. На данный момент членские взносы являются основным источником финансирования АСОПП. Потому я хотел бы выразить особую благодарность тем, кто нашел возможность поддержать ассоциацию деньгами. Как президент АСОПП (2014-15) и как один из инициаторов ее создания я верю, что число таких людей будет расти и мы построим устойчивую национальную профессиональную ассоциацию в сфере оценки программ и политик. Вступайте в АСОПП, чтобы получить возможность сделать вклад в это важное дело!

Открыт прием заявок на выступления на конференции АСОПП-2015

Российская Ассоциация специалистов по оценке программ и политик (АСОПП) приглашает всех желающих принять участие в конференции «Оценка программ и политик в России: становление профессии». Конференция пройдет в Москве 30-31 октября 2015 года. Накануне конференции (29 октября 2015 г.) пройдут обучающие семинары. Программа конференции будет сформирована на основе конкурсного отбора заявок на выступления. Прием заявок на выступления открывается 2 марта 2015 года и будет закрыт 30 апреля 2015 г. в 18.00 по московскому времени. Программа семинаров и конференции будет опубликована 29 мая 2015 года. В этот же день будет открыта регистрация участников конференции. Все подробности на сайте конференции. 

Еще раз об оценке эффективности судов

На сайте "Ракурс" опубликована статья о критериях оценки эффективности судов в США. Этой темы я уже касался дважды в связи с публикациями по поводу казахстанского опыта. Статья, о которой идет речь сегодня, написана в связи с судебной реформой на Украине.

Вот какие критерии оценки эффективности судов в США приводятся в данной публикации: 

1. доступность и объективность
2. процент рассмотренных дел от общего количества дел, поступивших в суд
3. соблюдение процессуальных сроков, то есть процент дел, рассмотренных или завершенных другим способом в течение отведенного на них процессуального срока
4. продолжительность нахождения дел на рассмотрении (количество дней от подачи дела в суд до даты проведения оценки) 
5. надежность даты слушания дела, то есть количество назначений дат слушания дела при рассмотрении
6. надежность и целостность материалов дел
7. процент взысканных и переданных по назначению штрафов от общей суммы назначенных в конкретных делах денежных наказаний
8. результативность процесса отбора присяжных, достаточно квалифицированных и готовых войти в состав суда, выраженная как процент от общего количества потенциальных присяжных
9. удовлетворенность работников судебного аппарата
10. средняя стоимость рассмотрения одного дела, отдельно по типам дел

Растём!

Сегодня в Общественной Палате РФ прошел "круглый стол" на тему "Развитие в России культуры оценки социально-экономической эффективности социальных программ". На мой взгляд, о развитии культуры оценки там речи не было вовсе. Зато были представлены очень разные подходы к оценке социально-экономической эффективности как программ, так и организаций. Вероятно, в ближайшее время представленные на "круглом столе" материалы будут доступны на каком-нибудь сайте, потому обсуждать детали представленных подходов я сейчас не буду. Хочу сказать о другом. Судя по всему, мы достигли такого момента, когда достаточно много людей и организаций в России всерьез занимается различными видами оценки программ. Это говорит об определенном уровне развития этой сферы деятельности у нас в стране. Как справедливо отметила одна из участниц "круглого стола", эти совершенно разные подходы к оценке не следует пытаться объединять. Наоборот, каждый из них должен развиваться и совершенствоваться самостоятельно. А объединяться они должны в головах специалистов-практиков, которые по мере необходимости будут выбирать те методы или такое их сочетание, которое даст наилучшие результаты при заданных ограничениях. Чем шире будет методологический репертуар практиков в сфере оценки, тем лучше. И еще: никогда все не будут уметь всё. Уже наметилась вполне отчетливая специализация в сфере оценки у различных групп и отдельных людей, что абсолютно закономерно и правильно. Растём!

А кто сказал, что это легко?

Главное при разработке любой программы - аргументированно показать, как действия в рамках программы приведут к достижению цели программы. Другими словами, речь идет об обосновании причинно-следственных связей между действиями и ожидаемыми результатами. 

Сделать такое описание "теории" программы очень непросто. Трудности начинаются уже на стадии формулировки цели программы. Очередное подтверждение тому -  проект Государственной программы «Патриотическое воспитание граждан Российской Федерации на 2016-2020 годы». Говорят, что Росмолодежь подготовила окончательную версию этого документа. Бюджет программы - около 2 миллиардов рублей. Я не имел возможности ознакомиться с доработанной версией программы, но читал ее проект. 

Вот как в проекте программы были сформулированы цель и задачи программы (курсив мой):