Цели, задачи и "ожидаемые результаты" проекта

Хочу возразить против сложившейся в нашей стране практики включения раздела "Ожидаемые результаты" в описания социально-ориентированных проектов и программ наряду с целями и задачами. Считаю эту практику ошибочной по следующей причине.

Цель (любого уровня) - это образ конечного результата или ожидаемый результат. И миссии, и цели, и задачи проектов и программ являются ничем иным, как ожидаемыми результатами. В проектировании даже термин есть для этого специальный - "цепочка ожидаемых результатов" (results chain). Другой термин, который стали все больше использовать в последние годы - "карта ожидаемых результатов" (outcomes map). Те, кому больше по душе "дерево целей" (goal tree), вполне могут называть его "деревом ожидаемых результатов". 

Для того, чтобы можно было понять, достигнуты ли ожидаемые результаты, используются показатели (индикаторы). 

Таким образом, включение раздела "ожидаемые результаты" в описание проекта лишь запутывает заявителя и никоим образом не делает проекты и программы более "заточенными" на результат. 

Предлагаю всем, от кого это зависит, не включать в шаблон описания проекта раздел "Ожидаемые результаты" и настаивать на том, чтобы заявители описывали миссию, цель и задачи проекта в терминах ожидаемых результатов. От этого всем только лучше будет: и заявителям; и благополучателям; и экспертам, которые оценивают заявки; и специалистам, которые проводят оценку проектов в ходе их выполнения или по завершении; и самой финансирующей организации.   

Как создать облако из слов

Облака из слов бывает удобно использовать в отчетах по результатам оценки и в презентациях этих результатов. Поэтому сегодня я хотел бы поделиться ссылками на бесплатные онлайновые сервисы, позволяющие генерировать облака из слов. Они все точно работают с английскими текстами, но не все работают с русскими. 

1. ABCYa! Word Clouds (только английский, русские буквы не понимает)
2. TagCrowd (только английский, для русского текста делает по умолчанию транслитерацию - заменяет русские буквы английскими)
3. Tagul (требует регистрации, допускает бесплатное использование только в личных некоммерческих целях)
4. Tagxedo (требует установить дополнительную программу Silverlight)
5. Tricklar (сам выбирает медийные источники за заданный период для формирования облаков по ключевому слову, только английский)
6. WordClouds (меню английское, может работать с русскими текстами, не требует регистрации)
7. WordItOut (меню английское, может работать с русскими текстами, не требует регистрации)
8. Wordle (требует установить Java browser plugin, отличная программа, работает и с английскими, и с русскими текстами, очень много опций для получения требуемой формы, пространственной ориентации слов, размера и цвета изображения, но в последнее время не запускается во многих браузерах по соображениям безопасности). 

Ниже для иллюстрации привожу облако, которое сгенерировал Tricklar на слово Russia.

Порядок оценки социального эффекта проектов

В Распоряжении Президента РФ от 5 апреля 2016 года № 68-рп "Об обеспечении в 2016 году государственной поддержки некоммерческих неправительственных организаций, участвующих в развитии институтов гражданского общества, реализующих социально значимые проекты и проекты в сфере защиты прав и свобод человека и гражданина" некоммерческим неправительственным организациям предписывается (пункт 2.д.) "разработать порядок оценки социального эффекта, полученного от реализации социально значимых проектов и проектов в сфере защиты прав и свобод человека и гражданина".

Насколько я знаю, это первое официальное упоминание о необходимости оценки социального эффекта проектов на столь высоком уровне в нашей стране. Вне всякого сомнения, это очень важное событие для всех, кто профессионально занимается оценкой социально ориентированных программ и проектов, значимый шаг на пути развития института оценки в России.

В ближайшее время наверняка будут предприняты шаги по разработке "порядка оценки социального эффекта". Если бы меня спросили, на что нужно обратить внимание при проведении этой работы, я бы ответил так:

1. Нужно обязательно начать с определения понятия "социальный эффект". Здесь далеко не все так однозначно, как может показаться на первый взгляд. 
2. Следует обратиться к уже существующим в мире наработкам. Сделано в этой сфере очень многое. Есть многочисленные публикации, к примеру вот эта (название можно перевести как "Руководство по оценке социальных эффектов проектов и управлению ими"). Даже есть международная ассоциация специалистов, работающих в этой сфере. 
3. Важно иметь в виду, что оценка социального эффекта - очень непростая задача. А решение нужно в данном случае какое-то достаточно простое , поскольку оно должно быть реализовано уже в 2016 году. Здесь есть противоречие, поэтому особое внимание надо будет уделить корректности методов такой оценки и не останавливаться на достигнутом: это задача не на один год. 
4. Надо уделить особое внимание необходимости наращивания потенциала в этой сфере. Мало разработать метод или порядок оценки. Надо еще обучить людей тому, как этим методом пользоваться. 

Полагаю, нам на ежегодной конференции Ассоциации специалистов по оценке программ и политик (октябрь, Новосибирск) и на Школе оценки (июнь, Архангельск) нужно будет обязательно уделить внимание этой теме. 

Конференция АСОПП-2016 в Новосибирске

Сегодня открыт прием заявок на выступления на II Ежегодной конференции Ассоциации специалистов по оценке программ и политик (АСОПП).

Конференция и семинары перед ней пройдут с 5 по 7 октября 2016 года в Новосибирске. Решение Правления АСОПП провести конференцию в Сибири продиктовано желанием сделать наше мероприятие более доступным для тех, кому в Москву ехать далеко и дорого, а в Новосибирск - ближе и дешевле. Это, в частности, относится и к нашим коллегам и друзьям в Центральной Азии, например, в Казахстане. Тем более, что Координационный Совет Евразийского альянса национальных ассоциаций в сфере оценки решил активно поддержать наше мероприятие, присвоив ему статус "мероприятия года" в регионе.  

По числу конференций, семинаров и школ, посвященных оценке, Новосибирск, точно является одним из лидеров в нашей стране. Достаточно вспомнить первую большую конференцию Международной сети "Оценка программ" в 2000 году, Школы по оценке 2001, 2010 и 2015 годов. Это лишь некоторые мероприятия из тех, что были проведены под руководством либо при самом активном участии наших новосибирских коллег, представляющих Сибирский центр поддержки общественных инициатив (СЦПОИ) и ИНА-Центр. 

Тема конференции: "Оценка программ и политик в эпоху кризиса: вызовы и возможности". Уверен, что будет интересно. Не пропустите!

Какими качествами должен обладать член правления ассоциации специалистов по оценке

В свое время С.Н.Паркинсон в своих "законах" предложил весьма эффективный подход к написанию объявлений о вакансиях. Он рекомендовал формулировать требования к кандидату таким образом, чтобы пришел один и самый подходящий человек. К примеру, это может выглядеть так:
"Требуется археолог высокой квалификации, готовый провести пятнадцать лет на раскопках инкских захоронений в поселке Геенна, на Аллигаторовой реке. По окончании работ обеспечен титул или орден. Пенсия полагается, но ни разу не понадобилась. Оклад – 2000 фунтов в год. Заявление в трех экземплярах подавать директору Норокопательного института, Гроб, Иллинойс, США".
Здесь и дурные и хорошие стороны строго уравновешены. Нет нужды уточнять, что от соискателя требуются терпение, упорство и смелость. Сами условия отсекают всех не обладающих этими свойствами. Нет нужды писать, что нужен одинокий человек. Нет нужды оговаривать, что он должен быть помешан на раскопках, – никто, кроме помешанных, и не откликнется. Их может быть трое, но для двоих оплата окажется слишком низкой. Третьего привлечет награда. По-видимому, если мы предложим орден св. Михаила, заинтересуются двое, а если предложим орден Британской империи, не заинтересуется никто. В нашем же случае заявление будет одно. Соискатель не в своем уме, но это неважно. Именно он нам и требуется".
(Сирил Норткот Паркинсон, "Законы Паркинсона", 2014)
Эту блестящую идею напомнило мне сегодняшнее письмо с приглашением номинировать кандидатов в Правление Американской ассоциации оценки (ААО):
"Работать в Правлении ААО может любой член ААО (включая как граждан США, так и граждан других стран). Вновь избранные члены Правления будут работать в этом качестве три года, начиная с 1 января 2017 и ежегодно посещать три заседания Правления. Каждый член Правления участвует в работе Правления на регулярной основе, посещая заседания Правления, активно участвуя в работе Правления, переписке по электронной почте, рабочих группах и комитетах разного рода. Расходы на личное участие в двух заседаниях Правления покрываются ААО. Третье заседание проводится в период проведения ежегодной конференции ассоциации, поэтому покрытие расходов в этом случае ограничивается оплатой отеля за два дополнительных дня и соответствующих расходов на питание, связанных с посещением заседания Правления...
При отборе кандидатов учитывается:
- их предыдущая работа в Ассоциации (буквально там сказано "служение", а не работа)
- другие вклады кандидатов в развитие профессии и их служение профессии,
- доступность кандидатов (см. ниже).
Кандидаты должны дать согласие на участие во деятельности Правления в течение трех лет, а также письменно подтвердить:
- возможность и желание принять участие в трех ежегодных заседаниях Правления,
- доступность для периодических телеконференций Правления,
- понимание, что члены Правления не могут получать никаких наград ААО,
- согласие следовать всем политикам ААО, относящимся к обязанностям членов Правления".

Чем оценка (evaluation) отличается от исследования (research)?

На днях обсуждали с коллегой эту тему. Хотел бы поделиться видением профессора Патриции Роджерс из Австралии, опубликованным в блоге на сайте Betterevaluation. Отличный, кстати, сайт! 

Итак, Патриция предлагает четыре подхода к объяснению отличия оценки от исследования: 

1) Две области, не связанные между собой: разные цели; по-разному формируются вопросы, на которые нужно ответить; разные критерии оценки значимости и качества; разные референтные группы для вынесения суждения о ценности. 

2) Две взаимно пересекающиеся области: есть "пересечения", например, методы и инструменты работы с эмпирическими данными; и есть отличия, например, постановка задачи и использование результатов. 

3) Оценка как подкатегория исследования: проведение исследования не всегда предполагает проведение оценки, а проведение оценки всегда предполагает проведение исследования. 

4) Исследование как подкатегория оценки в том смысле, что собр и анализ эмпирических данных - неотъемлемая часть оценки. 

Мне кажется, что в классификации Патриции недостает еще одного варианта: "ничем не отличается" или "оценка и исследование - это абсолютно одно и то же". В комментариях к ее публикации как раз такой вариант был предложен.

Так отличаются или нет? Думаю, многое зависит от начальных условий и от контекста. В том мире, в котором я живу и работаю, отличаются. Но я легко могу представить себе ситуации, в которых обсуждение отличий большого смысла не имеет. 

Для тех, кто хотел бы глубже погрузиться в данную тему, рекомендую статью Мири Левин-Розалис (Miri Levin-Rozalis), опубликованную в Канадском журнале оценки (2003). В этой статье много ссылок на публикации людей, являющихся основоположниками оценки как самостоятельной дисциплины и особой профессии таких как Кэмпбелл, Кук, Губа, Линкольн, Хаус, Скривен, Пэттон. 

Почему профессиональные ассоциации не должны оказывать услуг по профилю деятельности своих членов?

Вопрос это не новый. В нашем регионе мы обсуждали его еще в 2000 году, когда создавали Международную сеть «Оценка программ». В сентябре 2012 я уже и здесь об этом писал. Самые недавние дискуссии по этому поводу, в которых мне пришлось принимать участие, состоялись в начале марта в Алматы на встрече Евразийского альянса национальных ассоциаций в сфере оценки.
Сегодня пришло письмо от моего коллеги Пабло Родригеса-Билелла (Pablo Rodriguez-Bilella), специалиста по оценке программ, исследователя и профессора социальной антропологии из Аргентины. Пабло откликается на переписку президента Международной организации по сотрудничеству в сфере оценки Зиада Мусы и члена правления одной из национальных ассоциаций. Последний обратился к лидерам национальных ассоциаций в сфере оценки со следующим вопросом: есть ли в уставах их ассоциаций положение о том, что их профессиональные объединения не могут действовать как консалтинговые компании и, в частности, принимать участие в тендерах на проведение оценки?
Во-первых, хотел бы сказать, в уставе Российской ассоциации специалистов по оценке программ и политик такое положение есть. Оно было и в уставе Международной сети «Оценка программ». Но раз вопрос возникает, я бы хотел еще раз дать на него развернутый ответ.

Был конь да изъездился

В 2005 году я был на семинаре по проектированию в Голландии, где ведущий использовал пример с лошадью, которую, как известно, можно подвести к воде, но нельзя заставить пить. При этом были продемонстрированы картинки из пособия Международной организации труда (ILO (1995) Design, monitoring and evaluation of technical cooperation programmes and projects). Мы стали активно применять эту метафору в семинарах по проектированию и по оценке программ и проектов в нашем регионе. Первыми увидели лошадь представители некоммерческих организаций Казахстана в 2005 году. С тех пор прошло без малого 11 лет. "История лошади" стала весьма популярной и используется очень многими. На днях после очередной лекции ко мне подошла студентка и сказала, что про лошадь она слышит в моем исполнении уже в шестой (!) раз. В апреле буду проводить очередной семинар по проектированию. Уже без лошади, она свое отслужила :) Если вдруг кто-то из читателей этого блога про лошадь не слышал или подзабыл, описание ее истории есть в книге "Оценка программ: методология и практика" на стр.12-14.

Теория филантропии

В декабре 2015 года в журнале The Foundation Review (volume 7, issue 4) опубликованы две статьи, в одной из которых предлагается новая концепция, названная авторами "теорией филантропии", а в другой обсуждается эта новая концепция. Один из авторов - Майкл Пэттон, известный многим в нашей стране как гуру в сфере оценки программ. "Теория филантропии" формируется применительно к деятельности отдельно взятой филантропической организации (фонда) и отличается как от стратегии, так и от "теории изменений". Этим отличиям, кстати, авторы уделяют особое внимание.

Думаю, это своего рода "прорыв" в осмыслении деятельности фондов и в управлении ими. Данные публикации могут иметь очень важное практическое значение как для фондов, так и для специалистов по оценке, работающих с филантропическими и социально-ориентированными программами. 

Очень рекомендую прочесть!

В Храме Христа Спасителя сегодня говорили об оценке проектов

По приглашению Фонда "Соработничество" провел сегодня небольшой семинар (1,5 часа) на тему "Оценка эффективности социальных проектов" в рамках XXIV Международных рождественских чтений. Семинар проходил в зале для пресс-конференций в Храме Христа Спасителя. Интерес к семинару со стороны участников чтений был достаточно большой. К концу семинара в аудитории практически не осталось свободных мест. По словам организаторов, присутствовало более 60 человек. Среди них было значительное число грантополучателей конкурса "Православная инициатива". Примечательно, что РПЦ при поддержке Фонда "Соработничество" активно развивает социально-ориентированную проектную деятельность и оценку проектов. Что касается семинара, то меня заверили, что это было первое мероприятие по оценке в стенах Храма Христа Спасителя.