20 лет спустя

Мы провели первую оценку проекта в 1996 году, то есть ровно двадцать лет тому назад. Оценивали совместный проект Американской ассоциации социальных работников (примерно 150 тыс. членов) и вновь созданной Российской ассоциации социальных работников и социальных педагогов. Закончили работу, сдали отчет. Получилось хорошо. Помню, как клиент сказал, что, если такого рода работы нас интересуют, то он готов нас рекомендовать знакомым. Он считал, что спрос на оценку проектов был в тот момент на подъеме. Мы не планировали тогда специализироваться в сфере оценки проектов и программ, а потому поблагодарили его и ... отказались. В течение последующих двух лет произошло несколько событий, которые изменили наше отношение к оценке. Это были, в первую очередь, наше партнерство с британским специалистом в сфере оценки Сарой дел Туфо (Sarah del Tufo) и знакомство с книгой американца Майкла Пэттона (Michael Patton) "Практическая оценка" (Practical Evaluation, 1980). Сара помогла нам заглянуть в мир практической оценки как одного из видов консультирования, а книга Майкла (которую, кстати, Сара нам рекомендовала) позволила увидеть оценку как интереснейшую профессию. Если бы не Сара и Майкл, возможно, мы бы сегодня чем-то другим занимались. Они оба продолжают активно работать, и мы с благодарностью желаем им всего самого доброго!

• Сайт Сары дел Туфо
• Сайт Майкла Пэттона

Оценка без критериев - не оценка? (фрагмент одной дискуссии)

Уже много лет я подписан на тематический список рассылки на Yahoo Groups. Называется XCEval. Сейчас там около 1200 подписчиков со всего мира. Пишу туда очень редко. Являюсь, скорее, активным читателем. Рабочий язык - английский. Подписаться может любой человек - без ограничений.

На днях Боб Вильямс из Новой Зеландии (очень известный специалист в сфере применения системного мышления в оценке) написал на XCEval о тревожной тенденции, заключающейся в том, что все чаще набор критериев оценки программ определяется заранее как стандартный и не учитывает в должной мере особенностей оцениваемой программы и потребностей заинтересованных сторон. Я поддержал Боба и добавил, что есть еще и тенденция использовать "стандартный" набор вопросов, на которые оценка должна ответить, что создает массу проблем. Далее я поделился нашим опытом проведения оценки (в традиции оценки, ориентированной на практическое использование), когда ключевым моментом, "ядром" задания на проведение оценки являются не критерии, а вопросы, на которые надо ответить. Далеко не все наши технические задания содержали критерии оценки, но все они содержали вопросы. Я написал, что мы избегаем использования понятия "критерий оценки", чтобы сфокусироваться именно на вопросах, которые обсуждаются с Заказчиком, тщательно формулируются и становятся фундаментом для всей последующей работы. 

К своему удивлению, я получил довольно жесткий ответ от Боба. Он вообще не отличается мягкостью в дискуссиях, удивила не жесткость :) Он написал, что моя позиция является чудовищной ошибкой и также отражает некую негативную тенденцию. Основной его тезис был такой: "Без критериев нет оценки". 

Я согласился, что, действительно, без критериев невозможна "оценка, основанная на критериях" (criterion-focused evaluation) - один из видов оценки, но не оценка вообще. Имел я в виду, что есть другие подходы, которые, к примеру, перечислены в книге Майкла Пэттона Utilization Focused Evaluation, 4th ed. (стр. 300-305). Майкл перечисляет 79 видов оценки в зависимости от того, на чем она сфокусирована. Оценка, основанная на критериях, упоминается в числе прочих. 

На это откликнулись сам Боб ("Категорически не согласен!"), а затем еще два очень уважаемых человека - Роберт Пиччиотто (бывший директор Независмой группы оценки Всемирного Банка) и Томас Швандт (один из лидеров Американской ассоциации оценки, бывший редактор American Journal of Evaluation, профессор из Иллинойса, США). Оба джентльмена поддержали Боба. Томас написал, что он присоединяется к группе, в которой считают, что невозможно провести оценку, не имея критериев. Роберт - примерно в том же духе.

Считаю очень примечательным сам факт, что три таких известных человека решили написать по поводу критериев. Это говорит о значимости темы для них. Они далеко не на каждое письмо на XCEval откликаются. Уверен, что они не включились бы, если бы дело было только во мне. Вероятнее всего, это одна из дискуссионных зон в мире оценки, которую я невольно затронул. Интересно! 

Еще два слова о моей позиции по этому вопросу. Я не против критериев как таковых, но не считаю, что они настолько значимы во всех случаях. Гораздо важнее для меня вопросы, на которые надо ответить. 

Примеры критериев: 

- эффективность, 

- устойчивость эффекта. 

Примеры соответствующих вопросов: 

- В какой мере достигнута цель программы? 

- В какой степени эффект программы сохраняется после ее окончания? 

Если меня просят оценить (или даже измерить) эффективность программы, то это мало что говорит само по себе. А вот когда мы формулируем вопрос(ы), тут становится понятно, о чем речь. От вопросов можно уже планировать оценку. А результатом оценки будут ответы на эти вопросы. Главу в отчете можно назвать "Эффективность", но ее содержание должно определяться вопросом, на который надо ответить. Для разных программ, людей, обстоятельств вопросы про эффективность могут сильно отличаться.

Самооценивание как составляющая гуманистического подхода к обучению

Гуманистический подход к обучению центрирован на учащемся. Роль учителя - способствовать подлинному усвоению нового, помогать ребенку реализовать потенциал своих индивидуальных возможностей. Эту формулировку я заимствовал из текста Карла Роджерса. На мой взгляд, она очень хорошо отражает сущность гуманистического подхода к обучению. В своей знаменитой статье "Вопросы, которые я бы себе задал, если бы был учителем", Роджерс пишет:

"Вот вопросы, которые я задал бы себе, если бы взял на себя ответственность за детей, к которым пришел в класс, чтобы помочь им учиться:

1. Умею ли я входить во внутренний мир человека, который учится и взрослеет? Смог ли бы я отнестись к этому миру без предрассудков, без предвзятых оценок, смог ли бы я личностно, эмоционально откликнуться на этот мир? 
2. Умею ли я позволить самому себе быть личностью и строить открытые, эмоционально насыщенные, неролевые взаимоотношения с моими учениками, отношения, в которых все участники учатся? Хватит ли у меня мужества разделить со своими учениками эту интенсивность наших взаимоотношений?
3. Сумею ли я обнаружить интересы каждого в моем классе и смогу ли позволить ему или ей следовать этим индивидуальным интересам, куда бы они ни вели?
4. Смогу ли помочь моим ученикам сохранить живой интерес, любопытство по отношению к самим себе, к миру, который их окружает, — сохранить и поддержать самое дорогое, чем обладает человек?
5. В достаточной ли степени я сам творческий человек, который сможет столкнуть детей с людьми и с их внутренним миром, с книгами, всеми видами источников знаний — с тем, что действительно стимулирует любознательность и поддерживает интерес?
6. Смог ли бы я принимать и поддерживать нарождающиеся и в первый момент несовершенные идеи и творческие задумки моих учеников, этих посланников будущих творческих форм учения и активности? Смог ли бы я принять тех творческих детей, которые так часто выглядят беспокойными и не отвечают принятым стандартам в поведении?
7. Смог ли бы я помочь ребенку расти целостным человеком, чувства которого порождают идеи, а идеи — чувства?"

Такая позиция учителя предполагает, что в плане оценки первичной является способность ученика к самооцениванию, которое приверженцы гуманистического подхода иногда называют "единственной формой значимой оценки".

Вопросы к размышлению: 

• Можно ли распространить этот принцип на группы и организации? 
• Можно ли считать, что основной (наиболее значимой) формой оценки в образовательном учреждении, построенном на принципах гуманизма, должно быть самооценивание (в разных формах, естественно)? Речь идет не только и не столько об учениках уже. 

Отчет об оценке программы сертификации специалистов по оценке

Канадцы первыми в мире разработали и внедрили в 2009 году систему сертификации специалистов по оценке. Это довольно трудоемкий процесс, занимающий не один месяц. За сертификацию нужно платить. В общем, все по-взрослому. 6-летний опыт программы сертификации специалистов по оценке в Канаде подробно проанализирован в отчете об оценке этой программы, который теперь доступен в онлайне (английский язык, 56 страниц без учета приложений).

В отчете много интересного.  В частности, оказалось, что далеко не все заказчики услуг по оценке в Канаде указывают сертификацию как обязательное или желательное требование к консультантам, которых они нанимают. Объясняют они это тем, что сертифицированных специалистов мало, и можно вообще не найти подходящего. Это создает своего рода замкнутый круг: сертифицированных специалистов мало, поэтому сертификацию клиенты не требуют, поэтому число сертифицированных специалистов не растет.

Авторы дают три рекомендации по совершенствованию программы:

1. Скорректировать существующее предложение с учетом потребностей заказчиков услуг по оценке.
2. Повысить прозрачность существующего процесса сертификации. 
3. Четко сформулировать, в чем состоит ценность сертификации для специалистов по оценке и потребителей их услуг.  

Компетенции специалиста по оценке: версия АЕА

AEA - это Американская ассоциация оценки (American Evaluation Association). Отдельные исследователи в США одними из первых в мире занялись изучением и описанием компетенций специалиста по оценке (см., например, публикации Jean King). Однако лишь в прошлом году была сформирована рабочая группа по компетенциям под эгидой АЕА. Около 15% членов АЕА представляют другие страны либо живут и работают в других странах. Поэтому рабочая группа запланировала 25 групповых обсуждений (в скайпе), чтобы учесть мнение тех, кто находится за пределами США. На днях я принимал участие в одном из таких обсуждений и, соответственно, познакомился с проектом документа, над которым идет работа. Пока компетенции специалиста по оценке (коллеги ориентируются на тех, кто оценивает программы) разделены на 5 групп:

- базовые или основополагающие компетенции, 

- компетенции в сфере методологии оценки, 

- компетенции, относящиеся к работе с контекстом оценки, 

- компетенции в сфере менеджмента,

- межличностные компетенции. 

В рамках каждой группы кратко перечисляются характеристики "компетентного специалиста по оценке" (competent evaluator). Документ компактный, занимает меньше двух страниц. 

По всей вероятности, к концу года он примет более-менее окончательный вид, и мы сможем ознакомиться с ним. 

Цели, задачи и "ожидаемые результаты" проекта

Хочу возразить против сложившейся в нашей стране практики включения раздела "Ожидаемые результаты" в описания социально-ориентированных проектов и программ наряду с целями и задачами. Считаю эту практику ошибочной по следующей причине.

Цель (любого уровня) - это образ конечного результата или ожидаемый результат. И миссии, и цели, и задачи проектов и программ являются ничем иным, как ожидаемыми результатами. В проектировании даже термин есть для этого специальный - "цепочка ожидаемых результатов" (results chain). Другой термин, который стали все больше использовать в последние годы - "карта ожидаемых результатов" (outcomes map). Те, кому больше по душе "дерево целей" (goal tree), вполне могут называть его "деревом ожидаемых результатов". 

Для того, чтобы можно было понять, достигнуты ли ожидаемые результаты, используются показатели (индикаторы). 

Таким образом, включение раздела "ожидаемые результаты" в описание проекта лишь запутывает заявителя и никоим образом не делает проекты и программы более "заточенными" на результат. 

Предлагаю всем, от кого это зависит, не включать в шаблон описания проекта раздел "Ожидаемые результаты" и настаивать на том, чтобы заявители описывали миссию, цель и задачи проекта в терминах ожидаемых результатов. От этого всем только лучше будет: и заявителям; и благополучателям; и экспертам, которые оценивают заявки; и специалистам, которые проводят оценку проектов в ходе их выполнения или по завершении; и самой финансирующей организации.   

Как создать облако из слов

Облака из слов бывает удобно использовать в отчетах по результатам оценки и в презентациях этих результатов. Поэтому сегодня я хотел бы поделиться ссылками на бесплатные онлайновые сервисы, позволяющие генерировать облака из слов. Они все точно работают с английскими текстами, но не все работают с русскими. 

1. ABCYa! Word Clouds (только английский, русские буквы не понимает)
2. TagCrowd (только английский, для русского текста делает по умолчанию транслитерацию - заменяет русские буквы английскими)
3. Tagul (требует регистрации, допускает бесплатное использование только в личных некоммерческих целях)
4. Tagxedo (требует установить дополнительную программу Silverlight)
5. Tricklar (сам выбирает медийные источники за заданный период для формирования облаков по ключевому слову, только английский)
6. WordClouds (меню английское, может работать с русскими текстами, не требует регистрации)
7. WordItOut (меню английское, может работать с русскими текстами, не требует регистрации)
8. Wordle (требует установить Java browser plugin, отличная программа, работает и с английскими, и с русскими текстами, очень много опций для получения требуемой формы, пространственной ориентации слов, размера и цвета изображения, но в последнее время не запускается во многих браузерах по соображениям безопасности). 

Ниже для иллюстрации привожу облако, которое сгенерировал Tricklar на слово Russia.

Порядок оценки социального эффекта проектов

В Распоряжении Президента РФ от 5 апреля 2016 года № 68-рп "Об обеспечении в 2016 году государственной поддержки некоммерческих неправительственных организаций, участвующих в развитии институтов гражданского общества, реализующих социально значимые проекты и проекты в сфере защиты прав и свобод человека и гражданина" некоммерческим неправительственным организациям предписывается (пункт 2.д.) "разработать порядок оценки социального эффекта, полученного от реализации социально значимых проектов и проектов в сфере защиты прав и свобод человека и гражданина".

Насколько я знаю, это первое официальное упоминание о необходимости оценки социального эффекта проектов на столь высоком уровне в нашей стране. Вне всякого сомнения, это очень важное событие для всех, кто профессионально занимается оценкой социально ориентированных программ и проектов, значимый шаг на пути развития института оценки в России.

В ближайшее время наверняка будут предприняты шаги по разработке "порядка оценки социального эффекта". Если бы меня спросили, на что нужно обратить внимание при проведении этой работы, я бы ответил так:

1. Нужно обязательно начать с определения понятия "социальный эффект". Здесь далеко не все так однозначно, как может показаться на первый взгляд. 
2. Следует обратиться к уже существующим в мире наработкам. Сделано в этой сфере очень многое. Есть многочисленные публикации, к примеру вот эта (название можно перевести как "Руководство по оценке социальных эффектов проектов и управлению ими"). Даже есть международная ассоциация специалистов, работающих в этой сфере. 
3. Важно иметь в виду, что оценка социального эффекта - очень непростая задача. А решение нужно в данном случае какое-то достаточно простое , поскольку оно должно быть реализовано уже в 2016 году. Здесь есть противоречие, поэтому особое внимание надо будет уделить корректности методов такой оценки и не останавливаться на достигнутом: это задача не на один год. 
4. Надо уделить особое внимание необходимости наращивания потенциала в этой сфере. Мало разработать метод или порядок оценки. Надо еще обучить людей тому, как этим методом пользоваться. 

Полагаю, нам на ежегодной конференции Ассоциации специалистов по оценке программ и политик (октябрь, Новосибирск) и на Школе оценки (июнь, Архангельск) нужно будет обязательно уделить внимание этой теме. 

Конференция АСОПП-2016 в Новосибирске

Сегодня открыт прием заявок на выступления на II Ежегодной конференции Ассоциации специалистов по оценке программ и политик (АСОПП).

Конференция и семинары перед ней пройдут с 5 по 7 октября 2016 года в Новосибирске. Решение Правления АСОПП провести конференцию в Сибири продиктовано желанием сделать наше мероприятие более доступным для тех, кому в Москву ехать далеко и дорого, а в Новосибирск - ближе и дешевле. Это, в частности, относится и к нашим коллегам и друзьям в Центральной Азии, например, в Казахстане. Тем более, что Координационный Совет Евразийского альянса национальных ассоциаций в сфере оценки решил активно поддержать наше мероприятие, присвоив ему статус "мероприятия года" в регионе.  

По числу конференций, семинаров и школ, посвященных оценке, Новосибирск, точно является одним из лидеров в нашей стране. Достаточно вспомнить первую большую конференцию Международной сети "Оценка программ" в 2000 году, Школы по оценке 2001, 2010 и 2015 годов. Это лишь некоторые мероприятия из тех, что были проведены под руководством либо при самом активном участии наших новосибирских коллег, представляющих Сибирский центр поддержки общественных инициатив (СЦПОИ) и ИНА-Центр. 

Тема конференции: "Оценка программ и политик в эпоху кризиса: вызовы и возможности". Уверен, что будет интересно. Не пропустите!

Какими качествами должен обладать член правления ассоциации специалистов по оценке

В свое время С.Н.Паркинсон в своих "законах" предложил весьма эффективный подход к написанию объявлений о вакансиях. Он рекомендовал формулировать требования к кандидату таким образом, чтобы пришел один и самый подходящий человек. К примеру, это может выглядеть так:
"Требуется археолог высокой квалификации, готовый провести пятнадцать лет на раскопках инкских захоронений в поселке Геенна, на Аллигаторовой реке. По окончании работ обеспечен титул или орден. Пенсия полагается, но ни разу не понадобилась. Оклад – 2000 фунтов в год. Заявление в трех экземплярах подавать директору Норокопательного института, Гроб, Иллинойс, США".
Здесь и дурные и хорошие стороны строго уравновешены. Нет нужды уточнять, что от соискателя требуются терпение, упорство и смелость. Сами условия отсекают всех не обладающих этими свойствами. Нет нужды писать, что нужен одинокий человек. Нет нужды оговаривать, что он должен быть помешан на раскопках, – никто, кроме помешанных, и не откликнется. Их может быть трое, но для двоих оплата окажется слишком низкой. Третьего привлечет награда. По-видимому, если мы предложим орден св. Михаила, заинтересуются двое, а если предложим орден Британской империи, не заинтересуется никто. В нашем же случае заявление будет одно. Соискатель не в своем уме, но это неважно. Именно он нам и требуется".
(Сирил Норткот Паркинсон, "Законы Паркинсона", 2014)
Эту блестящую идею напомнило мне сегодняшнее письмо с приглашением номинировать кандидатов в Правление Американской ассоциации оценки (ААО):
"Работать в Правлении ААО может любой член ААО (включая как граждан США, так и граждан других стран). Вновь избранные члены Правления будут работать в этом качестве три года, начиная с 1 января 2017 и ежегодно посещать три заседания Правления. Каждый член Правления участвует в работе Правления на регулярной основе, посещая заседания Правления, активно участвуя в работе Правления, переписке по электронной почте, рабочих группах и комитетах разного рода. Расходы на личное участие в двух заседаниях Правления покрываются ААО. Третье заседание проводится в период проведения ежегодной конференции ассоциации, поэтому покрытие расходов в этом случае ограничивается оплатой отеля за два дополнительных дня и соответствующих расходов на питание, связанных с посещением заседания Правления...
При отборе кандидатов учитывается:
- их предыдущая работа в Ассоциации (буквально там сказано "служение", а не работа)
- другие вклады кандидатов в развитие профессии и их служение профессии,
- доступность кандидатов (см. ниже).
Кандидаты должны дать согласие на участие во деятельности Правления в течение трех лет, а также письменно подтвердить:
- возможность и желание принять участие в трех ежегодных заседаниях Правления,
- доступность для периодических телеконференций Правления,
- понимание, что члены Правления не могут получать никаких наград ААО,
- согласие следовать всем политикам ААО, относящимся к обязанностям членов Правления".