четверг, 30 июня 2016 г.

Защита магистерских работ по оценке

Сегодня в МГППУ прошла защита магистерских работ по программе «Проектирование психолого-педагогической деятельности в негосударственных организациях». Две работы были посвящены оценке:
  • «Модель оценки инициатив по социализации подростков с умственной отсталостью» (автор - Маргарита Воронцова)
  • «Прогностическая оценка программ поддержки семей с детьми с ограниченными возможностями здоровья» (автор - Лариса Бурдасова)
Обе работы успешно защищены. Рассчитываю, что в ближайшее время коллеги напишут статьи для нашего журнала. Им точно есть, чем поделиться. 

Пока же хотел бы поздравить Маргариту и Ларису, а также всех их сокурсников и сокурсниц с удачной защитой! На мой взгляд, самых добрых слов и искренних поздравлений заслуживают также инициаторы и кураторы магистерской программы «Проектирование психолого-педагогической деятельности в негосударственных организациях». С первым выпуском!!!

вторник, 14 июня 2016 г.

Будущее оценки

В Архангельске 9-10 июня прошла Всероссийская школа оценки, организованная Информационно-аналитическим центром развития гражданских инициатив (Новосибирск) в партнерстве с Центром "Гарант" (Архангельск) и Ассоциацией специалистов по оценке программ и политик. Одна из сессий, которые было поручено провести мне, называлась "Будущее оценки". Я представил прогноз относительно того, какие 10 изменений в сфере оценки произойдут к 2026 году:
  1. Реальная интеграция проектирования и оценки (практика, теория, образование). 
  2. Повышение степени открытости данных, которые можно использовать в т.ч. для проведения оценки.
  3. Хорошо обоснованные «стандартные» наборы критериев для оценки различных объектов (организаций, видов деятельности, программ, проектов) и их отдельных характеристик.
  4. Расширение использования ИКТ при проведении оценки. 
  5. Преобладание компактного представления результатов оценки, отказ от многостраничных отчетов, новые находки в сфере визуализации данных и результатов оценки.
  6. Рост числа магистерских программ по социальному проектированию и оценке. 
  7. Рост потенциала различных организаций в сфере оценки, развитие внутренней оценки и самооценивания.
  8. Развитие отраслевых подходов к оценке.
  9. Активное международное сотрудничество в сфере оценки в евразийском регионе и за его пределами.
  10. Повышение интереса к оценке как средству контроля и обеспечения прозрачности со стороны политических партий, Государственной Думы, региональных и местных законодательных собраний. 

среда, 8 июня 2016 г.

Историческое событие

Вчера Московский государственный психолого-педагогический университет (МГППУ) объявил об открытии новой магистерской программы, которая будет готовить специалистов по проектированию и оценке.

Магистерская программа «Доказательное проектирование и оценка программ в области управления социальными рисками в сфере детства» (открыта в 2016 году) ориентирована на подготовку специалистов социальных организаций, работающих в сфере помощи детям, подросткам и семьям. Основной акцент при подготовке ставится на овладение технологиями обоснованного социального проектирования. Для того, чтобы идея, направленная на помощь детям, была грамотно и эффективно реализована, специалист должен знать специфику психологии и социологии современного детства, уметь разработать и логически выстроить проект, обосновать адекватность, необходимость и достаточность применяемых для решения поставленных задач методов, найти ресурсы для его реализации, воплотить проект в жизнь, оценить и проанализировать полученные результаты. Именно эти компетенции будут сформированы и реализованы в виде индивидуального проекта в данной программе.
Это первая в России магистерская программа, в названии которой присутствуют слова "оценка программ". Значимость этого события для развития нашей профессии трудно переоценить. Теперь есть место, где можно получить высшее образование в сфере оценки! Обучение бесплатное!

Особо хотел бы отметить, что руководство МГППУ пригласило к сотрудничеству в рамках данной образовательной программы Ассоциацию специалистов по оценке программ и политик (АСОПП) с тем, чтобы представители российского профессионального сообщества приняли участие в разработке программы, преподавании и организации практики для студентов. 

Поздравляю всех нас с таким знаменательным событием! Отдельное спасибо руководству МГППУ и Центру доказательного социального проектирования при МГППУ! Запомним эту дату: 7 июня 2016 года. 

Записаться в список потенциальных магистрантов и получить информацию, необходимую для поступления, можно по ссылке. Дополнительные вопросы высылайте по адресу proektirovaniengo@gmail.com, с темой письма «поступление».

среда, 25 мая 2016 г.

20 лет спустя

Мы провели первую оценку проекта в 1996 году, то есть ровно двадцать лет тому назад. Оценивали совместный проект Американской ассоциации социальных работников (примерно 150 тыс. членов) и вновь созданной Российской ассоциации социальных работников и социальных педагогов. Закончили работу, сдали отчет. Получилось хорошо. Помню, как клиент сказал, что, если такого рода работы нас интересуют, то он готов нас рекомендовать знакомым. Он считал, что спрос на оценку проектов был в тот момент на подъеме. Мы не планировали тогда специализироваться в сфере оценки проектов и программ, а потому поблагодарили его и ... отказались. В течение последующих двух лет произошло несколько событий, которые изменили наше отношение к оценке. Это были, в первую очередь, наше партнерство с британским специалистом в сфере оценки Сарой дел Туфо (Sarah del Tufo) и знакомство с книгой американца Майкла Пэттона (Michael Patton) "Практическая оценка" (Practical Evaluation, 1980). Сара помогла нам заглянуть в мир практической оценки как одного из видов консультирования, а книга Майкла (которую, кстати, Сара нам рекомендовала) позволила увидеть оценку как интереснейшую профессию. Если бы не Сара и Майкл, возможно, мы бы сегодня чем-то другим занимались. Они оба продолжают активно работать, и мы с благодарностью желаем им всего самого доброго!

пятница, 6 мая 2016 г.

Оценка без критериев - не оценка? (фрагмент одной дискуссии)

Уже много лет я подписан на тематический список рассылки на Yahoo Groups. Называется XCEval. Сейчас там около 1200 подписчиков со всего мира. Пишу туда очень редко. Являюсь, скорее, активным читателем. Рабочий язык - английский. Подписаться может любой человек - без ограничений.

На днях Боб Вильямс из Новой Зеландии (очень известный специалист в сфере применения системного мышления в оценке) написал на XCEval о тревожной тенденции, заключающейся в том, что все чаще набор критериев оценки программ определяется заранее как стандартный и не учитывает в должной мере особенностей оцениваемой программы и потребностей заинтересованных сторон. Я поддержал Боба и добавил, что есть еще и тенденция использовать "стандартный" набор вопросов, на которые оценка должна ответить, что создает массу проблем. Далее я поделился нашим опытом проведения оценки (в традиции оценки, ориентированной на практическое использование), когда ключевым моментом, "ядром" задания на проведение оценки являются не критерии, а вопросы, на которые надо ответить. Далеко не все наши технические задания содержали критерии оценки, но все они содержали вопросы. Я написал, что мы избегаем использования понятия "критерий оценки", чтобы сфокусироваться именно на вопросах, которые обсуждаются с Заказчиком, тщательно формулируются и становятся фундаментом для всей последующей работы. 

К своему удивлению, я получил довольно жесткий ответ от Боба. Он вообще не отличается мягкостью в дискуссиях, удивила не жесткость :) Он написал, что моя позиция является чудовищной ошибкой и также отражает некую негативную тенденцию. Основной его тезис был такой: "Без критериев нет оценки". 

Я согласился, что, действительно, без критериев невозможна "оценка, основанная на критериях" (criterion-focused evaluation) - один из видов оценки, но не оценка вообще. Имел я в виду, что есть другие подходы, которые, к примеру, перечислены в книге Майкла Пэттона Utilization Focused Evaluation, 4th ed. (стр. 300-305). Майкл перечисляет 79 видов оценки в зависимости от того, на чем она сфокусирована. Оценка, основанная на критериях, упоминается в числе прочих. 

На это откликнулись сам Боб ("Категорически не согласен!"), а затем еще два очень уважаемых человека - Роберт Пиччиотто (бывший директор Независмой группы оценки Всемирного Банка) и Томас Швандт (один из лидеров Американской ассоциации оценки, бывший редактор American Journal of Evaluation, профессор из Иллинойса, США). Оба джентльмена поддержали Боба. Томас написал, что он присоединяется к группе, в которой считают, что невозможно провести оценку, не имея критериев. Роберт - примерно в том же духе.

Считаю очень примечательным сам факт, что три таких известных человека решили написать по поводу критериев. Это говорит о значимости темы для них. Они далеко не на каждое письмо на XCEval откликаются. Уверен, что они не включились бы, если бы дело было только во мне. Вероятнее всего, это одна из дискуссионных зон в мире оценки, которую я невольно затронул. Интересно! 

Еще два слова о моей позиции по этому вопросу. Я не против критериев как таковых, но не считаю, что они настолько значимы во всех случаях. Гораздо важнее для меня вопросы, на которые надо ответить. 

Примеры критериев: 
- эффективность, 
- устойчивость эффекта. 

Примеры соответствующих вопросов: 
- В какой мере достигнута цель программы? 
- В какой степени эффект программы сохраняется после ее окончания? 

Если меня просят оценить (или даже измерить) эффективность программы, то это мало что говорит само по себе. А вот когда мы формулируем вопрос(ы), тут становится понятно, о чем речь. От вопросов можно уже планировать оценку. А результатом оценки будут ответы на эти вопросы. Главу в отчете можно назвать "Эффективность", но ее содержание должно определяться вопросом, на который надо ответить. Для разных программ, людей, обстоятельств вопросы про эффективность могут сильно отличаться.

пятница, 29 апреля 2016 г.

Самооценивание как составляющая гуманистического подхода к обучению

Гуманистический подход к обучению центрирован на учащемся. Роль учителя - способствовать подлинному усвоению нового, помогать ребенку реализовать потенциал своих индивидуальных возможностей. Эту формулировку я заимствовал из текста Карла Роджерса. На мой взгляд, она очень хорошо отражает сущность гуманистического подхода к обучению. В своей знаменитой статье "Вопросы, которые я бы себе задал, если бы был учителем", Роджерс пишет:

"Вот вопросы, которые я задал бы себе, если бы взял на себя ответственность за детей, к которым пришел в класс, чтобы помочь им учиться:

  1. Умею ли я входить во внутренний мир человека, который учится и взрослеет? Смог ли бы я отнестись к этому миру без предрассудков, без предвзятых оценок, смог ли бы я личностно, эмоционально откликнуться на этот мир? 
  2. Умею ли я позволить самому себе быть личностью и строить открытые, эмоционально насыщенные, неролевые взаимоотношения с моими учениками, отношения, в которых все участники учатся? Хватит ли у меня мужества разделить со своими учениками эту интенсивность наших взаимоотношений?
  3. Сумею ли я обнаружить интересы каждого в моем классе и смогу ли позволить ему или ей следовать этим индивидуальным интересам, куда бы они ни вели?
  4. Смогу ли помочь моим ученикам сохранить живой интерес, любопытство по отношению к самим себе, к миру, который их окружает, — сохранить и поддержать самое дорогое, чем обладает человек?
  5. В достаточной ли степени я сам творческий человек, который сможет столкнуть детей с людьми и с их внутренним миром, с книгами, всеми видами источников знаний — с тем, что действительно стимулирует любознательность и поддерживает интерес?
  6. Смог ли бы я принимать и поддерживать нарождающиеся и в первый момент несовершенные идеи и творческие задумки моих учеников, этих посланников будущих творческих форм учения и активности? Смог ли бы я принять тех творческих детей, которые так часто выглядят беспокойными и не отвечают принятым стандартам в поведении?
  7. Смог ли бы я помочь ребенку расти целостным человеком, чувства которого порождают идеи, а идеи — чувства?"
Такая позиция учителя предполагает, что в плане оценки первичной является способность ученика к самооцениванию, которое приверженцы гуманистического подхода иногда называют "единственной формой значимой оценки".

Вопросы к размышлению: 
  • Можно ли распространить этот принцип на группы и организации? 
  • Можно ли считать, что основной (наиболее значимой) формой оценки в образовательном учреждении, построенном на принципах гуманизма, должно быть самооценивание (в разных формах, естественно)? Речь идет не только и не столько об учениках уже. 

вторник, 26 апреля 2016 г.

Отчет об оценке программы сертификации специалистов по оценке

Канадцы первыми в мире разработали и внедрили в 2009 году систему сертификации специалистов по оценке. Это довольно трудоемкий процесс, занимающий не один месяц. За сертификацию нужно платить. В общем, все по-взрослому. 6-летний опыт программы сертификации специалистов по оценке в Канаде подробно проанализирован в отчете об оценке этой программы, который теперь доступен в онлайне (английский язык, 56 страниц без учета приложений).

В отчете много интересного.  В частности, оказалось, что далеко не все заказчики услуг по оценке в Канаде указывают сертификацию как обязательное или желательное требование к консультантам, которых они нанимают. Объясняют они это тем, что сертифицированных специалистов мало, и можно вообще не найти подходящего. Это создает своего рода замкнутый круг: сертифицированных специалистов мало, поэтому сертификацию клиенты не требуют, поэтому число сертифицированных специалистов не растет.

Авторы дают три рекомендации по совершенствованию программы:
  1. Скорректировать существующее предложение с учетом потребностей заказчиков услуг по оценке.
  2. Повысить прозрачность существующего процесса сертификации. 
  3. Четко сформулировать, в чем состоит ценность сертификации для специалистов по оценке и потребителей их услуг.