В Казахстане оценили программу "Болашак"

Программа "Болашак" была инициирована президентом Казахстана Нурсултаном Назарбаевым 5 ноября 1993 года для подготовки кадров в престижных иностранных высших учебных заведениях. За прошедшие 20 лет в программе приняли участие около 10 тысяч человек. 

Приятно отметить, что в Казахстане не только провели оценку такой заметной и значимой для страны программы, но и организовали специальную конференцию, на которой были представлены и обсуждены результаты этой оценки. К сожалению, в интернет-изданиях дается очень сжатая информация. Однако даже на основании этой информации можно сделать вывод о том, что казахстанские коллеги сделали еще один шаг на пути к доказательному менеджменту в государственном управлении. 

Я слышал раньше об этой программе и не раз встречал ее выпускников - весьма профессиональных людей, работающих на ответственных позициях в органах государственного управления. Но я не представлял масштабов этой программы. 10000 человек, обученных в хороших зарубежных вузах за 20 лет - это серьезно. Естественно, и оценка такой программы - задача не из простых. 

Мне понравилось, что критикам программы, использующим эмоциональные и не вполне корректные доводы типа "они (выпускники программы) изучали английский язык в пивбарах" противопоставляется весьма убедительная аргументация, основанная на результатах изучения карьеры выпускников, отзывах самих выпускников, их работодателей и экспертов. Тем самым дискуссия переводится из эмоционального в профессиональный план, что очень отрадно.

Если бы я участвовал в обсуждении результатов оценки, я, наверное, задал бы следующие вопросы: 

- В какой мере оправдались ожидания от программы? Получился ли тот эффект,  на который рассчитывали? 

- Каковы сильные и слабые стороны программы? 

- Каковы возможности совершенствования программы?

И есть один вопрос методологического свойства. Как пишут в интернете, "оценка проводилась институтом общественной политики при казахстанской партии власти "Нур Отан". Вопрос заключается в том, в какой мере использованная методология позволила получить непредвзятые результаты, отражающие реальное положение вещей. Упоминание "вредных, критически настроенных экспертов", которые привлекались для оценки программы, меня не вполне удовлетворило в этом плане. Было бы интересно узнать детали. Но это, если бы была такая возможность. 

А пока хочу еще раз поздравить казахстанских коллег с очередным успехом на пути практического внедрения оценки программ. Они это ДЕЛАЮТ, а не ГОВОРЯТ о необходимости оценки.

78 вопросов

Знакомился с документами по одной программе и обнаружил задание на проведение оценки, в котором 78(!) вопросов. Это рекорд, больше я еще не видел. 

Оценка как альфа-дисциплина

В последние годы в профессиональных кругах активно обсуждается постулат Майкла Скривена о том, что оценка является "царицей" других дисциплин или альфа-дисциплиной.Не стала исключением и прошедшая на прошлой неделе конференция Американской ассоциации оценки в Вашингтоне, где Скривен присутствовал и выступал. Он считает, что пришло время «перевести оценку из статуса уважаемой дисциплины в статус альфа-дисциплины. Альфа-дисциплина – это та, что преобладает над другими, в данном случае – имеет ключи к царству других дисциплин. У оценки (evaluation - АК) есть такое свойство, поскольку все дисциплины полностью зависят от их легитимности и от качества их внутридисциплинарной оценки, т.е. от их способности отличить хорошее от плохого в отношении теорий, данных, гипотез, объяснений…, составляющих основу любой дисциплины. Классические дисциплины переживают в этом отношении не лучшие времена, что подтверждается непрекращающимися скандалами по поводу подтасовки результатов в сферах анестезиологии; клинических испытаний лекарственных препаратов; распределения финансовых средств…» (перевод мой - АК)

Новая методика оценки эффективности ВУЗов

Вчера в электронных "Известиях" была опубликована информация о том, что министерство образования РФ в в ближайшие дни "утвердит методику расчета показателей трудоустройства выпускников вузов. Эти критерии являются основными при оценке эффективности вузов. Согласно проекту данного решения Министерства образования, ведомство Ливанова будет рассчитывать эффективность вузов на основании данных службы занятости". То есть, при определении количества трудоустроившихся в расчет будут брать только тех выпускников, кто обратился за помощью в службу занятости.

Если эта информация  верна, то для получения высоких оценок ВУЗам будет необходимо сделать так, чтобы (в идеале) все обратившиеся в службу занятости выпускники были трудоустроены. Остальные выпускники в данном случае нас не интересуют. Неважно, судя по публикации, и то, по какой специальности они трудоустраиваются. В этой ситуации маленьким ВУЗам, у которых выпускников меньше, будет легче контролировать их трудоустройство, а, значит, легче будет получить высокую оценку.

Соответственно, ВУЗам можно предпринять следующие шаги:

1) Принимать в ВУЗ только тех, кто уже имеет гарантии трудоустройства. Нет гарантий - свободен!
2) В принудительном порядке направлять в службу занятости лучших выпускников, которые с высокой вероятностью устроятся на работу. Запретить им искать работу самостоятельно. Также в обязательном порядке требовать трудоустройство через службу занятости для тех, у кого при поступлении были гарантии (т.е. кто уже знал, где будет работать).
3) Создать систему гарантированного временного трудоустройства для выпускников. Например, учредить при ВУЗе несколько компаний и временно принимать туда всех, кто не успевает устроиться в оговоренный методикой оценки срок. Можно также обеспечивать рабочей силой дружественные компании. Только обязательно через службу занятости, с которой можно заключить соответствующий контракт. Пусть выпускники ищут работу по специальности, а пока можно будет их использовать для нужд "альма матер" и дружественных компаний на любой работе. И показатель будет высоким. Оформить, кстати, можно и по специальности. Потом, если что, - уволить по окончании испытательного срока (это после замера эффективности ВУЗа надо делать, естественно).
4) Внимательно изучить, как будут регистрировать факт трудоустройства в службе занятости и посмотреть, что еще можно сделать, чтобы трудоустройство гарантировать.

В целом, мне кажется, что использование числа трудоустроившихся через службу занятости выпускников - не очень удачный индикатор эффективности ВУЗа, если он действительно будет основным или единственным. Если же он будет использоваться наряду с другими показателями, то почему бы и нет? Только надо все-таки обязательно смотреть на трудоустройство всех выпускников, а не только тех, кто в службу занятости пошел. А то выборка явно не репрезентативная получается. 

Масштабы конференции

Так выглядели пленарные сессии. Чтобы весь зал сфотографировать, нужна была бы панорамная съемка. И все эти люди занимаются оценкой на постоянной основе, являются членами национальной ассоциации, приезжают на конференции, ведут исследования, пишут статьи и книги, учат студентов... На конференции в этом году была примерно треть членов Американской ассоциации оценки. Всего сейчас около 9 тысяч человек в ассоциации. На порядок больше людей вовлечено в индустрию оценки в США. Счет идет на десятки, если не на сотни, тысяч. 

PS Белая вертикальная полоса на фотографиях - это дефект моего фотоаппарата, а не Вашего компьютера :) 

Развитие качественных методов исследования в начале 21-го века

Одно из самых интересных выступлений, которые мне удалось послушать на конференции Американской ассоциации оценки в Вашингтоне, было посвящено тенденциям развития качественных методов исследований и оценки. Майкл Пэттон - один из самых цитируемых в мире авторов, которые пишут о качественных методах исследований. Вот его список 10-ти основных направлений развития качественных методов (не в порядке значимости) - информация к размышлению.
1. Целесообразная (целенаправленная) выборка - существенное расширение спектра возможных подходов к формированию выборки (Пэттон настаивает на термине "целенаправленная"/purposeful в противоположность термину "целевая"/purposive, который, по его мнению, менее информативен, но более распространен в специальной литературе).
2. Личностный фактор: исследователь или специалист по оценке как инструмент качественного исследования (компетенции, опыт, экспертиза и т.д.)
3. Значимость глубокого понимания контекста.
4. Качественная оценка как воздействие.
5. Влияние практики и запросов пользователей на развитие методологии качественного исследования.
6. Визуализация данных.
7. Использование смешанных методов.
8. Этика качественного исследования.
9. Социальные сети как источник данных, средство сбора данных и способ распространения результатов.
10. Специализированное программное обеспечение (внимание: компьютер помогает организовать данные, но извлекать смыслы все равно надо человеку).

3500 участников

На конференции Американской ассоциации в этом году 3500 участников. Официальные мероприятия начинаются в 7 утра и заканчиваются около 9 вечера. Потом - неофициальные мероприятия :) Поэтому времени поделиться впечатлениями в блоге не остается.
Пока хочу отметить три темы:
1) Тут в литературе и в выступлениях очень часто используется термин evaluative thinking ("оценочное мышление" или что-то вроде того). Вчера был на сессии, где рассказывали о результатах исследования, в котором приняли участие ведущие теоретики США в сфере оценки. Целью исследования было сформулировать определение указанного выше понятия. Итог: консенсуса по этому поводу пока нет, хотя всем участникам было интересно.
2) Был на сессии  по использованию анализа социальных сетей в оценке. Очень полезно оказалось с технической точки зрения. Думаю, что мы обязательно и дальше будет этим методом пользоваться, и к следующей конференции IPEN в Бишкеке я  постараюсь подготовить семинар небольшой, чтобы более подробно об АСС рассказать.
3) Майкл Пэттон рассказал о состоянии развивающей оценки в начале 21 века. Краткое резюме. Довольно многие специалисты говорят, что используют этот подход. "Заходят" они туда по-разному. Кто-то из системного подхода, кто-то из инноваций и т.д. Главное в развивающей оценке - соблюдение некоторых базовых принципов. Вероятно, не все, кто использует развивающую оценку, соблюдают эти принципы. Но это нормально. Главное - обмениваться опытом, учиться друг у друга. А жизнь расставит все по своим местам со временем. 

Семинар Jane Davidson. День 2.

Ну вот, теперь ознакомился с подходом из первоисточника. Многие вещи полностью совпадают с тем, как мы работаем: необходимость формулирования хороших вопросов в задании, необходимость аргументирования ответов на основе полученных данных, подход к написанию отчета (общие принципы), осторожность в выработке рекомендаций. Сами по себе оценочные шкалы считаю полезным изобретением в контексте оценки. Думаю, это пригодится нам.

Не совпадает:

PS К записи от 13 октября

Вчера Майкл Пэттон опубликовал в блоге Американской ассоциации оценивания заметку со следующим названием: "Как использовать программу конференции в качестве источника информации о тенденциях развития оценки" Гуру весьма инструментален в своих размышлениях, и он прав: онлайновая программа конференции с различными опциями для поиска действительно позволяет понять, с чем народ приехал. А это при участии 3000 человек со всего мира отражает тенденции развития нашей дисциплины.

Семинар Jane Davidson. День 1.

Давно слежу за публикациями и выступлениями Jane Davidson из Новой Зеландии. Безусловно, она в оценке стала звездой мировой величины. Потому решил посетить ее двухдневный семинар. У нее еще очень приятная манера работы с группой, потому участвовать в семинаре - одно удовольствие. У Джейн много статей, доступных в онлайне бесплатно. В частности, у нее есть свой сайт (англ.).
Самым интересным для меня оказалось то, как Джейн трактует оценку программ. Она училась у Майкла Скривена и, как мне кажется, очень последовательно и удачно превратила его теоретические построения в практическую модель проведения оценки. При этом апофеозом оценки для Джейн являются ответы на вопросы задания в формате оценочных шкал (термин "оценочные шкалы" предложен Натальей Кошелевой как перевод термина rubrics, используемого Джейн). Джейн говорит, что только так надо делать оценку. Вот здесь получается некоторое расхождение между ее (и Скривена) трактовкой того, что такое "правильная" оценка, и тем, как оценку понимают очень многие другие специалисты, включая Майкла Пэттона.