четверг, 31 октября 2013 г.

78 вопросов

Знакомился с документами по одной программе и обнаружил задание на проведение оценки, в котором 78(!) вопросов. Это рекорд, больше я еще не видел. 

четверг, 24 октября 2013 г.

Оценка как альфа-дисциплина

В последние годы в профессиональных кругах активно обсуждается постулат Майкла Скривена о том, что оценка является "царицей" других дисциплин или альфа-дисциплиной.Не стала исключением и прошедшая на прошлой неделе конференция Американской ассоциации оценки в Вашингтоне, где Скривен присутствовал и выступал. Он считает, что пришло время «перевести оценку из статуса уважаемой дисциплины в статус альфа-дисциплины. Альфа-дисциплина – это та, что преобладает над другими, в данном случае – имеет ключи к царству других дисциплин. У оценки (evaluation - АК) есть такое свойство, поскольку все дисциплины полностью зависят от их легитимности и от качества их внутридисциплинарной оценки, т.е. от их способности отличить хорошее от плохого в отношении теорий, данных, гипотез, объяснений…, составляющих основу любой дисциплины. Классические дисциплины переживают в этом отношении не лучшие времена, что подтверждается непрекращающимися скандалами по поводу подтасовки результатов в сферах анестезиологии; клинических испытаний лекарственных препаратов; распределения финансовых средств…» (перевод мой - АК)

понедельник, 21 октября 2013 г.

Новая методика оценки эффективности ВУЗов

Вчера в электронных "Известиях" была опубликована информация о том, что министерство образования РФ в в ближайшие дни "утвердит методику расчета показателей трудоустройства выпускников вузов. Эти критерии являются основными при оценке эффективности вузов. Согласно проекту данного решения Министерства образования, ведомство Ливанова будет рассчитывать эффективность вузов на основании данных службы занятости". То есть, при определении количества трудоустроившихся в расчет будут брать только тех выпускников, кто обратился за помощью в службу занятости.

Если эта информация  верна, то для получения высоких оценок ВУЗам будет необходимо сделать так, чтобы (в идеале) все обратившиеся в службу занятости выпускники были трудоустроены. Остальные выпускники в данном случае нас не интересуют. Неважно, судя по публикации, и то, по какой специальности они трудоустраиваются. В этой ситуации маленьким ВУЗам, у которых выпускников меньше, будет легче контролировать их трудоустройство, а, значит, легче будет получить высокую оценку.
Соответственно, ВУЗам можно предпринять следующие шаги:
1) Принимать в ВУЗ только тех, кто уже имеет гарантии трудоустройства. Нет гарантий - свободен!
2) В принудительном порядке направлять в службу занятости лучших выпускников, которые с высокой вероятностью устроятся на работу. Запретить им искать работу самостоятельно. Также в обязательном порядке требовать трудоустройство через службу занятости для тех, у кого при поступлении были гарантии (т.е. кто уже знал, где будет работать).
3) Создать систему гарантированного временного трудоустройства для выпускников. Например, учредить при ВУЗе несколько компаний и временно принимать туда всех, кто не успевает устроиться в оговоренный методикой оценки срок. Можно также обеспечивать рабочей силой дружественные компании. Только обязательно через службу занятости, с которой можно заключить соответствующий контракт. Пусть выпускники ищут работу по специальности, а пока можно будет их использовать для нужд "альма матер" и дружественных компаний на любой работе. И показатель будет высоким. Оформить, кстати, можно и по специальности. Потом, если что, - уволить по окончании испытательного срока (это после замера эффективности ВУЗа надо делать, естественно).
4) Внимательно изучить, как будут регистрировать факт трудоустройства в службе занятости и посмотреть, что еще можно сделать, чтобы трудоустройство гарантировать.

В целом, мне кажется, что использование числа трудоустроившихся через службу занятости выпускников - не очень удачный индикатор эффективности ВУЗа, если он действительно будет основным или единственным. Если же он будет использоваться наряду с другими показателями, то почему бы и нет? Только надо все-таки обязательно смотреть на трудоустройство всех выпускников, а не только тех, кто в службу занятости пошел. А то выборка явно не репрезентативная получается. 

Масштабы конференции

Так выглядели пленарные сессии. Чтобы весь зал сфотографировать, нужна была бы панорамная съемка. И все эти люди занимаются оценкой на постоянной основе, являются членами национальной ассоциации, приезжают на конференции, ведут исследования, пишут статьи и книги, учат студентов... На конференции в этом году была примерно треть членов Американской ассоциации оценки. Всего сейчас около 9 тысяч человек в ассоциации. На порядок больше людей вовлечено в индустрию оценки в США. Счет идет на десятки, если не на сотни, тысяч. 
PS Белая вертикальная полоса на фотографиях - это дефект моего фотоаппарата, а не Вашего компьютера :) 

воскресенье, 20 октября 2013 г.

Развитие качественных методов исследования в начале 21-го века

Одно из самых интересных выступлений, которые мне удалось послушать на конференции Американской ассоциации оценки в Вашингтоне, было посвящено тенденциям развития качественных методов исследований и оценки. Майкл Пэттон - один из самых цитируемых в мире авторов, которые пишут о качественных методах исследований. Вот его список 10-ти основных направлений развития качественных методов (не в порядке значимости) - информация к размышлению.
1. Целесообразная (целенаправленная) выборка - существенное расширение спектра возможных подходов к формированию выборки (Пэттон настаивает на термине "целенаправленная"/purposeful в противоположность термину "целевая"/purposive, который, по его мнению, менее информативен, но более распространен в специальной литературе).
2. Личностный фактор: исследователь или специалист по оценке как инструмент качественного исследования (компетенции, опыт, экспертиза и т.д.)
3. Значимость глубокого понимания контекста.
4. Качественная оценка как воздействие.
5. Влияние практики и запросов пользователей на развитие методологии качественного исследования.
6. Визуализация данных.
7. Использование смешанных методов.
8. Этика качественного исследования.
9. Социальные сети как источник данных, средство сбора данных и способ распространения результатов.
10. Специализированное программное обеспечение (внимание: компьютер помогает организовать данные, но извлекать смыслы все равно надо человеку).

пятница, 18 октября 2013 г.

3500 участников

На конференции Американской ассоциации в этом году 3500 участников. Официальные мероприятия начинаются в 7 утра и заканчиваются около 9 вечера. Потом - неофициальные мероприятия :) Поэтому времени поделиться впечатлениями в блоге не остается.
Пока хочу отметить три темы:
1) Тут в литературе и в выступлениях очень часто используется термин evaluative thinking ("оценочное мышление" или что-то вроде того). Вчера был на сессии, где рассказывали о результатах исследования, в котором приняли участие ведущие теоретики США в сфере оценки. Целью исследования было сформулировать определение указанного выше понятия. Итог: консенсуса по этому поводу пока нет, хотя всем участникам было интересно.
2) Был на сессии  по использованию анализа социальных сетей в оценке. Очень полезно оказалось с технической точки зрения. Думаю, что мы обязательно и дальше будет этим методом пользоваться, и к следующей конференции IPEN в Бишкеке я  постараюсь подготовить семинар небольшой, чтобы более подробно об АСС рассказать.
3) Майкл Пэттон рассказал о состоянии развивающей оценки в начале 21 века. Краткое резюме. Довольно многие специалисты говорят, что используют этот подход. "Заходят" они туда по-разному. Кто-то из системного подхода, кто-то из инноваций и т.д. Главное в развивающей оценке - соблюдение некоторых базовых принципов. Вероятно, не все, кто использует развивающую оценку, соблюдают эти принципы. Но это нормально. Главное - обмениваться опытом, учиться друг у друга. А жизнь расставит все по своим местам со временем. 

среда, 16 октября 2013 г.

Семинар Jane Davidson. День 2.

Ну вот, теперь ознакомился с подходом из первоисточника. Многие вещи полностью совпадают с тем, как мы работаем: необходимость формулирования хороших вопросов в задании, необходимость аргументирования ответов на основе полученных данных, подход к написанию отчета (общие принципы), осторожность в выработке рекомендаций. Сами по себе оценочные шкалы считаю полезным изобретением в контексте оценки. Думаю, это пригодится нам.

Не совпадает:

вторник, 15 октября 2013 г.

PS К записи от 13 октября

Вчера Майкл Пэттон опубликовал в блоге Американской ассоциации оценивания заметку со следующим названием: "Как использовать программу конференции в качестве источника информации о тенденциях развития оценки" Гуру весьма инструментален в своих размышлениях, и он прав: онлайновая программа конференции с различными опциями для поиска действительно позволяет понять, с чем народ приехал. А это при участии 3000 человек со всего мира отражает тенденции развития нашей дисциплины.

Семинар Jane Davidson. День 1.

Давно слежу за публикациями и выступлениями Jane Davidson из Новой Зеландии. Безусловно, она в оценке стала звездой мировой величины. Потому решил посетить ее двухдневный семинар. У нее еще очень приятная манера работы с группой, потому участвовать в семинаре - одно удовольствие. У Джейн много статей, доступных в онлайне бесплатно. В частности, у нее есть свой сайт (англ.).
Самым интересным для меня оказалось то, как Джейн трактует оценку программ. Она училась у Майкла Скривена и, как мне кажется, очень последовательно и удачно превратила его теоретические построения в практическую модель проведения оценки. При этом апофеозом оценки для Джейн являются ответы на вопросы задания в формате оценочных шкал (термин "оценочные шкалы" предложен Натальей Кошелевой как перевод термина rubrics, используемого Джейн). Джейн говорит, что только так надо делать оценку. Вот здесь получается некоторое расхождение между ее (и Скривена) трактовкой того, что такое "правильная" оценка, и тем, как оценку понимают очень многие другие специалисты, включая Майкла Пэттона.

воскресенье, 13 октября 2013 г.

Конференция в Вашингтоне

В этом году тема конференции - "Состояние практики оценки в начале 21 века". Хорошая тема! Хотя, на мой взгляд, конференции Американской ассоциации оценки ценны именно тем, что каждый год на них можно узнать о текущем состоянии и теории, и практики оценки. Сюда приезжает большинство ведущих ученых и практиков со всего мира. Есть, кого послушать и у кого поучиться. В этом году впервые ожидается, что число участников перевалит за 3000. Завтра начинаются семинары. Собственно конференция откроется в среду.