Методика анализа и оценки магистерских программ от ТГУ

В Томском государственном университете при поддержке Фонда Потанина реализован проект "Разработка методики анализа и оценки магистерских программ". Результат проекта - коллективная монография под ред. Е.А.Сухановой, размещенная в открытом доступе на сайте ТГУ.

В монографии обсуждаются существующие подходы к анализу и оценке качества магистерских программ; обосновывается модель оценки эффективности, положенная в основу новой методики; описывается процесс формирования и апробации методики; даются рекомендации по ее использованию. Для интересующихся деталями приводится матрица критериев и показателей методики анализа эффективности магистерских программ.

Авторы предлагают рассматривать методику как "инструмент "второго уровня" в процессе управления развитием программы. Это не инструмент для мониторинга качества. Мы исходим из того, что у реализуемых магистерских программ постулированы образовательные результаты и они достигаемы. А вот насколько эти результаты востребованы рынками, капитализированы выпускниками, отражаются в продуктах магистратуры (исследованиях, стартапах, сетях и т.д.) – это задача анализа эффективности".

Методику рекомендуется применять после первого полного цикла реализации программы и далее ежегодно.

Методика позволяет "оценить эффективность образовательной программы по трем категориям: удовлетворенность, результативность, актуальность.
1. Удовлетворенность – субъективная качественная оценка выпускниками содержания, технологий, результатов образовательной программы и ее влияния на карьерный рост.
2. Результативность – объективная и субъективная качественная и количественная оценка влияния образовательной программы на образовательные результаты, социальную и карьерную траекторию выпускников. Респондентами являются выпускники и работодатели, используются также статистические показатели.
3. Актуальность – объективная и прогностическая качественная оценка работодателями и экспертными группами субъектов социально-экономического и технологического развития целевых установок и образовательных продуктов программы глобальной, национальной и региональной повестке".

Публикация, вне всякого сомнения, весьма актуальная и может представлять интерес не только для тех, кто занимается оценкой в сфере образования.

PS Мне показалось, что с текстом монографии следовало бы еще поработать и редактору, и корректору: не всегда с первого раза удается понять, о чем речь (см., к примеру, описание оценки актуальности в приведенной выше цитате), и довольно много опечаток, что досадно.  

Оценка программ: методика, метод, методология

Начну с цитаты из статьи Афанасьева М.П. и Шаш Н.Н. "ИНСТРУМЕНТАРИЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ БЮДЖЕТНЫХ ПРОГРАММ":

"В современных условиях в связи с переходом на программно-целевое бюджетирование необычайную актуальность приобретает проблема качественного улучшения различных видов бюджетных программ, реализуемых в Российской Федерации. Всегда ли программные мероприятия достигают своих целей? какие результаты мы получаем? как нам следует усовершенствовать программные документы? Получить достоверный ответ на эти вопросы можно лишь при условии использования эффективного инструментария оценки, что требует разработки и внедрения оценочных методов и процедур, позволяющих наиболее адекватно измерить результаты в ходе реализации программ.

Несмотря на стратегическую важность данной проблемы, и по сей день ни в российской, ни в зарубежной практике не создано единой методики, позволяющей построить систему оценки эффективности реализуемых бюджетных программ разного уровня (курсив мой - АК)".

Надо отметить, что тема необходимости разработки единой методики возникает очень часто, как только речь заходит об оценке чего-либо, например, 

• об оценке эффективности деятельности органов местного самоуправления,
• об оценке эффективности использования средств господдержки,
• об оценке эффективности налоговых льгот.

Список можно было бы легко продолжить. Чем же так привлекательна идея "единой методики оценки"? Когда объекты оценки однотипны; вопрос, на который призвана ответить оценка, один и тот же, а результаты оценки разных объектов необходимо сравнивать либо между собой, либо с какими-то нормативами или стандартами, единый алгоритм оценки (или единая методика) совершенно необходим. Словарь определяет методику как "установленный способ осуществления деятельности; готовый «рецепт», алгоритм, процедуру для проведения каких-либо нацеленных действий".  

Использование результатов оценки: есть ли шанс что-то улучшить? (видео)

В марте прошлого года меня пригласили выступить на конференции, которая проводится раз в два года для специалистов по оценке Международной организации труда. Получилось так, что моё выступление услышал Гийом Мерсье (Guillaume Mercier), старший менеджер программ Международного тренингового центра Международной организации труда (ITC ILO). Гийом предложил сделать короткую онлайновую версию этого выступления. Все, что потребовалось от меня, - это скомпоновать 20-минутную презентацию (вместо 1,5 часов) и рассказать на камеру. Остальную работу сделал Гийом, за что ему огромное спасибо!!! Содержание, конечно, можно обсуждать и критиковать, но видео получилось красоты неземной, тут двух мнений быть не может :)  Приглашаю всех желающих посмотреть (англ.язык).

Сообщение на русском языке на ту же тему было представлено на последней конференции АСОПП. Видео нет, но презентацию можно посмотреть и скачать.

Допущения

Сегодня в новостных лентах прошла информация о том, что спикер Совета Федерации Валентина Матвиенко предлагает оценивать решения, принимаемые правительством страны и депутатами, на основании того, как они влияют на уровень счастья россиян. В пример она привела Объединенные Арабские Эмираты, где было создано министерство счастья и благосостояния. «Любое решение, которое готовит правительство, проходит экспертизу этого министерства на предмет того, будет ли лучше людям от этого, будут ли они более счастливы», — отметила Матвиенко на встрече с женщинами — участницами конкурса «Лидеры России», ее слова приводит «Интерфакс». По мнению спикера Совета Федерации, в России было бы полезно внедрить экспертизу, которая бы показывала, как каждое действие чиновников и депутатов скажется на счастье людей.

Если мысль Валентины Ивановны изложена без искажений, то она основана на двух допущениях: 

1) Любое решение чиновников или депутатов влияет на счастье людей.

2) Все решения, которые принимают чиновники или депутаты, должны делать людей более счастливыми. 

Мне кажется, что оба допущения - спорные.