Индикаторы науки и технологии...прошлого века?

Вышла в свет новая книга: Осипов Г.В., Климовицкий С.В. Индикаторы науки и технологии: история, методология, стандарты измерения / Научный совет по Программе фундаментальных исследований Президиума Российской Академии наук «Экономика и социология науки и образования» / [Г.В. Осипов, С.В. Климовицкий]. — М.: ЦСП и М, 2014. — 180 с.

В аннотации говорится, что "в данной книге рассматриваются вопросы измерения научной и технологической деятельности на основании опыта международных измерений ОЭСР. В работе содержится исторический обзор развития научной статистики и индикаторов науки и технологии и систематизированы общие стандарты измерения и проведения обследований социологов, обсуждаются основные принципы и модели измерения, обобщены. Для, экономистов, статистиков". Думаю, справедливо будет добавить: "и для специалистов по оценке программ и политик".

Авторы во введении поясняют, что "настоящее издание ... ставит своей задачей обобщение и систематизацию существующей международной практики измерения научно-технологической деятельности, а также ее критический анализ с целью выявления присущих этой практике недостатков". 

В связи с таким посылом меня несколько удивил список литературы, которая использовалась при подготовке данной книги. Список солидный, в нем 98 позиций. Все публикации зарубежные, и все датированы прошлым веком - от самого его начала до 90-х годов. Исключение составляют 12 публикаций одного и того же автора - Бенуа Годин (Benoit Godin), которые имеют статус working papers и опубликованы с 2000 по 2006 гг. в рамках Проекта по истории и социологии статистики науки и технологии (Project on the History and Sociology of S&T Statistics). Таким образом, только что вышедшая в свет книга опирается преимущественно на публикации 15-20-летней (и более) давности и представляет собой взгляд на проблему из 20 века. Мне как-то не верится, что Бенуа Годин был единственным исследователем, который занимался индикаторами науки и технологии в 21 веке. 

Получается, что систематизация и анализ современной международной практики остались вне поля зрения авторов данной книги? Интересно, почему? 

Еще один пример манипулирования значениями показателей

Любопытная иллюстрация закона Кемпбэлла в блоге Алексея Крушельницкого. Судя по комментариям к этой записи, достоверность приведенного примера ни у кого не вызывает сомнений.
"Один из главных критериев, по которым оцениваются университеты - это количество научных статей в престижных научных международных журналах. Чтобы их было больше, нужно иметь высококлассные научные кадры, нужно иметь современное научное оборудование, нужно иметь вообще современную научную инфраструктуру. Создавать и растить все это - очень долго, дорого и муторно. А показатели нужны прямо сейчас. Что делаем? Правильно, мухлюем. Мы просто будем покупать у забугорных коллег за 500 евро в месяц статьи (точнее то, чтобы наш университет туда вставили), которыми потом будем отчитываться - вот, мол, смотрите, как на глазах растет российская наука. Хотя российская наука как таковая к этому никакого отношения иметь по сути не будет".

Как избежать конфликта интересов при проведении экспертной оценки

Сегодня Газета.ру опубликовала заявление академика Валерия Рубакова о том, что оценку эффективности научных организаций следует проводить с участием зарубежных экспертов. Обязательным требованием при этом, по мнению Рубакова, является отсутствие у экспертов конфликта интересов. Говорят, что предложения по методике оценки направлены в Федеральное агентство научных организаций.
Наш опыт показывает, что при попытке привлечь лучших специалистов к проведению экспертной оценки очень часто оказывается, что все лучшие имеют потенциальный конфликт интересов. Очевидно, например, что лучшие эксперты по работе научных учреждений находятся именно в научных учреждениях. Поэтому использование внешних (в данном случае - зарубежных) экспертов вполне оправдано, на мой взгляд.

Перечень как показатель

Опубликовано Постановление Правительства РФ №979 от 01.11.13 об оценке результативности деятельности научных организаций. В качестве приложения к указанному постановлению опубликованы показатели оценки упомянутой выше результативности. Таким образом, появилась еще одна сфера деятельности, где оценивание регламентировано официальным документом высокого уровня. Интересно, что в преамбуле к Постановлению (стр.3) делается акцент на разведении "мониторинга" и "оценки".
Под оценкой понимается вынесение один раз в пять лет суждения о результативности деятельности научной организации (это моя трактовка, четкого определения понятия "оценка" в документе я не нашел). По итогам оценки научная организация может быть отнесена к одной из 3-х категорий. Включение в 3 категорию - это очень плохая новость для организации,

Оценка эффективности работы научных учреждений

Отличная статья в Газете.ру про оценку эффективности работы научных учреждений. Автор разобрался в вопросе и не ограничился ставшей традиционной критикой реформы РАН. Очень содержательная статья. Затрагивается в ней и тема методологии оценки на основе показателей. В частности, академик Паршин утверждает: «Как только вы начинаете оценивать какой-то содержательный процесс по формальному показателю, так довольно быстро целью процесса становится не та содержательная деятельность, которую вы оцениваете, а стремление любой ценой увеличить этот показатель». Кому из специалистов по оценке этот тезис не знаком?
Оценка - альфа дисциплина, однозначно!