Театр метрик

На днях попалась статья (англ.) с интересной метафорой «театр метрик». В контексте бизнеса это выглядит так: сотрудники и менеджеры начинают "ставить спектакль" для отчетности, где главные зрители — это высшее руководство или акционеры. Цель — показать красивые цифры в дашбордах, часто в ущерб истинным целям компании.

Характерные признаки "театра метрик":

1. Подмена цели. Метрика из инструмента для оценки прогресса становится самой целью. Пример: не "сделать клиентов счастливыми", а "повысить NPS до 50 баллов" любыми способами (включая навязчивые просьбы поставить оценку).
2. Оптимизация ради отчета. Работа ведется так, чтобы улучшить показатель в отчете, а не решить проблему пользователя.
3. Игра с формулами. Постоянные споры о том, как именно считать метрику, чтобы цифра выглядела лучше, вместо улучшения самого процесса.
4. Локальная оптимизация. Одна команда улучшает свой KPI за счет других команд или общего результата компании (например, отдел продаж обещает все, чтобы выполнить план, перегружая отдел разработки и ухудшая качество продукта).
5. "Потолок" метрик. Достигнув целевого значения, команда теряет мотивацию развиваться дальше или начинает искусственно сдерживать рост, чтобы не повышали планку на следующий квартал.
6. Культура страха. Плохие цифры ведут к наказаниям, поэтому данные начинают скрывать, приукрашивать или искажать.

Оценка или измерение?

Если очень коротко, то это, конечно, не одно и то же: оценка (применительно к социальным проектам и программам) – это про ценность, а измерение – это про показатели. Если кого-то спросят: «Как тебе новая квартира?», он, скорее всего, скажет что-то вроде «уютная, удобная, просторная, тихая, вид из окна замечательный» и т.д. Ответ типа «44 кв.м., кухня 12 кв.м.» в этом случае выглядел бы немного странно, хотя эти показатели, безусловно, характеризуют квартиру и связаны с тем, как она воспринимается хозяином. Однако вопрос был о ценности квартиры для хозяина, а не о ее параметрах. Уточню: я ни в коем случае не против использования показателей. Я о том, что не всё ценное измеримо и что измерение не может и не должно заменять смысл. 

Несколько лет назад в публичной дискуссии об оценке социальных проектов и программ участвовал Епископ Пантелеимон. Закончу эту публикацию его словами: «Нельзя посчитать добро и любовь, сострадание и сочувствие. Считать можно только деньги».

PS В качестве иллюстрации использована обложка книги Дугласа Хаббарда «Как измерить все, что угодно». Позиция автора: «Среди людей бытует мнение, что многие вещи в мире не поддаются количественной оценке. Это широко распространенное заблуждение наносит существенный ущерб экономике, общественному благосостоянию, окружающей среде и даже национальной безопасности».

Каково идеальное число показателей для оценки проекта?

Вопрос непростой и отнюдь не праздный. Если показателей будет недостаточно, вы не сможете узнать то, что нужно для принятия решений или, скажем, для отчетности по проекту. Если показателей будет слишком много, вы будете тратить свои ресурсы на получение информации, которая ни вам, ни кому-то другому не пригодится. То есть, другими словами, будете тратить ресурсы попусту.

Простого ответа на вопрос об идеальном числе показателей не существует. Но есть несколько важных соображений, которые следует принимать во внимание, чтобы ответить на него. 

• Начнем с главного: кто и что именно хочет узнать с помощью показателей? Если мы хотим, чтобы показатели были полезными, надо определить пользователей и их информационные потребности. Далее надо обязательно определить, как именно эти люди собираются использовать полученные данные о значениях показателей. То есть здесь мы должны следовать принципам оценки, ориентированной на практическое использование. Естественно, имеется в виду, что показатели используются в рамках подхода, который мы называем индикаторной оценкой. 
• Любой показатель относится к какому-то определенному компоненту проекта, например, к ресурсам, процессу реализации проекта, результатам проекта и т.д. Поэтому перед формулированием показателей необходимо описать теорию изменений или логическую модель проекта. Тогда будет проще понять, что именно мы измеряем с помощью тех или иных показателей. Помним о базовой формуле индикаторной оценки: «реальность-модель-показатели».  
• Следует стремиться к минимизации количества показателей, поскольку замер их значений предполагает создание целой системы. Каждый новый показатель – это деньги, время, энергия людей. 
• Следует помнить, что не все информационные потребности можно удовлетворить с помощью индикаторной оценки. Возможно, у будущих пользователей результатов оценки появятся такие вопросы, ответы на которые целесообразнее будет получить с помощью эмпирической или экспертной оценки. Это, кстати, один из способов минимизации числа показателей. 

В заключение предлагаю подумать над рекомендацией известных американских специалистов Кусек и Рист, приведенной в книге «10 шагов к системе мониторинга и оценки, основанной на результатах» (англ.): «Каково идеальное число показателей для какого-либо результата программы или проекта? Минимальное число, позволяющее ответить на вопрос о том, достигнут ли этот результат».

17000 KPIs

KPI (key performance indicators) по-русски называют ключевыми показателями эффективности. В книжке, обложку которой вы видите, представлено 17000 таких показателей. Книга называется "Мега-библиотека KPI". Масштабы, конечно, впечатляют. Но давайте зададимся следующим вопросом: вам в вашей организации нужно столько показателей? Предполагаю, что ответ будет отрицательным. Другой вопрос: сможете ли вы найти среди 17000 тот единственный показатель, который вам нужен? Тоже не факт. 

Как ни парадоксально, разработать небольшое число показателей, позволяющих получить действительно полезную для вас информацию, намного сложнее чем "сгенерировать" тысячу показателей без особой привязки к деятельности вашей организации и потребностям лиц, принимающих решения. 

Почему так получается? 

Дело в том, что начинать разработку показателей нужно с "теории изменений" (ТИ), лежащей в основе вашей программы или проекта. Когда ТИ сформирована, то есть, показано, как деятельность в рамках проекта приведет к желаемым результатам, можно приступить к разработке показателей. Главные вопросы при этом: Что именно мы хотим узнать? и Зачем нам это нужно? (то есть, как станем использовать полученное знание). Если мы хотим узнать что-либо, связанное с мероприятиями в рамках проекта, то показатель будет относиться к деятельности. Это может быть, к примеру, охват целевой аудитории. Если же нас интересует, в какой мере нам удастся достичь запланированных результатов, то показатели должны относиться к результатам соответствующего уровня в ТИ. Это могут быть непосредственные результаты нашей деятельности, например, изменение знаний слушателей по результатам семинара. Нас могут интересовать и результаты более высокого уровня, например, использование полученных знаний слушателями на практике после окончания семинара. 

Здесь-то и начинается самое сложное и интересное: надо разработать МИНИМАЛЬНОЕ число показателей, которые ДЕЙСТВИТЕЛЬНО позволят узнать о ВАШЕМ проекте именно то, что ВАМ НУЖНО. 

Есть такая хорошая поговорка: "От избытка овса конь слабеет". Это я насчет количества показателей :) 

Как это будет по-русски?

Очередное онлайновое заседание клуба PROоценку в следующий четверг будет посвящено показателям. Один из вопросов, которые мы планируем обсудить, связан с тем, как их (показатели) следует называть. Сегодня для этого широко используются еще два термина: индикаторы и метрики. Почему используются три разных термина? Можно ли считать их синонимами? Какой из терминов использовать предпочтительнее и почему? Зависит ли это от контекста? 

Очень надеюсь, что участники заседания клуба поделятся своим опытом и размышлениями на эту тему.

Для "затравки": 

1) Английское слово indicator переводится на русский язык как показатель.

2) Слово показатель, является синонимом слова метрика (см. словарь синонимов).

3) Министерство образования и науки РФ руководствуется следующими определениями: 

Показатель — количественное значение, характеризующее деятельность вуза. Как правило, выражается элементарными единицами измерения (чел, млн. рублей, штук, единиц и пр.).

Индикатор — вычисляемый элемент, формируемый на основе показателей университета. Как правило, выражается относительными единицами измерения (доли, проценты) или производными (статьи/человек, тыс. рублей/человек и пр.).

Мониторинг и показатели

Четвертое заседание клуба PROОЦЕНКУ пройдет 9 сентября с 11.00 до 12.30 (мск) и будет посвящено мониторингу проектов. Регистрация участников здесь. 

Применительно к программам и проектам мониторинг чаще всего определяют как «систематический сбор информации о значениях заранее выбранных показателей для обеспечения руководителей программы (проекта) и других заинтересованных сторон сведениями о том, насколько успешно выполняются программа (проект) в целом и ее (его) отдельные компоненты, в какой мере достигаются поставленные цели, и как используются ресурсы». То есть использование показателей является сущностной характеристикой мониторинга. 

А теперь давайте обратимся к практике. Полагаю, всем знакомо понятие "мониторинговый визит". Чаще всего так называют посещение проектов на местах представителями организации-донора либо специально нанятыми для этого консультантами. В ходе таких визитов практически никогда не стоит задача сбора информации о значениях показателей. Основное внимание уделяется посещению мероприятий, беседам с руководителями и исполнителями проектов, общению с благополучателями. То есть "мониторинговый визит" проводится в традициях эмпирической оценки, а не индикаторной. Хотя мониторинг, вроде бы, по определению, является индикаторной оценкой. 

Значит ли это, что определение мониторинга не совсем точное, поскольку под него не подпадают "мониторинговые визиты"? Правильно ли считать, что для проведения мониторинга можно использовать и индикаторную, и эмпирическую оценку? А, может быть, мониторинг вообще можно без использования индикаторов провести? 

Чтобы последний вопрос не показался совсем уж кощунственным, сошлюсь на статью датчанина Питера Сигсгаарда (Peter Sigsgaard) "Мониторинг без индикаторов" 😃

Заходите 9-го на заседание клуба PROОЦЕНКУ - обсудим!

Ещё раз о "законе Кемпбелла"

В 1976 году американский исследователь Дональд Кемпбелл в своей работе "Оценка влияния запланированных социальных изменений"* написал: «Чем больше любой количественный (или даже качественный) индикатор используется в процессе принятия социально-значимых решений, тем в большей степени он становится подвержен коррупционному давлению и тем в большей степени он будет искажать и нарушать социальные процессы, для мониторинга которых он был изначально предназначен». Именно это стали впоследствии называть "законом Кембелла", справедливость которого получила массовые подтверждения по всему миру.

Сегодня интернет-газета ZNAK опубликовала статью под названием "Кабмин утвердил KPI для губернаторов. Эксперты ожидают манипуляций с данными". Чего же ожидают эксперты газеты? Вот один из примеров: "...Также в числе критериев оценки борьба с бедностью. Здесь оценка будет производиться по числу людей с доходами ниже прожиточного минимума. К 2024 году их должно стать меньше вдвое. Эксперты предупреждают, что прожиточный минимум устанавливают регионы, и местные власти могут им манипулировать, составляя корзину из более дешевых товаров, чтобы сократить число бедных".

*Campbell, Donald T. (1976) Assessing the Impact of Planned Social Change

"Тирания показателей". Книга Джерри Мюллера переведена и уже в продаже.

Книга действительно необычная, поскольку автор подробно рассматривает негативные эффекты чрезмерного увлечения показателями. Вот перечень типичных ошибок, возникающих в результате, по мнению автора (особо отмечу, что речь, конечно же, идет о США): 

• Измерение того, что легче всего измерить. То, что легче всего измерить, редко бывает самым важным.
• Измерение простого, когда желаемый результат сложен. Фокусирование на измерении результатов, связанных только с одной целью, часто вводит в заблуждение.
• Измерение вклада, а не результатов. Измеряем объем использованных ресурсов, а не полученные результаты. 
• Снижение качества информации из-за стандартизации. Информация становится более достоверной и определенной, чем на самом деле.
• Снятие сливок. К примеру, исполнители отдают предпочтение клиентам с менее сложными проблемами. Вероятность успешного решения проблемы в этом случае возрастает. 
• Улучшение показателей за счет снижения стандартов. Снижение стандартов - один из способов улучшения результатов.
• Улучшение показателей путем исключения или искажения данных. Например, полиция может "снижать" уровень преступности, переквалифицируя тяжкие преступления в мелкие правонарушения.
• Подтасовка. Частота этого явления растет в прямой зависимости от значимости показателей. Например, в ответ на закон, повысивший значимость результатов тестирования знаний учащихся, учителя и директора школ во многих городах стали изменять ответы учащихся на тесты.

Почему индикаторы должны разрабатывать эксперты

Вчера на семинаре обсуждали индикаторы. Один из участников, занимающийся мониторингом программ в сфере сельского хозяйства,  привел интересный пример. Им "спустили" индикаторы, один из которых предполагал подсчет количества голов скота погибшего от определенного заболевания. Тут обнаружилась проблема: скот от этого заболевания не умирает. На то, чтобы убрать этот индикатор ушло два года...  Интересно, кто его разрабатывал?

Качественные индикаторы

В публикациях по мониторингу программ и проектов на удивление широко распространено ошибочное мнение о том, что значения качественных индикаторов не являются числами. Чтобы не быть голословным, приведу фрагмент из текста ЮНИСЕФ (Детский фонд ООН), опубликованного на русском языке несколько лет тому назад.

"Качественные индикаторы можно определить как суждения и восприятие людей.
Например, число людей в деревне, у которых есть швейные машинки – это количественный индикатор, а уверенность в завтрашнем дне, которую дает этим людям обладание
швейной машинкой как инструментом финансовой независимости, – это качественный
индикатор. Обратите внимание, что индикаторы «качества жизни», с помощью которых,
например, измеряют здоровье, образование и занятость населения, часто путают с качественными индикаторами, так как в обоих случаях употребляется слово «качество».
На самом деле, для измерения здоровья, образования или других предметов можно использовать и качественные, и количественные индикаторы."

Ошибка авторов приведенного выше фрагмента текста состоит в том, что значения и количественных, и качественных индикаторов выражаются числами. Это одно из преимуществ использования индикаторов для оценки программ и проектов. Путаница, на мой взгляд. возникает из-за того, что смешиваются понятия "качественные данные" и "качественные индикаторы". Качественные данные действительно могут носить описательный характер и отражать мнения людей. Однако, когда речь идет о качественных индикаторах, то имеется в виду, что это индикаторы, отражающие качественные характеристики программы, но имеющие числовые значения. Качественные индикаторы не "выражаются в словах", как пишут авторы еще одной публикации, подготовленной ЦРНО из Санкт-Петербурга (см. стр.23). Кстати, в этой публикации практически целиком позаимствован вышеприведенный фрагмент текста ЮНИСЕФ (про швейные машинки), а ссылки на источник почему-то нет. Досадная небрежность уважаемой организации! И крайне неудачное заимствование.

Итак, в словах выражаются (могут выражаться) качественные данные. А качественные индикаторы ВСЕГДА выражаются в числах - как и количественные.

Например, повышение уверенности в завтрашнем дне может быть качественной характеристикой программы. При этом степень уверенности в завтрашнем дне действительно может быть индикатором, значение которого подсчитывается, скажем, как доля взрослых жителей деревни (в %), которые на вопрос о степени их уверенности в завтрашнем дне ответили "уверен" или "скорее уверен" (соответственно, еще два возможных варианта ответа - "не уверен" или "скорее не уверен").

Интерпретация значений индикаторов

На семинаре по видам оценки вчера получилось интересное обсуждение в конце благодаря Татьяне Подушкиной, Олегу Казакову и Нодару Хананашвили. К сожалению, очень редко бывает у нас возможность так обсудить какие-то концептуальные вещи. Один из вопросов касался интерпретации значений индикаторов (в рамках индикаторной оценки, естественно).

Я считаю, что способ интерпретации значений индикаторов определяется в процессе создания системы индикаторной оценки (системы мониторинга, например). Когда формируется эта система, ее разработчики (эксперты в предметной области) закладывают в систему то, как следует интерпретировать значения индикаторов. Если этого не сделано на стадии разработки, значит, работа не доведена до конца. Прелесть индикаторной оценки именно в том, что при хорошо разработанной системе не нужно быть экспертом, чтобы делать выводы на основании значений индикаторов. Скажем, вы смотрите на приборную панель автомобиля и понимаете, что, если температура охлаждающей жидкости превышает определенный уровень, необходимо, как минимум дать двигателю остыть, иначе он может выйти из строя. При этом вам не нужно быть экспертом по двигателям - эксперты уже заложили свои знания в систему мониторинга автомобиля. Вам нужно только следить за значением соответствующего индикатора. 

А кто сказал, что это легко?

Главное при разработке любой программы - аргументированно показать, как действия в рамках программы приведут к достижению цели программы. Другими словами, речь идет об обосновании причинно-следственных связей между действиями и ожидаемыми результатами. 

Сделать такое описание "теории" программы очень непросто. Трудности начинаются уже на стадии формулировки цели программы. Очередное подтверждение тому -  проект Государственной программы «Патриотическое воспитание граждан Российской Федерации на 2016-2020 годы». Говорят, что Росмолодежь подготовила окончательную версию этого документа. Бюджет программы - около 2 миллиардов рублей. Я не имел возможности ознакомиться с доработанной версией программы, но читал ее проект. 

Вот как в проекте программы были сформулированы цель и задачи программы (курсив мой):

Индикаторы науки и технологии...прошлого века?

Вышла в свет новая книга: Осипов Г.В., Климовицкий С.В. Индикаторы науки и технологии: история, методология, стандарты измерения / Научный совет по Программе фундаментальных исследований Президиума Российской Академии наук «Экономика и социология науки и образования» / [Г.В. Осипов, С.В. Климовицкий]. — М.: ЦСП и М, 2014. — 180 с.

В аннотации говорится, что "в данной книге рассматриваются вопросы измерения научной и технологической деятельности на основании опыта международных измерений ОЭСР. В работе содержится исторический обзор развития научной статистики и индикаторов науки и технологии и систематизированы общие стандарты измерения и проведения обследований социологов, обсуждаются основные принципы и модели измерения, обобщены. Для, экономистов, статистиков". Думаю, справедливо будет добавить: "и для специалистов по оценке программ и политик".

Авторы во введении поясняют, что "настоящее издание ... ставит своей задачей обобщение и систематизацию существующей международной практики измерения научно-технологической деятельности, а также ее критический анализ с целью выявления присущих этой практике недостатков". 

В связи с таким посылом меня несколько удивил список литературы, которая использовалась при подготовке данной книги. Список солидный, в нем 98 позиций. Все публикации зарубежные, и все датированы прошлым веком - от самого его начала до 90-х годов. Исключение составляют 12 публикаций одного и того же автора - Бенуа Годин (Benoit Godin), которые имеют статус working papers и опубликованы с 2000 по 2006 гг. в рамках Проекта по истории и социологии статистики науки и технологии (Project on the History and Sociology of S&T Statistics). Таким образом, только что вышедшая в свет книга опирается преимущественно на публикации 15-20-летней (и более) давности и представляет собой взгляд на проблему из 20 века. Мне как-то не верится, что Бенуа Годин был единственным исследователем, который занимался индикаторами науки и технологии в 21 веке. 

Получается, что систематизация и анализ современной международной практики остались вне поля зрения авторов данной книги? Интересно, почему? 

Глав субъектов РФ перестанут оценивать по результатам ЕГЭ

Газета.ru сообщает, что глав субъектов РФ теперь не будут оценивать по результатам ЕГЭ. Догадались, почему? Правильно, имело место масштабное манипулирование значением этого показателя.
Цитирую: "Из оценки эффективности работы губернаторов убрали результаты ЕГЭ по региону. Соответствующий указ подписал Владимир Путин. По словам экспертов, именно этот критерий повышал коррупционную составляющую ЕГЭ: местным властям было невыгодно, чтобы школьники получали низкие баллы, из-за чего учителя помогали решать школьникам задания, которые зачастую появлялись за несколько дней до экзамена.
... Чтобы повысить результаты ЕГЭ, губернаторы начинали давить на региональные органы управления образованием, а те, в свою очередь, на директоров школ, которые пытались переложить ответственность на учителей.
Происходили различные махинации, чтобы школьники могли лучше сдать ЕГЭ, вплоть до «сливов» заданий предстоящих экзаменов в интернет. Кроме того, учителя могли решать ЕГЭ за школьников или давать им готовые результаты, зачастую закрывали глаза на использование шпаргалок. Благодаря всему этому школьники получали более высокие баллы за экзамен".

Методики оценки эффективности госпрограмм в России: проблемы и пути решений

В журнале БЮДЖЕТ.RU вчера была опубликована статья В.В.Климанова и А.А.Михайловой "Методики оценки эффективности госпрограмм в регионах". Полную версию статьи в онлайне можно прочесть, если воспользоваться опцией "Версия для печати". Либо придется купить бумажную версию журнала. Очень рекомендую прочесть эту статью всем, кто так или иначе занимается оценкой программ. Авторы описывают ситуацию в России, отмечают возникающие трудности и предлагают направления действий по внедрению унифицированной методики оценки эффективности госпрограмм.

Приведу несколько цитат. 

«Оценка эффективности государственной программы в соответствии с новой типовой методикой проходит на основе: 

оценок степени достижения целей и решения задач государственной программы, подпрограмм и федеральных целевых программ, входящих в гос программу;

оценки степени реализации основных мероприятий, ведомственных целевых программ и мероприятий федеральных целевых программ и достижения ожидаемых непосредственных

результатов их реализации;

оценки степени соответствия запланированному уровню затрат;

оценки эффективности использования средств федерального бюджета.

В данной методике у ответственных исполнителей возникают различные возможности для учета особенностей конкретных программ. Например, при оценке степени реализации государственной программы ответственным исполнителем могут определяться коэффициенты значимости отдельных показателей (индикаторов) целей и задач. 

В общем виде методика выглядит следующим образом:

ЭРгп = 0,5 х СРгп + 0,5 х ΣЭРп/п * Kj /j,

где:

ЭРгп — эффективность реализации государственной программы; 

СРгп — степень реализации государственной программы;

ЭРп/п — эффективность реализации подпрограммы (федеральной целевой программы);

Kj — коэффициент значимости подпрограммы;

j — количество подпрограмм".

Еще один пример манипулирования значениями показателей

Любопытная иллюстрация закона Кемпбэлла в блоге Алексея Крушельницкого. Судя по комментариям к этой записи, достоверность приведенного примера ни у кого не вызывает сомнений.
"Один из главных критериев, по которым оцениваются университеты - это количество научных статей в престижных научных международных журналах. Чтобы их было больше, нужно иметь высококлассные научные кадры, нужно иметь современное научное оборудование, нужно иметь вообще современную научную инфраструктуру. Создавать и растить все это - очень долго, дорого и муторно. А показатели нужны прямо сейчас. Что делаем? Правильно, мухлюем. Мы просто будем покупать у забугорных коллег за 500 евро в месяц статьи (точнее то, чтобы наш университет туда вставили), которыми потом будем отчитываться - вот, мол, смотрите, как на глазах растет российская наука. Хотя российская наука как таковая к этому никакого отношения иметь по сути не будет".

Утром - результаты, вечером - индикаторы

Есть такой сайт про ключевые индикаторы эффективности (key performance indicators - KPIs), который называется KPI Library. Там можно найти индикаторы всего и на все случаи жизни. Библиотека постоянно пополняется. Один разделов этого сайта - блог, куда пишут специалисты по оценке эффективности и использованию индикаторов.
В сегодняшней статье некто Стейси Барр (Stacey Barr) пишет о том, почему при оценке услуг следует избегать использования индикаторов удовлетворенности потребителей и индикаторов, связанных с жалобами потребителей. Свою статью она завершает следующими рекомендациями (я их немного отредактировал, потому привожу без кавычек):
1) всегда вначале думайте о деле, о том, чего нужно добиться, что нужно изменить или улучшить, и только потом переходите к тому, как это можно измерить или оценить;
2) никогда не пытайтесь задним числом "подогнать" существующие измерительные инструменты к результатам, иначе вы рискуете измерять неправильные параметры и затем неправильно использовать результаты измерения.
Это напомнило мне мудрую мысль одного из персонажей Ильфа и Петрова:
"Деньги вперёд... утром — деньги, вечером — стулья или вечером — деньги, а на другой день утром — стулья. А может быть, сегодня — стулья, а завтра — деньги? — пытал Остап.

— Я же, дуся, человек измученный. Такие условия душа не принимает" :)

Риски, связанные с использованием индикаторов

Сегодня просто приведу две цитаты из работ весьма авторитетных людей:

• «Чем больше любой количественный (или даже качественный) индикатор используется в процессе принятия социально-значимых решений, тем в большей степени он становится подвержен коррупционному давлению и тем в большей степени он будет искажать и нарушать социальные процессы, для мониторинга которых он был изначально предназначен» Campbell, Donald T. (1976) Assessing the Impact of Planned Social Change
• «Когда показатель становится целью, он перестает быть хорошим средством измерения». Goodhart, C.A.E. (1975). "Problems of Monetary Management: The U.K. Experience". Papers in Monetary Economics (Reserve Bank of Australia)

Первое утверждение называют еще законом Кэмпбелла, а второе - законом Гудхарта. В интернете есть публикации и на русском, и на английском языках. Я привел ссылки на статьи в англоязычной Википедии. 

Перечень как показатель

Опубликовано Постановление Правительства РФ №979 от 01.11.13 об оценке результативности деятельности научных организаций. В качестве приложения к указанному постановлению опубликованы показатели оценки упомянутой выше результативности. Таким образом, появилась еще одна сфера деятельности, где оценивание регламентировано официальным документом высокого уровня. Интересно, что в преамбуле к Постановлению (стр.3) делается акцент на разведении "мониторинга" и "оценки".
Под оценкой понимается вынесение один раз в пять лет суждения о результативности деятельности научной организации (это моя трактовка, четкого определения понятия "оценка" в документе я не нашел). По итогам оценки научная организация может быть отнесена к одной из 3-х категорий. Включение в 3 категорию - это очень плохая новость для организации,

Оценка эффективности работы научных учреждений

Отличная статья в Газете.ру про оценку эффективности работы научных учреждений. Автор разобрался в вопросе и не ограничился ставшей традиционной критикой реформы РАН. Очень содержательная статья. Затрагивается в ней и тема методологии оценки на основе показателей. В частности, академик Паршин утверждает: «Как только вы начинаете оценивать какой-то содержательный процесс по формальному показателю, так довольно быстро целью процесса становится не та содержательная деятельность, которую вы оцениваете, а стремление любой ценой увеличить этот показатель». Кому из специалистов по оценке этот тезис не знаком?
Оценка - альфа дисциплина, однозначно!