пятница, 19 апреля 2019 г.

Убедительность обоснований

Любопытная заметка Адриана Брауна (Adrian Brown) относительно убедительности обоснований эффективности (или неэффективности) программ.
Многие знают о том, что в США была программа , в рамках которой подростков группы риска (та категория детей, которых у нас ставят на учет в КДН) организованно возили на экскурсию в тюрьму. Замысел был такой: увидят, куда они могут попасть, и одумаются. Важной составляющей экскурсии (фактором воздействия) были оскорбления посетителей заключенными. В общем, можно сказать, что подростков пытались серьёзно напугать. Собственно, программа так и называлась Scared Straight. Знающие английский язык могут посмотреть видео.
В 2012 году был проведен систематический анализ 7 разных исследований данной программы, который показал, что программа не работает так, как было задумано. Напротив, она провоцирует правонарушения со стороны подростков, которые в ней участвовали. С тех пор в США и во многих других странах программа получила "черную метку" от апологетов доказательного подхода как "технология с доказанной неэффективностью". 
Между тем, по мнению А.Брауна, все не так просто. Если посмотреть внимательнее на те 7 исследований, которые легли в основу анализа эффективности программы, обнаруживается, что 
а) все исследования проведены в США,
б) они проведены достаточно давно (1967-1982)
в) лишь два из них являются статистически значимыми, при этом они оба имеют серьезные недостатки. В частности, в одном из этих исследований было обнаружено, что в экспериментальной группе (те, кто был на экскурсии в тюрьме) 5 подростков совершили преступления, а в контрольной группе (те, кто не был на экскурсии) преступления совершили 6 подростков. Таким образом, если бы в экспериментальной группе еще один мальчик совершил правонарушение, всё рассыпалось бы.

О чем, по мнению А.Брауна, следует подумать:
  • Насколько убедительны доказательства эффективности социальных технологий, которые подаются под маркой "систематического анализа"? 
  • Не может ли жесткая ориентация на "доказанную эффективность" мешать внедрению новшеств и сбору информации о том, что может, на самом деле, работать?
  • Возможно, практикующим специалистам не следует слишком уж "зацикливаться" на формальных критериях "убедительности обоснований". Постоянная рефлексия собственного опыта и обсуждение того, что работает, а что не работает и почему, могут оказаться весьма полезными.
Благодарю за информацию о данной публикации Даниила Цыганкова!

среда, 10 апреля 2019 г.

С тендером или без тендера

Выбор консультанта для проведения оценки (как, впрочем и любого другого консультанта) может производиться на конкурсной основе или без конкурса.

В случае, когда конкурс не проводится, клиент может включить консультанта в обсуждение технического задания на проведение оценки на самых ранних стадиях. По существу, помощь в формировании технического задания становится в этом случае частью услуги, которую оказывает консультант. 

Ситуация с объявлением тендера* имеет ряд существенных отличий.

Во-первых, клиенту необходимо самостоятельно подготовить достаточно детальное описание предстоящей оценки с указанием сроков и - иногда - ориентировочного бюджета. Эта работа требует со стороны клиента не только затрат времени, но и наличия определенных компетенций. С нами как-то даже заключили контракт на подготовку объявления о международном тендере на проведение оценки. Естественно, мы в этом тендере не участвовали, что было оговорено в контракте. 

Во-вторых, клиенту следует позаботиться о том, чтобы все участники тендера оказались в равных условиях: 
  • у них должна быть одна и та же информация о предстоящей оценке (объявление о тендере),
  • они должны понимать, какие есть возможности для общения с клиентом до подачи заявки (к кому можно обращаться за уточнениями и каков порядок этих обращений).
В третьих, клиент должен иметь хорошо прописанные формальные процедуры проведения тендера и следить за их неукоснительным соблюдением. 

По завершении тендера клиент может обсудить техническое задание с выбранным консультантом. Однако, здесь уже будет меньше пространства для маневра, поскольку основные параметры ТЗ уже были указаны в объявлении о тендере. 

*Википедия предлагает следующее определение: "Те́ндер (англ. tender — заявка на подряд) — конкурентная форма отбора предложений на поставку товаров, оказание услуг или выполнение работ по заранее объявленным в документации условиям, в оговоренные сроки на принципах состязательности, справедливости и эффективности. Контракт заключается с победителем тендера — участником, подавшим предложение, соответствующее требованиям документации, в котором предложены наилучшие условия. В отличие от аукционов, участники тендера не имеют доступа к условиям, предложенным конкурентами.
На начало 2018 года термин «тендер» в Российской Федерации законодательно не определён, поэтому в официальных документах не используется. В повседневной речи может являться как аналогом русских терминов конкурс или аукцион, так и других конкурентных процедур, например, запрос цены, запрос предложения."

четверг, 4 апреля 2019 г.

К сожалению, точка зрения специалистов по оценке не может быть принята во внимание

Время от времени получаю письма с просьбой принять участие в анкетировании, связанном с оценкой. Считаю для себя участие в таких мероприятиях обязательным, т.к. иначе знание об оценке развивать будет невозможно.
Только что получил очередное приглашение. Теперь от исследователей из Цюриха (ZHAW School of Management and Law, Zurich University of Applied Sciences). В преамбуле поясняется, что мне написали как члену Американской ассоциации оценки. Тема исследования - независимость оценки. Тема меня интересует, и мне есть что сказать по этому поводу. 
Начал отвечать. 
Первый вопрос: в какой роли Вы участвуете в оценке - как клиент или  как оценщик? 
Отметил, что как оценщик и приготовился отвечать дальше. 
А дальше такое сообщение: "К сожалению, точка зрения оценщиков или сотрудников оценочных служб не может быть принята во внимание в этом опросе".
Ну да, что с нами-то обсуждать независимость оценки? 
И далее: "Поскольку любое дополнительное участие в опросе важно, мы будем благодарны, если вы передадите следующую ссылку на опрос другим клиентам оценки в вашей сети..."
Ну а вот это вряд ли.
И, наконец, "Большое спасибо за Вашу поддержку!" )))))))))))))))))))))) 
Занавес.

PS Понимаю всё про дизайн исследования и критерии отбора респондентов. Наверное, им так надо. Но уж очень неожиданно и как-то нелепо вышло :) Предполагаю, что большинство членов Американской ассоциации тоже чаще бывают в роли оценщиков, а не клиентов. Так что многие так же отреагируют... 

Донна Подемс "Путь оценщика: практическое руководство"

В 2000 году конференция Американской ассоциации оценки проходила в городе Гонолулу на Гавайях. Там я обратил внимание на молодую женщину, которая задавала очень хорошие вопросы. Например, она спрашивала, почему в жизни мониторинг-и-оценка как бы неразделимы (даже аббревиатура устоявшаяся есть в английском - M&E от monitoring-and-evaluation), а на конференции говорят только об оценке. Это была Донна Подемс (Donna Podems) - американка, которая последние 20 лет живет в ЮАР. 

Мы с Донной в профессии двигались параллельными курсами и, соответственно, многое обсуждали: 
  • она занималась практическим проведением оценки программ и проектов;
  • она создала консалтинговую компанию, специализирующуюся в сфере оценки; 
  • она получила степень доктора философии (PhD) со специализацией в сфере организационного развития и оценки (её научным руководителем был Майкл Пэттон); 
  • она стала преподавать оценку в университете;
  • она активно участвовала в создании и развитии национальной ассоциации оценки в ЮАР, а также в жизни Американской ассоциации оценки.
Думаю, не ошибусь, если скажу, что сегодня - спустя без малого 20 лет с момента нашего знакомства - Донна входит в число ведущих специалистов в нашей профессии в мире. Она написала несколько книжек; по поручению Американской ассоциации координировала разработку перечня профессиональных компетенций специалиста по оценке для США; преподаёт оценку в университете Йоханнесбурга (ЮАР) и в университете Мичигана (США). 

В прошлом году вышла новая книга Донны Подемс, название которой можно перевести так: "Путь оценщика. Ваше практическое руководство в сфере оценки". Читаю и узнаю Донну :) Например, в разделе, где подробно обсуждается разница между мониторингом и оценкой, она даёт примерно такую практическую рекомендацию: "Если вас попросят организовать 'мониторинг-и-оценку', обязательно попросите пояснить, что именно люди имеют в виду и желательно с примерами. Если они сами не смогут объяснить, то предложите им своё видение (тоже лучше с примерами) и спросите, устроит ли их такой вариант". 

С большим удовольствием рекомендую читателям моего блога Донну Подемс и её новую книгу!

вторник, 26 марта 2019 г.

Методика анализа и оценки магистерских программ от ТГУ

В Томском государственном университете при поддержке Фонда Потанина реализован проект "Разработка методики анализа и оценки магистерских программ". Результат проекта - коллективная монография под ред. Е.А.Сухановой, размещенная в открытом доступе на сайте ТГУ.

В монографии обсуждаются существующие подходы к анализу и оценке качества магистерских программ; обосновывается модель оценки эффективности, положенная в основу новой методики; описывается процесс формирования и апробации методики; даются рекомендации по ее использованию. Для интересующихся деталями приводится матрица критериев и показателей методики анализа эффективности магистерских программ.

Авторы предлагают рассматривать методику как "инструмент "второго уровня" в процессе управления развитием программы. Это не инструмент для мониторинга качества. Мы исходим из того, что у реализуемых магистерских программ постулированы образовательные результаты и они достигаемы. А вот насколько эти результаты востребованы рынками, капитализированы выпускниками, отражаются в продуктах магистратуры (исследованиях, стартапах, сетях и т.д.) – это задача анализа эффективности".

Методику рекомендуется применять после первого полного цикла реализации программы и далее ежегодно.

Методика позволяет "оценить эффективность образовательной программы по трем категориям: удовлетворенность, результативность, актуальность.
1. Удовлетворенность – субъективная качественная оценка выпускниками содержания, технологий, результатов образовательной программы и ее влияния на карьерный рост.
2. Результативность – объективная и субъективная качественная и количественная оценка влияния образовательной программы на образовательные результаты, социальную и карьерную траекторию выпускников. Респондентами являются выпускники и работодатели, используются также статистические показатели.
3. Актуальность – объективная и прогностическая качественная оценка работодателями и экспертными группами субъектов социально-экономического и технологического развития целевых установок и образовательных продуктов программы глобальной, национальной и региональной повестке".

Публикация, вне всякого сомнения, весьма актуальная и может представлять интерес не только для тех, кто занимается оценкой в сфере образования.

PS Мне показалось, что с текстом монографии следовало бы еще поработать и редактору, и корректору: не всегда с первого раза удается понять, о чем речь (см., к примеру, описание оценки актуальности в приведенной выше цитате), и довольно много опечаток, что досадно.  

пятница, 22 марта 2019 г.

Оценка программ: методика, метод, методология

Начну с цитаты из статьи Афанасьева М.П. и Шаш Н.Н. "ИНСТРУМЕНТАРИЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ БЮДЖЕТНЫХ ПРОГРАММ":
"В современных условиях в связи с переходом на программно-целевое бюджетирование необычайную актуальность приобретает проблема качественного улучшения различных видов бюджетных программ, реализуемых в Российской Федерации. Всегда ли программные мероприятия достигают своих целей? какие результаты мы получаем? как нам следует усовершенствовать программные документы? Получить достоверный ответ на эти вопросы можно лишь при условии использования эффективного инструментария оценки, что требует разработки и внедрения оценочных методов и процедур, позволяющих наиболее адекватно измерить результаты в ходе реализации программ.
Несмотря на стратегическую важность данной проблемы, и по сей день ни в российской, ни в зарубежной практике не создано единой методики, позволяющей построить систему оценки эффективности реализуемых бюджетных программ разного уровня (курсив мой - АК)".

Надо отметить, что тема необходимости разработки единой методики возникает очень часто, как только речь заходит об оценке чего-либо, например, 
Список можно было бы легко продолжить. Чем же так привлекательна идея "единой методики оценки"? Когда объекты оценки однотипны; вопрос, на который призвана ответить оценка, один и тот же, а результаты оценки разных объектов необходимо сравнивать либо между собой, либо с какими-то нормативами или стандартами, единый алгоритм оценки (или единая методика) совершенно необходим. Словарь определяет методику как "установленный способ осуществления деятельности; готовый «рецепт», алгоритм, процедуру для проведения каких-либо нацеленных действий".  

понедельник, 11 марта 2019 г.

Использование результатов оценки: есть ли шанс что-то улучшить? (видео)


В марте прошлого года меня пригласили выступить на конференции, которая проводится раз в два года для специалистов по оценке Международной организации труда. Получилось так, что моё выступление услышал Гийом Мерсье (Guillaume Mercier), старший менеджер программ Международного тренингового центра Международной организации труда (ITC ILO). Гийом предложил сделать короткую онлайновую версию этого выступления. Все, что потребовалось от меня, - это скомпоновать 20-минутную презентацию (вместо 1,5 часов) и рассказать на камеру. Остальную работу сделал Гийом, за что ему огромное спасибо!!! Содержание, конечно, можно обсуждать и критиковать, но видео получилось красоты неземной, тут двух мнений быть не может :)  Приглашаю всех желающих посмотреть (англ.язык).
Сообщение на русском языке на ту же тему было представлено на последней конференции АСОПП. Видео нет, но презентацию можно посмотреть и скачать.

среда, 6 марта 2019 г.

Допущения

Сегодня в новостных лентах прошла информация о том, что спикер Совета Федерации Валентина Матвиенко предлагает оценивать решения, принимаемые правительством страны и депутатами, на основании того, как они влияют на уровень счастья россиян. В пример она привела Объединенные Арабские Эмираты, где было создано министерство счастья и благосостояния. «Любое решение, которое готовит правительство, проходит экспертизу этого министерства на предмет того, будет ли лучше людям от этого, будут ли они более счастливы», — отметила Матвиенко на встрече с женщинами — участницами конкурса «Лидеры России», ее слова приводит «Интерфакс». По мнению спикера Совета Федерации, в России было бы полезно внедрить экспертизу, которая бы показывала, как каждое действие чиновников и депутатов скажется на счастье людей.

Если мысль Валентины Ивановны изложена без искажений, то она основана на двух допущениях: 
1) Любое решение чиновников или депутатов влияет на счастье людей.
2) Все решения, которые принимают чиновники или депутаты, должны делать людей более счастливыми. 

Мне кажется, что оба допущения - спорные.

среда, 27 февраля 2019 г.

Зачем СП РФ нужны специалисты по оценке

На днях в новостях АСОПП было размещено объявление о вакансии "Аналитик (оценка проектов)". Нужен такой специалист Счетной палате РФ. Вероятно, все это происходит в рамках реализации стратегии СП РФ, опубликованной в августе прошлого года. Здесь можно о стратегии прочесть.
Счетная палата занимается аудитом. Аудит и оценка - смежные области. Наверное, ближе всего к оценке т.н. "стратегический аудит". Вот его определение в версии СП РФ:
"Стратегический аудит – составная часть аудита, осуществляющая проверку основных стратегических решений и стратегии развития организации. Стратегический аудит базируется на данных финансового, налогового и управленческого аудита, ориентирован на долгосрочную перспективу и учитывает влияние внешних факторов макросреды.

Счетная палата Российской Федерации использует в своей деятельности принципы системного аудита, включающего в себя три компонента:
– финансовый аудит как оценка законности произведенных расходов.
– аудит эффективности как оценка целесообразности и продуктивности расходования ресурсов.
– стратегический аудит как экспертиза достижения национальных целей, поставленных руководством страны.
При проведении стратегического аудита аудитор оценивает результаты проведенного в организации стратегического анализа, осуществленный стратегический выбор и реализацию стратегии, а также контроль за ее реализацией. При этом нефинансовые, качественные показатели становятся доминирующими, особенно на уровнях аудита эффективности и стратегического аудита. Это требует разработки соответствующих методов и подходов при проведении аудита.
Стратегический аудит выявляет степень связи социальной политики со спецификой организации и внешними условиями. Каждая из частей стратегического аудита базируется на соответствующей области стратегического учета и стратегического анализа, все это сливается в совокупности в учетно-аналитическое обеспечение принятия стратегических решений, которые в сочетании со стратегией развития организации подлежат стратегическому аудиту."
Еще один вид аудита, который еще ближе к оценке - это т.н. performance audit. Иногда этот термин переводят как "аудит эффективности". На мой взгляд, не очень удачный перевод. Но главное - суть. Вот определение этого вида аудита
"Performance audit является независимой проверкой программы, функции, операции или систем и процедур управления правительственной или некоммерческой организации для оценки того, достигает ли организация экономии, эффективности и результативности в использовании имеющихся ресурсов"

четверг, 21 февраля 2019 г.

Степень участия

Речь пойдет об оценке с участием детей. Тема в последнее время много обсуждается на разных уровнях. Я тоже считаю её важной.
Начнем с того, что при оценке инициатив, ориентированных на детей, важно рассматривать детей как источник информации. Как ни парадоксально, это происходит не всегда. Причины - самые разные. Например, с детьми не всегда работают традиционные методики - надо что-то изобретать. В частности, если дети маленькие или особые. Другая причина - уверенность в том, что взрослым виднее, на то они и взрослые. 
Но использование детей лишь в качестве источника информации - это минимальный вариант их включения в оценку. На самом деле, можно организовать процесс оценки таким образом, что дети будут полноценно участвовать в нем (естественно, в меру своих сил) от начала и до конца, т.е. от постановки задачи до представления результатов. В этом случае работа взрослых - обучение, фасилитация, наставничество.  
Таким образом, степень участия детей в процессе оценки можно изобразить в виде шкалы, на левом полюсе которой дети как источник информации, а на правом - дети как полноценные исполнители оценки. При этом роль взрослого меняется от специалиста, ответственного за проведение оценки (левый полюс) до фасилитатора или наставника (правый полюс). И, естественно, появляется бесконечное множество вариантов участия детей, находящееся между этими полюсами. То же самое можно сказать и о роли взрослого.

среда, 13 февраля 2019 г.

Мониторинг достижения национальных целей

Счетная палата Российской Федерации разместила на своем сайте информацию о ключевых показателях национальных проектов; а также о показателях, на основе которых измеряется достижение национальной цели. В разделе "Мониторинг достижения национальных целей" есть данные по значениям показателей по состоянию на конец 2017 года и на данный момент. Все данные можно выгрузить в формате Excel. Там больше информации, чем видно на сайте, в частности, имеются значения показателей за 2015 и 2016 гг. 

среда, 6 февраля 2019 г.

Обновленный сайт АСОПП

Возможно, пока не все заметили, что сайт АСОПП теперь выглядит по-новому. Мне очень нравятся и новый дизайн (выполнен профессионально с учетом фирменного стиля ассоциации), и новый функционал сайта (не всё заметно пользователям, но там появились важные новые функции). Библиотека теперь полностью открыта для всех интересующихся (не обязательно членов АСОПП) и там намного больше материалов, чем раньше. Создана онлайновая система подачи заявок на выступления на конференции, которой можно будет воспользоваться уже в этом году.
Реконструкция сайта АСОПП стала возможной благодаря гранту Комитета общественных связей (КОС) города Москвы, за что ему огромное спасибо. 
Это была большая работа, которую координировала член Правления АСОПП Елена Журавлева. Я знаю, сколько сил и времени Елена потратила на этот проект и хотел бы выразить ей особую признательность. Естественно, отдельно надо поблагодарить дизайнера Екатерину Лангваген и программиста Елену Дёмину, которые выполнили свои задачи профессионально в установленные сроки и с душой. 
Хотел бы поздравить Правление АСОПП, которое инициировало реконструкцию сайта; всех, кто был причастен к этой работе, но кого я не упомянул выше; а также всех членов нашей ассоциации с новым сайтом! 

четверг, 31 января 2019 г.

Наставничество в сфере оценки

Международная инициатива EvalYouth запускает программу наставничества (по-английски наставник - mentor). Мне предложили принять участие в качестве наставника. Для начала нагрузка будет небольшая - 4 онлайновых либо личных встречи продолжительностью 1 час каждая.

Коллеги из EvalYouth разработали программу, которая "состоит из теоретической части (три модуля с базовой информацией о принципах оценивания, сферах, организациях в оценивании и т д,  видео и литературой для учеников, а также с перечнем предлагаемых тем для обсуждение с ментором), а также практической частью, когда ученик и ментор могут обсудить практические аспекты проведения оценки, которые их интересуют" (цитирую из письма, которое мне прислали). 

Мне понравилось, что процесс взаимодействия с наставником определенным образом (мягко) регламентирован. Например, на первой встрече рекомендуется выполнить следующие задания: 
  • Познакомиться и обменяться контактной информацией;
  • Обсудить, почему вы решили работать в сфере мониторинга и оценки;
  • Обсудить ожидания ментора и ученика от участия в программе и любые потенциальные проблемы или вопросы, которые могут у вас возникнуть;
  • Договориться о методах совместной работы и общения (какой платформой Вам наиболее удобно пользоваться: скайп, месенджер, вотсапп, вайбер и др.)
  • Обсудить результаты самооценки компетенций ученика как специалиста по оценке; определить области профессионального и личностного развития ученика и определить, какую поддержку может оказать ему ментор  в этом процессе;
  • Обсудить ожидание ментора от участия в программе: чем ученик может быть полезным для профессионального развития ментора.
В конце встречи обоим участникам предлагается заполнить небольшую анкету.
То есть инициаторы программы фасилитируют и мониторят процесс.

Мы некоторое время тому назад занимались вопросами оценки программ наставничества, поэтому с организацией таких программ тоже познакомились. Будет очень интересно попробовать, как это может работать на практике. 

среда, 23 января 2019 г.

Рейтинг консалтинговых компаний России

Представьте себе, что Вам нужно нанять консалтинговую компанию для разработки стратегии развития Вашей организации. Для того, чтобы сориентироваться в ситуации, Вы обращаетесь к рейтингам. Это вполне оправдано, потому что составители рейтингов уже провели предварительную оценку (отобрали компании по определенным критериям). Для составления разных рейтингов используются разные критерии. В результате компании, лидирующие в одних рейтингах, вообще не присутствуют в других либо не занимают там лидирующих позиций. Следовательно, когда Вы пользуетесь рейтингами, надо обязательно полюбопытствовать, на основании каких критериев они составлялись. 
Теперь вопрос: какую компанию Вы выберете в качестве консультанта - ту, которая заняла первое место в рейтинге крупнейших консалтинговых компаний России (2000 специалистов, выручка за год - 17 млрд.рублей) или ту, которая предоставила больше всего официальных положительных письменных отзывов клиентов за год и заняла первое место в соответствующем рейтинге? Ответ неочевиден, есть о чем подумать, верно? 
Ну а я пока поздравлю наших коллег и друзей из Консалтинг-центра "ШАГ" с тем, что их компания возглавила второй из вышеупомянутых рейтингов! Это так называемый Рейтинг MOTTON PIK 2019. Посмотрите правила, по которым он формируется. Это любопытно!

четверг, 17 января 2019 г.

Пятая нога

Так назвали свою новую книгу Евгений и Светлана Емельяновы - основатели Консалтинг-центра "Шаг". Речь идет о наблюдательном совете в развитии малого и среднего бизнеса. Книга основана на огромном опыте бизнес-консультирования ("Шаг" выполнил более 800 проектов для 300 с лишним компаний) и содержит множество практических примеров. Текст построен в формате ответов на наиболее значимые вопросы, касающиеся наблюдательных советов. Книга размещена в открытом доступе на сайте "Шага". Скачивайте (бесплатно!) и читайте. Очень рекомендую.

пятница, 11 января 2019 г.

Обсудили планы на 2019 и далее

Начали новый год с обсуждения стратегии компании с партнерами - Натальей Кошелевой и Владимиром Балакиревым. С удовольствием пообщались неспеша в спокойной деревенской обстановке. Такое случается нечасто. Тем приятнее оно...