вторник, 15 октября 2019 г.

среда, 9 октября 2019 г.

Что может препятствовать практическому использованию оценки?

Турин. Международный тренинговый центр Международной организации труда. Обсуждаем, что может препятствовать практическому применению оценки. В группе представители Таджикистана, Узбекистана и Украины.
Препятствия такие:
1. Позиция руководства (8 мнений)
2. Ограниченный доступ к источникам информации (4)
3. Низкое качество ТЗ на проведение оценки (4)
4. Ограниченность ресурсов (человеческих и финансовых) (3)
5. Существующая нормативно-правовая база (3)
6. Ошибки в проекте (2)
7. Долгая организация (системы в организации устроены так, то что согласования занимают много времени и можно не успеть провести оценку, когда надо) (1)
8. Конфиденциальность информации (1)
Соглашусь с коллегами, что позиция руководства - определяющий фактор в использовании оценки в организации.  

четверг, 3 октября 2019 г.

Семинар "Ландшафт оценки"

Завершаю подготовку к семинару "Ландшафт оценки. Взгляд с высоты", который пройдет в день перед конференцией АСОПП. Трудоемкость подготовки сильно превысила мои ожидания. Пришлось по многим подходам почитать соответствующую литературу, поскольку оказалось, что я с ними либо плохо знаком, либо вообще не знаком. Полагаю, что для участников семинара тоже кое-что будет новым. Презентацию разместим в открытом доступе сразу после семинара. Так что, если кто-то не сможет присутствовать, можно будет самостоятельно ознакомиться с 79 подходами к оценке :) По каждому подходу в презентации будут ссылки на публикации.

четверг, 26 сентября 2019 г.

Высокая цена точного знания

В 2003 году в Harvard Business Review была опубликована интересная статья (нашел на нее ссылку, читая другую публикацию). Исследовалась взаимосвязь между эффективность бизнес-организаций и объемом и точностью данных, которыми оперировали менеджеры высокого уровня. Выяснилось, что для эффективности организации важнее не объем и точность данных, а то, насколько менеджеры способны интерпретировать имеющиеся данные. Исследователи пришли к выводу, что следует вкладываться именно в развитие способности менеджеров извлекать смыслы из данных, а не в повышение точности данных. 
Статья называется "Высокая цена точного знания" ("The High Cost of Accurate Knowledge" by
Kathleen M. Sutcliffe and Klaus Weber). Прочесть ее можно здесь.

среда, 18 сентября 2019 г.

Не заметил :)

Сегодня на семинаре обсуждали метод наблюдения. Предложил участникам посмотреть вокруг, собрать какие-то факты об их непосредственном окружении и предложить интерпретацию этих фактов. Один из участников говорит: "За каждым из 6 столов есть участники из Африки". Спрашиваю, что это - факт или некое суждение, которое он вынес в результате интерпретации своих наблюдений. Он говорит: "Факт". Я спрашиваю, как он догадался, подразумевая, что сейчас-то он как раз и развернет перед нами цепочку своих рассуждений. И тут его соседка указывает мне на стоящие на столах таблички с именами участников и названиями стран, которые они представляют :) 

четверг, 12 сентября 2019 г.

Оценка устойчивости организации

Тема это важная, потому существуют многочисленные модели и инструменты оценки устойчивости организаций и программ. К примеру, методика оценки устойчивости программ (Program Sustainability Assessment Tool), предложенная Washington University, предполагает анализ 8 компонентов, каждый из которых оценивается по 5 шкалам:
  1. Политическая поддержка
  2. Партнерства (поддержка со стороны местного сообщества)
  3. Стратегическое планирование
  4. Адаптивность
  5. Организационный потенциал
  6. Коммуникации
  7. Финансовая устойчивость
  8. Анализ и оценка собственной деятельности
Все, вроде, разумно. Каждый из 8 пунктов - судьбоносный, но в какой мере, на самом деле, устойчивость программы или организации зависит от всех этих факторов? Что определяет, увидим ли мы организацию работающей через 5, 10, 15 лет? 

Мой опыт свидетельствует о том, что устойчивость небольшой организации - малого бизнеса или НКО, в первую очередь, зависит от того, насколько сильно лидеры-учредители организации хотят, чтобы она дальше жила. Если очень хотят, то в трудные времена затягивают пояса потуже, снижают до минимума фиксированные затраты, находят временные источники заработка, но организацию сохраняют. И трудные времена проходят. Если же хотят не очень, то могут прикрыть "лавочку" уже при появлении первых признаков неблагополучия, не дожидаясь по-настоящему трудных времен. 

Мне могут возразить: бывают объективные обстоятельства, при которых организацию надо закрывать. Не спорю, бывают. Но эти обстоятельства возникают по большей части тогда, когда их сочтут таковыми люди, создавшие организацию. Не раньше. (Форс-мажор в виде законодательных актов и т.п. здесь не рассматриваем).

среда, 4 сентября 2019 г.

Команда консультантов

Довольно часто оценку проводит не один человек, а небольшая команда, состоящая, как правило, из 2-4 человек. Необходимость привлечения нескольких специалистов может быть продиктована разными причинами. Перечислю некоторые из них: 
  1. Большой объем работ, с которым невозможно справиться одному человеку в разумные сроки.
  2. Потребность в специальной экспертизе. В этом случае в команду могут быть включены люди, компетентные в определенной области, но не обязательно имеющие опыт проведения оценки программ. 
  3. Необходимость встраивания оценки в специфический контекст. Например, при проведении оценки зарубежным специалистом, важно иметь в команде местного специалиста, который не только не нуждается в переводчике для сбора данных, но и хорошо ориентируется в особенностях ситуации, чувствует и понимает такие вещи, которые зарубежному специалисту недоступны.   
В команде должен быть руководитель, человек, отвечающий за конечный результат и за соответствующую организацию работ. В международной терминологии эту позицию называют Team Leader. При проведении тендеров отдельно описываются требования к руководителю команды и к членам команды. Здесь мы подходим к очень важному моменту. Для того, чтобы все получилось хорошо, мало подобрать людей с нужными компетенциями. Эти люди должны стать настоящей командой, между ними должны сложиться конструктивные отношения, они должны принять лидера и поддерживать его. 

С учетом особой ответственности лидера за результат, мне кажется очень правильным шагом привлечение этого человека к формированию команды. Например, при подготовке к проведению оценки за рубежом меня пригласили в качестве руководителя команды (международного консультанта) принять участие в собеседованиях с кандидатами на позицию местного консультанта. Мы проводили собеседования вместе с представителем заказчика и выбрали подходящего человека по взаимному согласию. 

К сожалению, такой подход используется далеко не всегда. Зачастую "команду" формирует заказчик по своему усмотрению, и руководитель команды попросту оказывается перед необходимостью работать с определенными людьми. Такой подход сопряжен с серьезными рисками. Например, между людьми могут не сложиться отношения, что пагубно скажется и на процессе, и на результатах оценки. Команда - это не только компетенции, это еще и психология! И об этом, кстати, очень много написано. 

среда, 28 августа 2019 г.

Школа оценки 3 в 1

Хотел бы обратить внимание посетителей моего блога на возможность пройти обучение в
Школе оценки для представителей некоммерческих организаций. Пожалуйста, поделитесь этой информацией со своими знакомыми, которым это может быть интересно.

Обучение включает следующие этапы:
1) Трехдневный вводный семинар в Москве 13-15 октября.
2) Сразу после семинара участники Школы приглашаются на конференцию АСОПП (16-17 октября).
3) Далее участники самостоятельно проведут внешнюю оценку реальных проектов. По ходу её выполнения они смогут получить дистанционные консультации.
4) Весной 2020 года в Москве пройдет второй семинар, на котором будут проанализированы результаты самостоятельной работы участников, а также будут рассмотрены особенности отдельных актуальных для российских НКО видов оценки.
5) После этого участники Школы проведут в своих регионах различные мероприятия, посвященные оценке.
Мероприятия проводятся в рамках проекта «Школа оценки 3 в 1», который выполняется с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов Некоммерческому партнерству «ИнА-Центр» (г. Новосибирск).

Проведение вводного семинара организаторы Школы поручили нам с Владимиром Балакиревым. Мы также будем участвовать в консультировании слушателей при выполнении ими самостоятельной практической работы. В проведении второго семинара примут участие несколько специалистов, состав которых пока уточняется. Вероятно, мы с Владимиром там тоже поучаствуем.

Регистрация на «Школу оценки 3 в 1» открыта до 9 сентября 2019 года.
С информацией о проекте можно ознакомиться здесь, а посмотреть условия участия в мероприятиях и зарегистрироваться для участия в Школе можно здесь. Отбор участников Школы проводится на конкурсной основе. 

четверг, 22 августа 2019 г.

Конференция АСОПП-2019

Предлагаю нетрадиционный взгляд на программу конференции АСОПП-2019. Для создания облака из слов использовались полная версия программы и онлайновый сервис WordCloud.

среда, 7 августа 2019 г.

Ландшафт оценки. Взгляд с высоты..

Сегодня открылась регистрация участников конференции АСОПП-2019. Перед конференцией 15 октября пройдут семинары. Я провожу семинар №4 "Ландшафт оценки. Взгляд сверху." (после обеда). Хотел бы в двух словах объяснить замысел этого мероприятия. Мы рассмотрим 80 видов оценки, которые приведены в 4-м издании книги Майкла Пэттона "Utilization-focused evaluation". Поскольку времени у нас будет 180 минут (2 сессии по 1,5 часа), то в среднем на каждый вид оценки придется примерно 2,5 минуты! :) Думаю, кое-какие виды оценки сможем сгруппировать, но время все равно будет весьма ограничено.


Что точно успеем: 
1) дать определение каждого вида оценки и кратко обсудить его отличительные особенности,
2) назвать автора и публикацию, в которой этот вид оценки освещается (по возможности, приведем ссылки на открытые источники),
3) обсудить актуальность каждого вида оценки для участников семинара в режиме "блиц",
4) всем участникам раздать презентацию (в электронном виде, каждый сможет скачать ее для себя).

Чего точно не успеем: сколько-нибудь подробно обсудить какой-либо вид оценки. 
Процесс будет выглядеть как экскурсия с очень короткими остановками у каждого экспоната.
Этот семинар предназначен для тех, кто имеет, как минимум, базовые представления об оценке и хочет расширить свои представления о предмете. 

среда, 31 июля 2019 г.

XXIII конгресс INTOSAI

INTOSAI (ИНТОСАИ) - международная организация, создана в 1953 году, в нее входят высшие органы государственного финансового контроля 196 стран мира. Счетная палата РФ является членом ИНТОСАИ с момента своего создания в 1995 году и активно участвует в ее деятельности. Российский контрольный орган работает во всех основных управляющих и рабочих органах ИНТОСАИ, включая Комитет по профессиональным стандартам и Комитет по обмену опытом.

В 2016 году XXII Конгресс ИНТОСАИ, определил высший орган аудита Российской Федерации (Счетную палату РФ) принимающей стороной XXIII Конгресса ИНТОСАИ, который пройдет в Москве с 23 по 29 сентябре этого года.


Темы конгресса:
I. «Информационные технологии в развитии государственного управления»
      Подтема I.1
      Важность применения достоверной и оперативной информации в электронном виде для развития государственного управления
      Подтема I.2
      Место и роль больших данных в деятельности высших органов аудита 
II. «Роль высших органов аудита в достижении национальных приоритетов и целей».
       Подтема II.1
       Стратегический аудит: роль высших органов аудита в оценке реализуемости целей, результатов и рисков государственных проектов и программ
        Подтема II.2
        Прогнозирование и аналитическая деятельность в высших органах аудита: экологические и социальные аспекты устойчивого развития. 

Хотел бы обратить внимание коллег, занимающихся оценкой программ и проектов, на тему II. Счетная Палата не только включает оценку в свою повестку, но и выносит эту тему на обсуждение мирового профессионального сообщества. 

пятница, 26 июля 2019 г.

Ещё раз о "законе Кемпбелла"

В 1976 году американский исследователь Дональд Кемпбелл в своей работе "Оценка влияния запланированных социальных изменений"* написал: «Чем больше любой количественный (или даже качественный) индикатор используется в процессе принятия социально-значимых решений, тем в большей степени он становится подвержен коррупционному давлению и тем в большей степени он будет искажать и нарушать социальные процессы, для мониторинга которых он был изначально предназначен». Именно это стали впоследствии называть "законом Кембелла", справедливость которого получила массовые подтверждения по всему миру.

Сегодня интернет-газета ZNAK опубликовала статью под названием "Кабмин утвердил KPI для губернаторов. Эксперты ожидают манипуляций с данными". Чего же ожидают эксперты газеты? Вот один из примеров: "...Также в числе критериев оценки борьба с бедностью. Здесь оценка будет производиться по числу людей с доходами ниже прожиточного минимума. К 2024 году их должно стать меньше вдвое. Эксперты предупреждают, что прожиточный минимум устанавливают регионы, и местные власти могут им манипулировать, составляя корзину из более дешевых товаров, чтобы сократить число бедных".

*Campbell, Donald T. (1976) Assessing the Impact of Planned Social Change

среда, 24 июля 2019 г.

Заявки на выступление на профессиональной конференции и их оценка

Каждый год по всему миру проходят десятки профессиональных конференций по оценке. В подавляющем большинстве случаев программы таких конференций формируются на основе конкурсного отбора заявок на выступления. Для того, чтобы отобрать лучшие заявки, нужна система их оценки. В общем, и здесь оценка...

Важное предварительное соображение: поскольку проводится конкурс, то надо, чтобы участники были в равных условиях. Для этого они все должны понимать, какие требования предъявляются к заявкам на выступления со стороны организаторов конференции. И эти требования должны соответствовать критериям оценки заявок. Здесь, кстати, без критериев никак не обойтись, поскольку имеет место сравнение. 

Какими могут быть критерии оценки заявок? 

Вот примерный вариант, который используют наши американские коллеги:
  • Соответствие теме конференции. Раз объявляется тема конференции, то важно, чтобы люди именно в этом контексте представили свой материал. Тема конференции, как правило, формулируется достаточно широко и позволяет любое сообщение подать в нужном свете. 
  • Значимость для участников конференции. Тут комментировать особо нечего, все понятно. Вспоминаю мои первые конференции, когда заявка на тему "Развитие оценки в России и СНГ" принималась и включалась в программу, но на выступление приходили из солидарности лишь немногочисленные участники... из России и СНГ. Как-то раз даже решили по-русски делать доклад, т.к. англоязычных участников не оказалось в зале вообще.  
  • Техническое качество заявки. Тут без комментариев.
  • Инновационность. Более ценными представляются заявки, в которых содержится нечто новое - подход, метод, инструмент, модель и т.д. 
  • Уровень обобщения. Одно дело, когда человек просто делится своим опытом, и совсем другое, когда выступающий предлагает рефлексию по поводу своего опыта; обобщения, которые могут оказаться применимыми в разных сферах. 
Естественно, для каждого критерия разрабатывается соответствующая шкала. 

На больших конференциях лучшие заявки ставятся на "прайм-тайм" - такое время, когда участники конференции уже проснулись, не очень устали, и еще не начали разъезжаться по домам. Таким образом повышаются шансы, что хорошие выступления услышат многие. Когда заявка получает не очень высокую оценку, выступление может быть запланировано, например, на 7 утра (это не шутка!) с минимальными шансами на аншлаг. Многие по этому поводу возмущались, и теперь таких ранних сессий нет. Первые сессии начинаются в этом году на конференции Американской ассоциации оценки в 8.00, что, по нашим меркам, тоже довольно рано. Но это уже другая история :)  

пятница, 19 июля 2019 г.

Консультант как горный гид

На днях исполнилось 25 лет компании "ШАГ консалтинг". Основатели этой компании Евгений и Светлана Емельяновы - наши давние друзья: мы познакомились за несколько лет до того, как учредили свои компании. Работа ШАГа меня всегда восхищала. Достаточно посмотреть на их сайт, чтобы понять, насколько серьезный и успешный консалтинговый бизнес удалось выстроить коллегам! В течение последних 4-х лет ШАГ возглавляет рейтинг российских компаний, занимающихся бизнес-консультированием, а из первой тройки, по-моему, никогда не "выпадал".

Евгений Емельянов в обращении к посетителям сайта ШАГа пишет: "Если говорить о том, что такое консалтинг от ШАГа, то самая близкая мне аналогия – это работа проводников, тех, что ведут по местности. Как шерпы на семитысячниках, как Дерсу Узала в тайге."  Мне эта метафора очень понравилась. Первое, что пришло в голову: горные гиды никогда не бросят клиента. На такого консультанта можно положиться! Решил ради интереса заглянуть в Этический кодекс горных гидов России. Обнаружил там положения, которые действительно вполне применимы к деятельности консультанта по управлению. Судите сами (цитата взята с указанного выше сайта АГГР - Ассоциации горных гидов России): 

"1. Безопасность является главным приоритетом в работе. Наши личные интересы и цели интересы наших клиентов должны быть второстепенными по отношению к безопасности.
​​2. Безопасность других людей в горах также является нашим приоритетом, и мы должны, когда возможно оказывать им помощь в чрезвычайных ситуациях. Однако такая помощь может оказываться только в тех случаях, когда это не отразится на безопасности наших клиентов.
3. Наши клиенты имеют право в полной мере рассчитывать на то, что все гиды АГГР имеют техническую и методическую подготовку, соответствующую современным профессиональным требованиям и стандартам.
4. Гиды всегда должны выглядеть профессионально, использовать только качественное снаряжение, соответствующее поставленным задачам и находящееся в полноценном функциональном состоянии.
5. Гиды должны объективно оценивать пределы своих собственных физических и технических возможностей и своего опыта, и выбирать только те маршруты, которые полностью соответствуют текущему уровню их квалификации.
6. Во время пребывания в любых горных районах России и мира все гиды, представляющие АГГР, должны вести себя в соответствии с принятыми нормами и правилами поведения в данных горных районах.
7. Гиды должны бережно относиться к окружающей среде, традициям и обычаям местного населения, а также должны уважать ограничения доступа и правила, установленные организациями по защите окружающей среды в России и мире.
8. Гиды АГГР должны уважительно относиться к своим и чужим клиентам, гидам других организаций, не допускать неуважительного отношения, панибратства, некорректной коммуникации.
9. Во время публичных выступлений, лекций, семинаров, другое, гиды АГГР не должны допускать неуважительных высказываний в адрес других гидов, школ, стандартов подготовки. Помнить о том, что вы представляете Ассоциацию горных гидов России."

С юбилеем, ШАГ!!! От души желаю дальнейших успехов на трудных маршрутах!!!

среда, 17 июля 2019 г.

Доказательная филантропия

Несмотря на то, что международные эксперты считают доказательность одной из значимых и наиболее вероятных характеристик будущего филантропии, термин "доказательная филантропия" у нас пока не очень распространен. Google дает всего три (!) ссылки на русскоязычные публикации, в которых этот термин используется. Хронологически первая из них под названием "Доказательная филантропия: практические советы" относится к 2016 году и представляет собой краткий обзор некоторых зарубежных публикаций, подготовленный АНО "Эволюция и филантропия". В 2018 году АСИ опубликовало большое интервью с директором КАФ Марией Черток, которое называется "Доказательная благотворительность"

Доказательный подход предполагает обоснованное принятие наиболее значимых решений с использованием надежных данных. 

Имеются в виду, например, такие решения, которые приходится принимать руководителям филантропических организаций: 
  • Как выбрать проблему, на решение которой направить усилия? 
  • Что именно поддерживать? 
  • Как финансировать? (несколько больших или много маленьких грантов? продолжительность финансирования? насколько ограничивать грантополучателя? и т.д.)
В качестве обоснования используются знания и опыт грантодателя, мнение благополучателей, результаты научных исследований, результаты оценки деятельности организации и её результатов. Очевидно, что оценка проектов и программ органично встраивается в концепцию доказательной филантропии как механизм, позволяющий получать информацию для принятия значимых управленческих решений. 

Один из дискуссионных вопросов в сфере доказательной филантропии выглядит следующим образом.

Что правильнее:
                                         или
  • Использовать критическое мышление в сочетании с лучшими из доступных доказательств, не увязывая их качество со способом получения (что ближе к традициям доказательного менеджмента).
А как бы на этот вопрос ответили Вы? 

среда, 10 июля 2019 г.

Страховка для консультантов

Речь идет о страховании рисков, связанных с профессиональной деятельностью консультантов.

Примеры страховых случаев:
  1. Клиент следует рекомендации консультанта, и это приводит к убыткам. Речь идет, естественно, о непреднамеренных ошибках консультанта. Страховка покрывает расходы на юридическую защиту и урегулирование претензий. Такая страховка используется в ситуациях, когда можно доказать причинно-следственную связь между выполнением рекомендации консультанта и убытками клиента,с кажем в сфере налогового консультирования. 
  2. Консультант использует дорогостоящее оборудование (например, компьютер), который выходит из строя (либо его крадут) во время поездки к клиенту. Страховка позволит консультанту восстановить оборудование или купить новое.
  3. Хакеры в результате кибер-атаки похищают у консультанта конфиденциальную информацию о клиенте и раскрывают её. Страховка покрывает расходы на преодоление кризисной ситуации, восстановление данных, а также судебные издержки.
При оформлении страховки учитывается - в числе прочего - опыт консультанта: чем больше опыт, тем меньше вероятность ошибки, и, следовательно, тем меньше стоимость страховки. Это напоминает ситуацию со страхованием гражданской ответственности водителей - опытные платят за страховку меньше. 

Мы оформляли такую страховку при проведении оценки программы лишь один раз по требованию западного клиента. Согласно политике их организации, наличие страховки по п.1 (см. выше) было обязательным условием при заключении контракта. Страховая компания была тоже зарубежная. 

четверг, 4 июля 2019 г.

Блог Джонатана Морелла

Сегодня хотел бы рекомендовать тем, кто читает по-английски, замечательный блог Джонни Морелла (Jonathan (Jonny) A. Morell). Очень интересные и компактные тексты о разных важных для оценки вещах. Особо хочу отметить его публикации про использование системного мышления и про модели. 

Приведу несколько цитат для "затравки": 
  • "Модель - это упрощение реальности, в котором намеренно не отражены некоторые её аспекты для того, чтобы выделить другие. Упрощение требуется, потому что без него охватить все соответствующие нашей задаче факторы невозможно"
  • "Независимо от того, насколько мы умны, мы никогда не узнаем, каковы все соответствующие задаче факторы. У нас не может быть полной модели, как бы мы ни старались"
  • Джордж Бокс был прав, сказав: «Все модели ошибочны, но некоторые из них полезны».

понедельник, 1 июля 2019 г.

Срок приема заявок продлен на две недели

20 июня я писал о том, что каждый год сроки приема заявок на выступления на конференции АСОПП переносятся по той причине, что многие не успевают подать заявку вовремя. Нынешний год не стал исключением: сегодня оргкомитет продлил срок приема заявок на выступления на две недели. Замечу, что прием заявок был открыт 28 марта 2019 года... То есть трех месяцев оказалось недостаточно :) Ну что же, осталось две недели, и теперь уж точно надо поторопиться! 

среда, 26 июня 2019 г.

Модели консультирования и оценка программ

Ни у кого не вызывает сомнения, что оценка является одним из видов консультирования. Однако специалисты по оценке не так уж часто обращаются к литературе по консультированию, хотя это может быть весьма интересно. Хочу предложить читателям моего блога соотнести оценку программ с одной из самых известных классификаций моделей консультирования, предложенной Эдгаром Шайном (Schein, E. H. (2000). Models of consultation: What do organizations of the twenty-first century need? In R. T. Golembiewski (Ed.), Handbook of organizational consultation (pp. 893-902). New York: Marcel Dekker).
Как вы думаете, к какой из моделей консультирования оценка программ ближе всего?

четверг, 20 июня 2019 г.

Успеть подать заявку на выступление

С 2000 года я принимаю активное участие в подготовке ежегодных конференций по оценке в нашем регионе. Вначале это были конференции Международной сети "Оценка программ", а затем стали проводиться ежегодные конференции АСОПП в России. В этом году пройдет уже 5-я национальная конференция. С самого начала заметил интересное явление. Мы очень заранее (за пару месяцев) объявляем срок подачи заявок на выступления, напоминаем о том, что срок приближается. В итоге, когда срок проходит, оргкомитет конференции начинает получать письма от людей, которым не хватило буквально 1-2-х дней по совершенно объективным причинам... :) Не уверен, следует ли глубоко изучать этот феномен и делать какие-то далеко идущие выводы. Просто хотел попросить тех читателей моего блога, которые планируют выступить на конференции АСОПП-2019, не откладывать написание заявок на выступления. В этом году все удобно, заявка подается в режиме онлайн. На всякий случай: крайний срок подачи - 1 июля, 18.00 мск!

среда, 12 июня 2019 г.

Социальное проектирование и оценка: взгляд в будущее

В Алматы проходит международная конференция, посвященная обсуждению развития гражданского общества в странах Центральной Азии. Организатор конференции - Ассоциация развития гражданского общества (АРГО). Мне предложили выступить с 5-минутным "импульсным" докладом на тему "Социальное проектирование и оценка: взгляд в будущее", чтобы обозначить несколько возможных тем для дискуссии. В очередной раз убедился, что подготовить 5-минутное выступление намного сложнее, чем 1,5-часовое :) 
Вот мой "взгляд в будущее" (имеется в виду наш регион): 
1) ТВОРЧЕСТВО. Будет расти значимость творческой составляющей в социальном проектировании. Люди будут уделять больше времени именно поиску оптимального решения. Повысится интерес к методам поиска новых идей и решений, к т.н. дизайн-мышлению. 
2) ДОКАЗАТЕЛЬНОСТЬ. Будет расти стремление лучше обосновывать замысел проекта и решения, связанные с управлением проектом. В том или ином виде будет внедряться доказательный подход к проектированию. Соответственно, будет расти запрос на оценку на всех стадиях жизненного цикла проекта.
3) ОТ ТОГО, ЧТО ПРОЩЕ, К ТОМУ, ЧТО ВАЖНЕЕ. В развитии оценки будет происходить смещение фокуса с того, что проще оценить (мероприятия), на то, что важнее оценить (результаты, воздействие). 
4) АДАПТИВНОСТЬ. И в проектировании, и в оценке социальных программ и проектов все большее значение будет приобретать адаптивность - способность перестраиваться на ходу с учетом изменяющихся условий.  

четверг, 6 июня 2019 г.

Трудности внедрения оценки: российский опыт

Завтра Всемирный банк вместе с АСОПП проводят мероприятие в рамках глобальной недели оценки (gLocal). По формату, как я понял, это будет нечто среднее между семинаром и "круглым столом". Тема: «Российский опыт оценки: методология, реализация, развитие».
Запланировано три выступления и дискуссия. Александр Боровых расскажет об оценке в методических рекомендациях по разработке федеральных и региональных программ и о применении их на практике. Владимир Балакирев обсудит ситуацию с развитием оценки программ в России. Мне предложили сделать небольшое сообщение о проблемах внедрения оценки в России.

Буду говорить о трех проблемных областях:

  1. Низкое качество дизайна программ, которое порой сильно затрудняет их оценку.
  2. Смешение жанров, которое заключается в том, что оценку рассматривают как инспекцию и используют соответствующие подходы.
  3. Доминирование индикаторной оценки, которая при всех её преимуществах имеет свои ограничения и не позволяет получить ответы на некоторые весьма важные вопросы.
Все эти проблемы буду рассматривать применительно к оценке государственных программ. 

Мероприятие пройдет с 14 до 16 (мск). Будет онлайн трансляция с переводом на английский. 
Он-лайн подключение: WebEx, код: 733 279 281, пароль: N8TbqJ3W

вторник, 4 июня 2019 г.

Нашего полку прибыло

В России появилась новая некоммерческая организация - Центр перспективных управленческих решений (ЦПУР). Её единственный учредитель и руководитель Мария Шклярук поясняет: "У ЦПУР есть понятная миссия: мы хотим развивать в России принятие решений, основанное на данных (evidence-based & data-driven policymaking). Политики, государственные чиновники должны уметь просчитывать последствия своего выбора и в своих решениях опираться в том числе на доказательственные методы. Наша задача — с помощью этих методов, донесенных в простой и понятной форме, показать, как правильно принимать решения, которые будут достигать изначально задуманного результата, а не порождать больше проблем, чем было до начала их внедрения. Про российских чиновников часто говорят известную фразу: «Хотели как лучше, а получилось как всегда». Мы хотим сделать так, чтобы если «хотели как лучше», то и получилось лучше".

четверг, 23 мая 2019 г.

Счетная палата РФ опубликовала основные направления деятельности на 2019 – 2021

На сайте СП РФ подробно изложены основные направления деятельности на 3 года. "Главный фокус деятельности Счетной палаты — стратегический аудит, предполагающий мониторинг реализации и оценку достижения национальных целей майского Указа Президента. Кроме того, стратегический аудит позволит определить достаточность ранее утвержденных Правительством проектов и программ. По результатам стратегического аудита ведомство будет представлять свои рекомендации по дальнейшей работе."
Счетная палата планирует внедрить "практику предоставления рекомендаций, которые должны нивелировать и даже полностью искоренить выявленные проблемы". Это анонсируется как инновация. Таким образом, если раньше главной задачей было проблемы выявить (и здесь миссия СП РФ заканчивалась), то сейчас фокус будет на том, как эти проблемы решить. Задача, конечно, много сложнее. Тем более, что рекомендации должны быть хорошо обоснованы. "Это повышает нашу ответственность, потому что каждую нашу фразу, рекомендацию нужно будет защищать", - говорит председатель СП РФ А.Кудрин. 

среда, 15 мая 2019 г.

"Тирания показателей". Книга Джерри Мюллера переведена и уже в продаже.

Книга действительно необычная, поскольку автор подробно рассматривает негативные эффекты чрезмерного увлечения показателями. Вот перечень типичных ошибок, возникающих в результате, по мнению автора (особо отмечу, что речь, конечно же, идет о США): 
  • Измерение того, что легче всего измерить. То, что легче всего измерить, редко бывает самым важным.
  • Измерение простого, когда желаемый результат сложен. Фокусирование на измерении результатов, связанных только с одной целью, часто вводит в заблуждение.
  • Измерение вклада, а не результатов. Измеряем объем использованных ресурсов, а не полученные результаты. полученные результаты.
  • Снижение качества информации из-за стандартизации. Информация становится более достоверной и определенной, чем на самом деле.
  • Снятие сливок. К примеру, исполнители отдают предпочтение клиентам с менее сложными проблемами. Вероятность успешного решения проблемы в этом случае возрастает. 
  • Улучшение показателей за счет снижения стандартов. Снижение стандартов - один из способов улучшения результатов.
  • Улучшение показателей путем исключения или искажения данных. Например, полиция может "снижать" уровень преступности, переквалифицируя тяжкие преступления в мелкие правонарушения.
  • Подтасовка. Частота этого явления растет в прямой зависимости от значимости показателей. Например, в ответ на закон, повысивший значимость результатов тестирования знаний учащихся, учителя и директора школ во многих городах стали изменять ответы учащихся на тесты.

четверг, 25 апреля 2019 г.

Действительно ли имеет место положительный результат?

На официальном сайте губернатора и правительства Ульяновской области опубликована информация об итогах реализации Программы развития правовой грамотности и правосознания граждан в 2018 году. Документ содержит подробное освещение мероприятий Программы и выводы о её эффективности. Считаю, что сам факт проведения такой работы заслуживает уважения! Однако анализ данной публикации показывает, что методику проведения оценки программы можно и нужно усовершенствовать.
В документе говорится, что "оценка эффективности Программы проводится по итогам каждого года её реализации. Положительным результатом реализации Программы считается достижение плановых значений показателей её результативности, утверждённых указом Губернатора Ульяновской области от 18.06.2018 № 56, или превышение фактических значений показателей результативности Программы над их плановыми значениями."
Таким образом, коллеги используют индикаторную оценку. Важнейший принцип индикаторной оценки: показатели разрабатываются после разработки модели программы и "привязываются" к элементам этой модели. В рассматриваемом документе модель программы не фигурирует. В нем проводится развернутый анализ проведенных мероприятий, из которого следует, что программа была весьма масштабной и что все, что планировали сделать, было выполнено. 
Программный подход предполагает достижение определенного заранее известного результата. Модель программы должна была бы обосновать связь мероприятий (что делаем) с результатом (к чему это приводит). Соответственно, в программе должны быть показатели, связанные с деятельностью в рамках программы (мероприятиями) и с результатом программы. 
По названию программы можно предположить, что главным результатом программы должно было стать повышение правовой грамотности и правосознания граждан.
Теперь обратимся к выводам, которые сделаны по итогам реализации программы.
"Вывод по итогам оценки эффективности реализации Программы. Реализация Программы в 2018 году имеет положительный результат, так как в ходе её реализации из 7 показателей результативности:
  • 4 показателя превысили плановые значения;
  • 2 показателя достигли планового значения.
  • 1 показатель не достиг планового значения."
При ближайшем рассмотрении оказывается, что показатели, целевые значения которых достигнуты или превышены, не относятся к конечному результату программы, а характеризуют успешность реализации мероприятий (число участников, число посещений сайта, число публикаций и т.п.). 
Единственный показатель, целевое значение которого не достигнуто, как раз относится к цели программы: "Доля правильных ответов в общем количестве ответов граждан на вопросы, содержащиеся во Всероссийском (правовом) юридическом диктанте". 
Таким образом, итоги программы выглядят так: сделали все, что запланировали (и даже больше), но запланированного результата не достигли. 
Мне кажется, главный вопрос, который здесь возникает: почему так получилось? Без ответа на него рискованно продолжать программу в том же духе, ведь она не срабатывает так, как было задумано. Тут возникает необходимость в проведении эмпирической оценки. Индикаторы не помогут...

пятница, 19 апреля 2019 г.

Убедительность обоснований

Любопытная заметка Адриана Брауна (Adrian Brown) относительно убедительности обоснований эффективности (или неэффективности) программ.
Многие знают о том, что в США была программа , в рамках которой подростков группы риска (та категория детей, которых у нас ставят на учет в КДН) организованно возили на экскурсию в тюрьму. Замысел был такой: увидят, куда они могут попасть, и одумаются. Важной составляющей экскурсии (фактором воздействия) были оскорбления посетителей заключенными. В общем, можно сказать, что подростков пытались серьёзно напугать. Собственно, программа так и называлась Scared Straight. Знающие английский язык могут посмотреть видео.
В 2012 году был проведен систематический анализ 7 разных исследований данной программы, который показал, что программа не работает так, как было задумано. Напротив, она провоцирует правонарушения со стороны подростков, которые в ней участвовали. С тех пор в США и во многих других странах программа получила "черную метку" от апологетов доказательного подхода как "технология с доказанной неэффективностью". 
Между тем, по мнению А.Брауна, все не так просто. Если посмотреть внимательнее на те 7 исследований, которые легли в основу анализа эффективности программы, обнаруживается, что 
а) все исследования проведены в США,
б) они проведены достаточно давно (1967-1982)
в) лишь два из них являются статистически значимыми, при этом они оба имеют серьезные недостатки. В частности, в одном из этих исследований было обнаружено, что в экспериментальной группе (те, кто был на экскурсии в тюрьме) 5 подростков совершили преступления, а в контрольной группе (те, кто не был на экскурсии) преступления совершили 6 подростков. Таким образом, если бы в экспериментальной группе еще один мальчик совершил правонарушение, всё рассыпалось бы.

О чем, по мнению А.Брауна, следует подумать:
  • Насколько убедительны доказательства эффективности социальных технологий, которые подаются под маркой "систематического анализа"? 
  • Не может ли жесткая ориентация на "доказанную эффективность" мешать внедрению новшеств и сбору информации о том, что может, на самом деле, работать?
  • Возможно, практикующим специалистам не следует слишком уж "зацикливаться" на формальных критериях "убедительности обоснований". Постоянная рефлексия собственного опыта и обсуждение того, что работает, а что не работает и почему, могут оказаться весьма полезными.
Благодарю за информацию о данной публикации Даниила Цыганкова!

среда, 10 апреля 2019 г.

С тендером или без тендера

Выбор консультанта для проведения оценки (как, впрочем и любого другого консультанта) может производиться на конкурсной основе или без конкурса.

В случае, когда конкурс не проводится, клиент может включить консультанта в обсуждение технического задания на проведение оценки на самых ранних стадиях. По существу, помощь в формировании технического задания становится в этом случае частью услуги, которую оказывает консультант. 

Ситуация с объявлением тендера* имеет ряд существенных отличий.

Во-первых, клиенту необходимо самостоятельно подготовить достаточно детальное описание предстоящей оценки с указанием сроков и - иногда - ориентировочного бюджета. Эта работа требует со стороны клиента не только затрат времени, но и наличия определенных компетенций. С нами как-то даже заключили контракт на подготовку объявления о международном тендере на проведение оценки. Естественно, мы в этом тендере не участвовали, что было оговорено в контракте. 

Во-вторых, клиенту следует позаботиться о том, чтобы все участники тендера оказались в равных условиях: 
  • у них должна быть одна и та же информация о предстоящей оценке (объявление о тендере),
  • они должны понимать, какие есть возможности для общения с клиентом до подачи заявки (к кому можно обращаться за уточнениями и каков порядок этих обращений).
В третьих, клиент должен иметь хорошо прописанные формальные процедуры проведения тендера и следить за их неукоснительным соблюдением. 

По завершении тендера клиент может обсудить техническое задание с выбранным консультантом. Однако, здесь уже будет меньше пространства для маневра, поскольку основные параметры ТЗ уже были указаны в объявлении о тендере. 

*Википедия предлагает следующее определение: "Те́ндер (англ. tender — заявка на подряд) — конкурентная форма отбора предложений на поставку товаров, оказание услуг или выполнение работ по заранее объявленным в документации условиям, в оговоренные сроки на принципах состязательности, справедливости и эффективности. Контракт заключается с победителем тендера — участником, подавшим предложение, соответствующее требованиям документации, в котором предложены наилучшие условия. В отличие от аукционов, участники тендера не имеют доступа к условиям, предложенным конкурентами.
На начало 2018 года термин «тендер» в Российской Федерации законодательно не определён, поэтому в официальных документах не используется. В повседневной речи может являться как аналогом русских терминов конкурс или аукцион, так и других конкурентных процедур, например, запрос цены, запрос предложения."

четверг, 4 апреля 2019 г.

К сожалению, точка зрения специалистов по оценке не может быть принята во внимание

Время от времени получаю письма с просьбой принять участие в анкетировании, связанном с оценкой. Считаю для себя участие в таких мероприятиях обязательным, т.к. иначе знание об оценке развивать будет невозможно.
Только что получил очередное приглашение. Теперь от исследователей из Цюриха (ZHAW School of Management and Law, Zurich University of Applied Sciences). В преамбуле поясняется, что мне написали как члену Американской ассоциации оценки. Тема исследования - независимость оценки. Тема меня интересует, и мне есть что сказать по этому поводу. 
Начал отвечать. 
Первый вопрос: в какой роли Вы участвуете в оценке - как клиент или  как оценщик? 
Отметил, что как оценщик и приготовился отвечать дальше. 
А дальше такое сообщение: "К сожалению, точка зрения оценщиков или сотрудников оценочных служб не может быть принята во внимание в этом опросе".
Ну да, что с нами-то обсуждать независимость оценки? 
И далее: "Поскольку любое дополнительное участие в опросе важно, мы будем благодарны, если вы передадите следующую ссылку на опрос другим клиентам оценки в вашей сети..."
Ну а вот это вряд ли.
И, наконец, "Большое спасибо за Вашу поддержку!" )))))))))))))))))))))) 
Занавес.

PS Понимаю всё про дизайн исследования и критерии отбора респондентов. Наверное, им так надо. Но уж очень неожиданно и как-то нелепо вышло :) Предполагаю, что большинство членов Американской ассоциации тоже чаще бывают в роли оценщиков, а не клиентов. Так что многие так же отреагируют... 

Донна Подемс "Путь оценщика: практическое руководство"

В 2000 году конференция Американской ассоциации оценки проходила в городе Гонолулу на Гавайях. Там я обратил внимание на молодую женщину, которая задавала очень хорошие вопросы. Например, она спрашивала, почему в жизни мониторинг-и-оценка как бы неразделимы (даже аббревиатура устоявшаяся есть в английском - M&E от monitoring-and-evaluation), а на конференции говорят только об оценке. Это была Донна Подемс (Donna Podems) - американка, которая последние 20 лет живет в ЮАР. 

Мы с Донной в профессии двигались параллельными курсами и, соответственно, многое обсуждали: 
  • она занималась практическим проведением оценки программ и проектов;
  • она создала консалтинговую компанию, специализирующуюся в сфере оценки; 
  • она получила степень доктора философии (PhD) со специализацией в сфере организационного развития и оценки (её научным руководителем был Майкл Пэттон); 
  • она стала преподавать оценку в университете;
  • она активно участвовала в создании и развитии национальной ассоциации оценки в ЮАР, а также в жизни Американской ассоциации оценки.
Думаю, не ошибусь, если скажу, что сегодня - спустя без малого 20 лет с момента нашего знакомства - Донна входит в число ведущих специалистов в нашей профессии в мире. Она написала несколько книжек; по поручению Американской ассоциации координировала разработку перечня профессиональных компетенций специалиста по оценке для США; преподаёт оценку в университете Йоханнесбурга (ЮАР) и в университете Мичигана (США). 

В прошлом году вышла новая книга Донны Подемс, название которой можно перевести так: "Путь оценщика. Ваше практическое руководство в сфере оценки". Читаю и узнаю Донну :) Например, в разделе, где подробно обсуждается разница между мониторингом и оценкой, она даёт примерно такую практическую рекомендацию: "Если вас попросят организовать 'мониторинг-и-оценку', обязательно попросите пояснить, что именно люди имеют в виду и желательно с примерами. Если они сами не смогут объяснить, то предложите им своё видение (тоже лучше с примерами) и спросите, устроит ли их такой вариант". 

С большим удовольствием рекомендую читателям моего блога Донну Подемс и её новую книгу!

вторник, 26 марта 2019 г.

Методика анализа и оценки магистерских программ от ТГУ

В Томском государственном университете при поддержке Фонда Потанина реализован проект "Разработка методики анализа и оценки магистерских программ". Результат проекта - коллективная монография под ред. Е.А.Сухановой, размещенная в открытом доступе на сайте ТГУ.

В монографии обсуждаются существующие подходы к анализу и оценке качества магистерских программ; обосновывается модель оценки эффективности, положенная в основу новой методики; описывается процесс формирования и апробации методики; даются рекомендации по ее использованию. Для интересующихся деталями приводится матрица критериев и показателей методики анализа эффективности магистерских программ.

Авторы предлагают рассматривать методику как "инструмент "второго уровня" в процессе управления развитием программы. Это не инструмент для мониторинга качества. Мы исходим из того, что у реализуемых магистерских программ постулированы образовательные результаты и они достигаемы. А вот насколько эти результаты востребованы рынками, капитализированы выпускниками, отражаются в продуктах магистратуры (исследованиях, стартапах, сетях и т.д.) – это задача анализа эффективности".

Методику рекомендуется применять после первого полного цикла реализации программы и далее ежегодно.

Методика позволяет "оценить эффективность образовательной программы по трем категориям: удовлетворенность, результативность, актуальность.
1. Удовлетворенность – субъективная качественная оценка выпускниками содержания, технологий, результатов образовательной программы и ее влияния на карьерный рост.
2. Результативность – объективная и субъективная качественная и количественная оценка влияния образовательной программы на образовательные результаты, социальную и карьерную траекторию выпускников. Респондентами являются выпускники и работодатели, используются также статистические показатели.
3. Актуальность – объективная и прогностическая качественная оценка работодателями и экспертными группами субъектов социально-экономического и технологического развития целевых установок и образовательных продуктов программы глобальной, национальной и региональной повестке".

Публикация, вне всякого сомнения, весьма актуальная и может представлять интерес не только для тех, кто занимается оценкой в сфере образования.

PS Мне показалось, что с текстом монографии следовало бы еще поработать и редактору, и корректору: не всегда с первого раза удается понять, о чем речь (см., к примеру, описание оценки актуальности в приведенной выше цитате), и довольно много опечаток, что досадно.  

пятница, 22 марта 2019 г.

Оценка программ: методика, метод, методология

Начну с цитаты из статьи Афанасьева М.П. и Шаш Н.Н. "ИНСТРУМЕНТАРИЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ БЮДЖЕТНЫХ ПРОГРАММ":
"В современных условиях в связи с переходом на программно-целевое бюджетирование необычайную актуальность приобретает проблема качественного улучшения различных видов бюджетных программ, реализуемых в Российской Федерации. Всегда ли программные мероприятия достигают своих целей? какие результаты мы получаем? как нам следует усовершенствовать программные документы? Получить достоверный ответ на эти вопросы можно лишь при условии использования эффективного инструментария оценки, что требует разработки и внедрения оценочных методов и процедур, позволяющих наиболее адекватно измерить результаты в ходе реализации программ.
Несмотря на стратегическую важность данной проблемы, и по сей день ни в российской, ни в зарубежной практике не создано единой методики, позволяющей построить систему оценки эффективности реализуемых бюджетных программ разного уровня (курсив мой - АК)".

Надо отметить, что тема необходимости разработки единой методики возникает очень часто, как только речь заходит об оценке чего-либо, например, 
Список можно было бы легко продолжить. Чем же так привлекательна идея "единой методики оценки"? Когда объекты оценки однотипны; вопрос, на который призвана ответить оценка, один и тот же, а результаты оценки разных объектов необходимо сравнивать либо между собой, либо с какими-то нормативами или стандартами, единый алгоритм оценки (или единая методика) совершенно необходим. Словарь определяет методику как "установленный способ осуществления деятельности; готовый «рецепт», алгоритм, процедуру для проведения каких-либо нацеленных действий".  

понедельник, 11 марта 2019 г.

Использование результатов оценки: есть ли шанс что-то улучшить? (видео)


В марте прошлого года меня пригласили выступить на конференции, которая проводится раз в два года для специалистов по оценке Международной организации труда. Получилось так, что моё выступление услышал Гийом Мерсье (Guillaume Mercier), старший менеджер программ Международного тренингового центра Международной организации труда (ITC ILO). Гийом предложил сделать короткую онлайновую версию этого выступления. Все, что потребовалось от меня, - это скомпоновать 20-минутную презентацию (вместо 1,5 часов) и рассказать на камеру. Остальную работу сделал Гийом, за что ему огромное спасибо!!! Содержание, конечно, можно обсуждать и критиковать, но видео получилось красоты неземной, тут двух мнений быть не может :)  Приглашаю всех желающих посмотреть (англ.язык).
Сообщение на русском языке на ту же тему было представлено на последней конференции АСОПП. Видео нет, но презентацию можно посмотреть и скачать.

среда, 6 марта 2019 г.

Допущения

Сегодня в новостных лентах прошла информация о том, что спикер Совета Федерации Валентина Матвиенко предлагает оценивать решения, принимаемые правительством страны и депутатами, на основании того, как они влияют на уровень счастья россиян. В пример она привела Объединенные Арабские Эмираты, где было создано министерство счастья и благосостояния. «Любое решение, которое готовит правительство, проходит экспертизу этого министерства на предмет того, будет ли лучше людям от этого, будут ли они более счастливы», — отметила Матвиенко на встрече с женщинами — участницами конкурса «Лидеры России», ее слова приводит «Интерфакс». По мнению спикера Совета Федерации, в России было бы полезно внедрить экспертизу, которая бы показывала, как каждое действие чиновников и депутатов скажется на счастье людей.

Если мысль Валентины Ивановны изложена без искажений, то она основана на двух допущениях: 
1) Любое решение чиновников или депутатов влияет на счастье людей.
2) Все решения, которые принимают чиновники или депутаты, должны делать людей более счастливыми. 

Мне кажется, что оба допущения - спорные.

среда, 27 февраля 2019 г.

Зачем СП РФ нужны специалисты по оценке

На днях в новостях АСОПП было размещено объявление о вакансии "Аналитик (оценка проектов)". Нужен такой специалист Счетной палате РФ. Вероятно, все это происходит в рамках реализации стратегии СП РФ, опубликованной в августе прошлого года. Здесь можно о стратегии прочесть.
Счетная палата занимается аудитом. Аудит и оценка - смежные области. Наверное, ближе всего к оценке т.н. "стратегический аудит". Вот его определение в версии СП РФ:
"Стратегический аудит – составная часть аудита, осуществляющая проверку основных стратегических решений и стратегии развития организации. Стратегический аудит базируется на данных финансового, налогового и управленческого аудита, ориентирован на долгосрочную перспективу и учитывает влияние внешних факторов макросреды.

Счетная палата Российской Федерации использует в своей деятельности принципы системного аудита, включающего в себя три компонента:
– финансовый аудит как оценка законности произведенных расходов.
– аудит эффективности как оценка целесообразности и продуктивности расходования ресурсов.
– стратегический аудит как экспертиза достижения национальных целей, поставленных руководством страны.
При проведении стратегического аудита аудитор оценивает результаты проведенного в организации стратегического анализа, осуществленный стратегический выбор и реализацию стратегии, а также контроль за ее реализацией. При этом нефинансовые, качественные показатели становятся доминирующими, особенно на уровнях аудита эффективности и стратегического аудита. Это требует разработки соответствующих методов и подходов при проведении аудита.
Стратегический аудит выявляет степень связи социальной политики со спецификой организации и внешними условиями. Каждая из частей стратегического аудита базируется на соответствующей области стратегического учета и стратегического анализа, все это сливается в совокупности в учетно-аналитическое обеспечение принятия стратегических решений, которые в сочетании со стратегией развития организации подлежат стратегическому аудиту."
Еще один вид аудита, который еще ближе к оценке - это т.н. performance audit. Иногда этот термин переводят как "аудит эффективности". На мой взгляд, не очень удачный перевод. Но главное - суть. Вот определение этого вида аудита
"Performance audit является независимой проверкой программы, функции, операции или систем и процедур управления правительственной или некоммерческой организации для оценки того, достигает ли организация экономии, эффективности и результативности в использовании имеющихся ресурсов"

четверг, 21 февраля 2019 г.

Степень участия

Речь пойдет об оценке с участием детей. Тема в последнее время много обсуждается на разных уровнях. Я тоже считаю её важной.
Начнем с того, что при оценке инициатив, ориентированных на детей, важно рассматривать детей как источник информации. Как ни парадоксально, это происходит не всегда. Причины - самые разные. Например, с детьми не всегда работают традиционные методики - надо что-то изобретать. В частности, если дети маленькие или особые. Другая причина - уверенность в том, что взрослым виднее, на то они и взрослые. 
Но использование детей лишь в качестве источника информации - это минимальный вариант их включения в оценку. На самом деле, можно организовать процесс оценки таким образом, что дети будут полноценно участвовать в нем (естественно, в меру своих сил) от начала и до конца, т.е. от постановки задачи до представления результатов. В этом случае работа взрослых - обучение, фасилитация, наставничество.  
Таким образом, степень участия детей в процессе оценки можно изобразить в виде шкалы, на левом полюсе которой дети как источник информации, а на правом - дети как полноценные исполнители оценки. При этом роль взрослого меняется от специалиста, ответственного за проведение оценки (левый полюс) до фасилитатора или наставника (правый полюс). И, естественно, появляется бесконечное множество вариантов участия детей, находящееся между этими полюсами. То же самое можно сказать и о роли взрослого.

среда, 13 февраля 2019 г.

Мониторинг достижения национальных целей

Счетная палата Российской Федерации разместила на своем сайте информацию о ключевых показателях национальных проектов; а также о показателях, на основе которых измеряется достижение национальной цели. В разделе "Мониторинг достижения национальных целей" есть данные по значениям показателей по состоянию на конец 2017 года и на данный момент. Все данные можно выгрузить в формате Excel. Там больше информации, чем видно на сайте, в частности, имеются значения показателей за 2015 и 2016 гг. 

среда, 6 февраля 2019 г.

Обновленный сайт АСОПП

Возможно, пока не все заметили, что сайт АСОПП теперь выглядит по-новому. Мне очень нравятся и новый дизайн (выполнен профессионально с учетом фирменного стиля ассоциации), и новый функционал сайта (не всё заметно пользователям, но там появились важные новые функции). Библиотека теперь полностью открыта для всех интересующихся (не обязательно членов АСОПП) и там намного больше материалов, чем раньше. Создана онлайновая система подачи заявок на выступления на конференции, которой можно будет воспользоваться уже в этом году.
Реконструкция сайта АСОПП стала возможной благодаря гранту Комитета общественных связей (КОС) города Москвы, за что ему огромное спасибо. 
Это была большая работа, которую координировала член Правления АСОПП Елена Журавлева. Я знаю, сколько сил и времени Елена потратила на этот проект и хотел бы выразить ей особую признательность. Естественно, отдельно надо поблагодарить дизайнера Екатерину Лангваген и программиста Елену Дёмину, которые выполнили свои задачи профессионально в установленные сроки и с душой. 
Хотел бы поздравить Правление АСОПП, которое инициировало реконструкцию сайта; всех, кто был причастен к этой работе, но кого я не упомянул выше; а также всех членов нашей ассоциации с новым сайтом! 

четверг, 31 января 2019 г.

Наставничество в сфере оценки

Международная инициатива EvalYouth запускает программу наставничества (по-английски наставник - mentor). Мне предложили принять участие в качестве наставника. Для начала нагрузка будет небольшая - 4 онлайновых либо личных встречи продолжительностью 1 час каждая.

Коллеги из EvalYouth разработали программу, которая "состоит из теоретической части (три модуля с базовой информацией о принципах оценивания, сферах, организациях в оценивании и т д,  видео и литературой для учеников, а также с перечнем предлагаемых тем для обсуждение с ментором), а также практической частью, когда ученик и ментор могут обсудить практические аспекты проведения оценки, которые их интересуют" (цитирую из письма, которое мне прислали). 

Мне понравилось, что процесс взаимодействия с наставником определенным образом (мягко) регламентирован. Например, на первой встрече рекомендуется выполнить следующие задания: 
  • Познакомиться и обменяться контактной информацией;
  • Обсудить, почему вы решили работать в сфере мониторинга и оценки;
  • Обсудить ожидания ментора и ученика от участия в программе и любые потенциальные проблемы или вопросы, которые могут у вас возникнуть;
  • Договориться о методах совместной работы и общения (какой платформой Вам наиболее удобно пользоваться: скайп, месенджер, вотсапп, вайбер и др.)
  • Обсудить результаты самооценки компетенций ученика как специалиста по оценке; определить области профессионального и личностного развития ученика и определить, какую поддержку может оказать ему ментор  в этом процессе;
  • Обсудить ожидание ментора от участия в программе: чем ученик может быть полезным для профессионального развития ментора.
В конце встречи обоим участникам предлагается заполнить небольшую анкету.
То есть инициаторы программы фасилитируют и мониторят процесс.

Мы некоторое время тому назад занимались вопросами оценки программ наставничества, поэтому с организацией таких программ тоже познакомились. Будет очень интересно попробовать, как это может работать на практике. 

среда, 23 января 2019 г.

Рейтинг консалтинговых компаний России

Представьте себе, что Вам нужно нанять консалтинговую компанию для разработки стратегии развития Вашей организации. Для того, чтобы сориентироваться в ситуации, Вы обращаетесь к рейтингам. Это вполне оправдано, потому что составители рейтингов уже провели предварительную оценку (отобрали компании по определенным критериям). Для составления разных рейтингов используются разные критерии. В результате компании, лидирующие в одних рейтингах, вообще не присутствуют в других либо не занимают там лидирующих позиций. Следовательно, когда Вы пользуетесь рейтингами, надо обязательно полюбопытствовать, на основании каких критериев они составлялись. 
Теперь вопрос: какую компанию Вы выберете в качестве консультанта - ту, которая заняла первое место в рейтинге крупнейших консалтинговых компаний России (2000 специалистов, выручка за год - 17 млрд.рублей) или ту, которая предоставила больше всего официальных положительных письменных отзывов клиентов за год и заняла первое место в соответствующем рейтинге? Ответ неочевиден, есть о чем подумать, верно? 
Ну а я пока поздравлю наших коллег и друзей из Консалтинг-центра "ШАГ" с тем, что их компания возглавила второй из вышеупомянутых рейтингов! Это так называемый Рейтинг MOTTON PIK 2019. Посмотрите правила, по которым он формируется. Это любопытно!

четверг, 17 января 2019 г.

Пятая нога

Так назвали свою новую книгу Евгений и Светлана Емельяновы - основатели Консалтинг-центра "Шаг". Речь идет о наблюдательном совете в развитии малого и среднего бизнеса. Книга основана на огромном опыте бизнес-консультирования ("Шаг" выполнил более 800 проектов для 300 с лишним компаний) и содержит множество практических примеров. Текст построен в формате ответов на наиболее значимые вопросы, касающиеся наблюдательных советов. Книга размещена в открытом доступе на сайте "Шага". Скачивайте (бесплатно!) и читайте. Очень рекомендую.

пятница, 11 января 2019 г.

Обсудили планы на 2019 и далее

Начали новый год с обсуждения стратегии компании с партнерами - Натальей Кошелевой и Владимиром Балакиревым. С удовольствием пообщались неспеша в спокойной деревенской обстановке. Такое случается нечасто. Тем приятнее оно...