Не заметил :)

Сегодня на семинаре обсуждали метод наблюдения. Предложил участникам посмотреть вокруг, собрать какие-то факты об их непосредственном окружении и предложить интерпретацию этих фактов. Один из участников говорит: "За каждым из 6 столов есть участники из Африки". Спрашиваю, что это - факт или некое суждение, которое он вынес в результате интерпретации своих наблюдений. Он говорит: "Факт". Я спрашиваю, как он догадался, подразумевая, что сейчас-то он как раз и развернет перед нами цепочку своих рассуждений. И тут его соседка указывает мне на стоящие на столах таблички с именами участников и названиями стран, которые они представляют :) 

Оценка устойчивости организации

Тема это важная, потому существуют многочисленные модели и инструменты оценки устойчивости организаций и программ. К примеру, методика оценки устойчивости программ (Program Sustainability Assessment Tool), предложенная Washington University, предполагает анализ 8 компонентов, каждый из которых оценивается по 5 шкалам:

1. Политическая поддержка
2. Партнерства (поддержка со стороны местного сообщества)
3. Стратегическое планирование
4. Адаптивность
5. Организационный потенциал
6. Коммуникации
7. Финансовая устойчивость
8. Анализ и оценка собственной деятельности

Все, вроде, разумно. Каждый из 8 пунктов - судьбоносный, но в какой мере, на самом деле, устойчивость программы или организации зависит от всех этих факторов? Что определяет, увидим ли мы организацию работающей через 5, 10, 15 лет? 

Мой опыт свидетельствует о том, что устойчивость небольшой организации - малого бизнеса или НКО, в первую очередь, зависит от того, насколько сильно лидеры-учредители организации хотят, чтобы она дальше жила. Если очень хотят, то в трудные времена затягивают пояса потуже, снижают до минимума фиксированные затраты, находят временные источники заработка, но организацию сохраняют. И трудные времена проходят. Если же хотят не очень, то могут прикрыть "лавочку" уже при появлении первых признаков неблагополучия, не дожидаясь по-настоящему трудных времен. 

Мне могут возразить: бывают объективные обстоятельства, при которых организацию надо закрывать. Не спорю, бывают. Но эти обстоятельства возникают по большей части тогда, когда их сочтут таковыми люди, создавшие организацию. Не раньше. (Форс-мажор в виде законодательных актов и т.п. здесь не рассматриваем).

Команда консультантов

Довольно часто оценку проводит не один человек, а небольшая команда, состоящая, как правило, из 2-4 человек. Необходимость привлечения нескольких специалистов может быть продиктована разными причинами. Перечислю некоторые из них: 

1. Большой объем работ, с которым невозможно справиться одному человеку в разумные сроки.
2. Потребность в специальной экспертизе. В этом случае в команду могут быть включены люди, компетентные в определенной области, но не обязательно имеющие опыт проведения оценки программ. 
3. Необходимость встраивания оценки в специфический контекст. Например, при проведении оценки зарубежным специалистом, важно иметь в команде местного специалиста, который не только не нуждается в переводчике для сбора данных, но и хорошо ориентируется в особенностях ситуации, чувствует и понимает такие вещи, которые зарубежному специалисту недоступны.   

В команде должен быть руководитель, человек, отвечающий за конечный результат и за соответствующую организацию работ. В международной терминологии эту позицию называют Team Leader. При проведении тендеров отдельно описываются требования к руководителю команды и к членам команды. Здесь мы подходим к очень важному моменту. Для того, чтобы все получилось хорошо, мало подобрать людей с нужными компетенциями. Эти люди должны стать настоящей командой, между ними должны сложиться конструктивные отношения, они должны принять лидера и поддерживать его. 

С учетом особой ответственности лидера за результат, мне кажется очень правильным шагом привлечение этого человека к формированию команды. Например, при подготовке к проведению оценки за рубежом меня пригласили в качестве руководителя команды (международного консультанта) принять участие в собеседованиях с кандидатами на позицию местного консультанта. Мы проводили собеседования вместе с представителем заказчика и выбрали подходящего человека по взаимному согласию. 

К сожалению, такой подход используется далеко не всегда. Зачастую "команду" формирует заказчик по своему усмотрению, и руководитель команды попросту оказывается перед необходимостью работать с определенными людьми. Такой подход сопряжен с серьезными рисками. Например, между людьми могут не сложиться отношения, что пагубно скажется и на процессе, и на результатах оценки. Команда - это не только компетенции, это еще и психология! И об этом, кстати, очень много написано. 

Школа оценки 3 в 1

Хотел бы обратить внимание посетителей моего блога на возможность пройти обучение в
Школе оценки для представителей некоммерческих организаций. Пожалуйста, поделитесь этой информацией со своими знакомыми, которым это может быть интересно.

Обучение включает следующие этапы:
1) Трехдневный вводный семинар в Москве 13-15 октября.
2) Сразу после семинара участники Школы приглашаются на конференцию АСОПП (16-17 октября).
3) Далее участники самостоятельно проведут внешнюю оценку реальных проектов. По ходу её выполнения они смогут получить дистанционные консультации.
4) Весной 2020 года в Москве пройдет второй семинар, на котором будут проанализированы результаты самостоятельной работы участников, а также будут рассмотрены особенности отдельных актуальных для российских НКО видов оценки.
5) После этого участники Школы проведут в своих регионах различные мероприятия, посвященные оценке.
Мероприятия проводятся в рамках проекта «Школа оценки 3 в 1», который выполняется с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов Некоммерческому партнерству «ИнА-Центр» (г. Новосибирск).

Проведение вводного семинара организаторы Школы поручили нам с Владимиром Балакиревым. Мы также будем участвовать в консультировании слушателей при выполнении ими самостоятельной практической работы. В проведении второго семинара примут участие несколько специалистов, состав которых пока уточняется. Вероятно, мы с Владимиром там тоже поучаствуем.

Регистрация на «Школу оценки 3 в 1» открыта до 9 сентября 2019 года.
С информацией о проекте можно ознакомиться здесь, а посмотреть условия участия в мероприятиях и зарегистрироваться для участия в Школе можно здесь. Отбор участников Школы проводится на конкурсной основе. 

Конференция АСОПП-2019

Предлагаю нетрадиционный взгляд на программу конференции АСОПП-2019. Для создания облака из слов использовались полная версия программы и онлайновый сервис WordCloud.

Ландшафт оценки. Взгляд с высоты..

Сегодня открылась регистрация участников конференции АСОПП-2019. Перед конференцией 15 октября пройдут семинары. Я провожу семинар №4 "Ландшафт оценки. Взгляд сверху." (после обеда). Хотел бы в двух словах объяснить замысел этого мероприятия. Мы рассмотрим 80 видов оценки, которые приведены в 4-м издании книги Майкла Пэттона "Utilization-focused evaluation". Поскольку времени у нас будет 180 минут (2 сессии по 1,5 часа), то в среднем на каждый вид оценки придется примерно 2,5 минуты! :) Думаю, кое-какие виды оценки сможем сгруппировать, но время все равно будет весьма ограничено.

Что точно успеем: 

1) дать определение каждого вида оценки и кратко обсудить его отличительные особенности,

2) назвать автора и публикацию, в которой этот вид оценки освещается (по возможности, приведем ссылки на открытые источники),

3) обсудить актуальность каждого вида оценки для участников семинара в режиме "блиц",

4) всем участникам раздать презентацию (в электронном виде, каждый сможет скачать ее для себя).

Чего точно не успеем: сколько-нибудь подробно обсудить какой-либо вид оценки. 

Процесс будет выглядеть как экскурсия с очень короткими остановками у каждого экспоната.

Этот семинар предназначен для тех, кто имеет, как минимум, базовые представления об оценке и хочет расширить свои представления о предмете. 

XXIII конгресс INTOSAI

INTOSAI (ИНТОСАИ) - международная организация, создана в 1953 году, в нее входят высшие органы государственного финансового контроля 196 стран мира. Счетная палата РФ является членом ИНТОСАИ с момента своего создания в 1995 году и активно участвует в ее деятельности. Российский контрольный орган работает во всех основных управляющих и рабочих органах ИНТОСАИ, включая Комитет по профессиональным стандартам и Комитет по обмену опытом.

В 2016 году XXII Конгресс ИНТОСАИ, определил высший орган аудита Российской Федерации (Счетную палату РФ) принимающей стороной XXIII Конгресса ИНТОСАИ, который пройдет в Москве с 23 по 29 сентябре этого года.


Темы конгресса:
I. «Информационные технологии в развитии государственного управления»

      Подтема I.1

      Важность применения достоверной и оперативной информации в электронном виде для развития государственного управления

      Подтема I.2

      Место и роль больших данных в деятельности высших органов аудита 

II. «Роль высших органов аудита в достижении национальных приоритетов и целей».

       Подтема II.1

       Стратегический аудит: роль высших органов аудита в оценке реализуемости целей, результатов и рисков государственных проектов и программ

        Подтема II.2

        Прогнозирование и аналитическая деятельность в высших органах аудита: экологические и социальные аспекты устойчивого развития. 

Хотел бы обратить внимание коллег, занимающихся оценкой программ и проектов, на тему II. Счетная Палата не только включает оценку в свою повестку, но и выносит эту тему на обсуждение мирового профессионального сообщества. 

Ещё раз о "законе Кемпбелла"

В 1976 году американский исследователь Дональд Кемпбелл в своей работе "Оценка влияния запланированных социальных изменений"* написал: «Чем больше любой количественный (или даже качественный) индикатор используется в процессе принятия социально-значимых решений, тем в большей степени он становится подвержен коррупционному давлению и тем в большей степени он будет искажать и нарушать социальные процессы, для мониторинга которых он был изначально предназначен». Именно это стали впоследствии называть "законом Кембелла", справедливость которого получила массовые подтверждения по всему миру.

Сегодня интернет-газета ZNAK опубликовала статью под названием "Кабмин утвердил KPI для губернаторов. Эксперты ожидают манипуляций с данными". Чего же ожидают эксперты газеты? Вот один из примеров: "...Также в числе критериев оценки борьба с бедностью. Здесь оценка будет производиться по числу людей с доходами ниже прожиточного минимума. К 2024 году их должно стать меньше вдвое. Эксперты предупреждают, что прожиточный минимум устанавливают регионы, и местные власти могут им манипулировать, составляя корзину из более дешевых товаров, чтобы сократить число бедных".

*Campbell, Donald T. (1976) Assessing the Impact of Planned Social Change

Заявки на выступление на профессиональной конференции и их оценка

Каждый год по всему миру проходят десятки профессиональных конференций по оценке. В подавляющем большинстве случаев программы таких конференций формируются на основе конкурсного отбора заявок на выступления. Для того, чтобы отобрать лучшие заявки, нужна система их оценки. В общем, и здесь оценка...

Важное предварительное соображение: поскольку проводится конкурс, то надо, чтобы участники были в равных условиях. Для этого они все должны понимать, какие требования предъявляются к заявкам на выступления со стороны организаторов конференции. И эти требования должны соответствовать критериям оценки заявок. Здесь, кстати, без критериев никак не обойтись, поскольку имеет место сравнение. 

Какими могут быть критерии оценки заявок? 

Вот примерный вариант, который используют наши американские коллеги:

• Соответствие теме конференции. Раз объявляется тема конференции, то важно, чтобы люди именно в этом контексте представили свой материал. Тема конференции, как правило, формулируется достаточно широко и позволяет любое сообщение подать в нужном свете. 
• Значимость для участников конференции. Тут комментировать особо нечего, все понятно. Вспоминаю мои первые конференции, когда заявка на тему "Развитие оценки в России и СНГ" принималась и включалась в программу, но на выступление приходили из солидарности лишь немногочисленные участники... из России и СНГ. Как-то раз даже решили по-русски делать доклад, т.к. англоязычных участников не оказалось в зале вообще.  
• Техническое качество заявки. Тут без комментариев.
• Инновационность. Более ценными представляются заявки, в которых содержится нечто новое - подход, метод, инструмент, модель и т.д. 
• Уровень обобщения. Одно дело, когда человек просто делится своим опытом, и совсем другое, когда выступающий предлагает рефлексию по поводу своего опыта; обобщения, которые могут оказаться применимыми в разных сферах. 

Естественно, для каждого критерия разрабатывается соответствующая шкала. 

На больших конференциях лучшие заявки ставятся на "прайм-тайм" - такое время, когда участники конференции уже проснулись, не очень устали, и еще не начали разъезжаться по домам. Таким образом повышаются шансы, что хорошие выступления услышат многие. Когда заявка получает не очень высокую оценку, выступление может быть запланировано, например, на 7 утра (это не шутка!) с минимальными шансами на аншлаг. Многие по этому поводу возмущались, и теперь таких ранних сессий нет. Первые сессии начинаются в этом году на конференции Американской ассоциации оценки в 8.00, что, по нашим меркам, тоже довольно рано. Но это уже другая история :)  

Консультант как горный гид

На днях исполнилось 25 лет компании "ШАГ консалтинг". Основатели этой компании Евгений и Светлана Емельяновы - наши давние друзья: мы познакомились за несколько лет до того, как учредили свои компании. Работа ШАГа меня всегда восхищала. Достаточно посмотреть на их сайт, чтобы понять, насколько серьезный и успешный консалтинговый бизнес удалось выстроить коллегам! В течение последних 4-х лет ШАГ возглавляет рейтинг российских компаний, занимающихся бизнес-консультированием, а из первой тройки, по-моему, никогда не "выпадал".

Евгений Емельянов в обращении к посетителям сайта ШАГа пишет: "Если говорить о том, что такое консалтинг от ШАГа, то самая близкая мне аналогия – это работа проводников, тех, что ведут по местности. Как шерпы на семитысячниках, как Дерсу Узала в тайге."  Мне эта метафора очень понравилась. Первое, что пришло в голову: горные гиды никогда не бросят клиента. На такого консультанта можно положиться! Решил ради интереса заглянуть в Этический кодекс горных гидов России. Обнаружил там положения, которые действительно вполне применимы к деятельности консультанта по управлению. Судите сами (цитата взята с указанного выше сайта АГГР - Ассоциации горных гидов России): 

"1. Безопасность является главным приоритетом в работе. Наши личные интересы и цели интересы наших клиентов должны быть второстепенными по отношению к безопасности.

​​2. Безопасность других людей в горах также является нашим приоритетом, и мы должны, когда возможно оказывать им помощь в чрезвычайных ситуациях. Однако такая помощь может оказываться только в тех случаях, когда это не отразится на безопасности наших клиентов.

3. Наши клиенты имеют право в полной мере рассчитывать на то, что все гиды АГГР имеют техническую и методическую подготовку, соответствующую современным профессиональным требованиям и стандартам.

4. Гиды всегда должны выглядеть профессионально, использовать только качественное снаряжение, соответствующее поставленным задачам и находящееся в полноценном функциональном состоянии.

5. Гиды должны объективно оценивать пределы своих собственных физических и технических возможностей и своего опыта, и выбирать только те маршруты, которые полностью соответствуют текущему уровню их квалификации.

6. Во время пребывания в любых горных районах России и мира все гиды, представляющие АГГР, должны вести себя в соответствии с принятыми нормами и правилами поведения в данных горных районах.

7. Гиды должны бережно относиться к окружающей среде, традициям и обычаям местного населения, а также должны уважать ограничения доступа и правила, установленные организациями по защите окружающей среды в России и мире.

8. Гиды АГГР должны уважительно относиться к своим и чужим клиентам, гидам других организаций, не допускать неуважительного отношения, панибратства, некорректной коммуникации.

9. Во время публичных выступлений, лекций, семинаров, другое, гиды АГГР не должны допускать неуважительных высказываний в адрес других гидов, школ, стандартов подготовки. Помнить о том, что вы представляете Ассоциацию горных гидов России."

С юбилеем, ШАГ!!! От души желаю дальнейших успехов на трудных маршрутах!!!