"Традиционная" или "вся остальная" оценка

Часто, когда предлагается какой-то новый подход к оценке, этот подход сравнивается с "традиционной" оценкой, оценкой "в целом" или "всеми остальными подходами" к оценке.

Приведу два примера.

Майкл Пэттон, определяя понятие "оценка, ориентированная на использование" (utilization focused evaluation), указывает, что такая оценка - в противоположность оценке программ в целом (as opposed to program evaluation in general) - ориентируется на конкретных пользователей, их информационные потребности и на то, как они предполагают использовать результаты оценки. На момент, когда Пэттон давал это определение, "оценка в целом" сводилась к формирующей и суммирующей (formative and summative). На тот момент тезис об ориентации на практическое использование оценки был достаточно революционным, и противопоставление было вполне оправданным. Сегодня, когда ориентация на использование стала общим местом, мы уже имеем совершенно иную ситуацию. "Оценка в целом" уже совсем не такая, как была 40-50 лет тому назад. Противопоставление теряет актуальность.

Другой пример - адаптивная оценка (developmental evaluation), описанная Майклом Пэттоном. Поясняя, в чем ее особенности, Майкл прибегает к сравнению адаптивной и "традиционной" оценок. Он настаивает на том, что у адаптивной оценки есть относительно узкая "ниша" - адаптивные программы, и она не столь универсальна как оценка, ориентированная на использование. При этом мы должны отметить, что стремление программ к адаптивности - очевидный тренд, и что весьма вероятно существенное увеличение количества адаптивных программ, что приведет к более широкому распространению адаптивной оценки. Таким образом, данное противопоставление актуально сегодня, но может потерять актуальность в обозримом будущем. 

Развиваемся

Сегодня оргкомитет конференции АСОПП-2019 опубликовал презентации с конференции. Я посмотрел программу недавней конференции и решил совершить небольшой исторический экскурс: посмотрел, какие были темы конференций по оценке в нашей стране и в регионе с 2000 по 2019 гг. 

Темы конференций АСОПП с 2015 по 2019 гг.:

• "Компетенции, ресурсы и мотивация: что нужно для успешного проведения оценки социального проекта" (2019)
• "Оценка социальных программ в России: практика применения и драйверы развития" (2018)
• "Оценка и развитие" (2017)
• "Оценка программ и политик в эпоху кризиса: вызовы и возможности" (2016)
• "Оценка программ и политик в России: становление профессии" (2015)

Темы конференций, проведенных Международной сетью "Оценка программ" (IPEN) в нашем регионе с 2000 по 2014 гг.:

• "Оценка для развития: от внедрения к воздействию" (2014)
• "Оценка программ и проектов в государственном секторе" (2013)
• "Использование результатов мониторинга и оценки при принятии управленческих решений" (2012)
• "Управление, ориентированное на результат, и оценка" (2011)
• "Разработка и внедрение систем мониторинга и оценки" (2010)
• "Методология мониторинга и оценки программ" (2009)
• "Оценка как средство обеспечения эффективной работы организаций" (2008)
• "Реформы и оценивание программ и политик" (2007)
• "Развитие и оценка" (2006)
• "Оценка влияния" (2005)
• "Оценка эффективности работы организаций" (2004)
• "Оценка запланированных социальных изменений в управлении программами и проектами" (2003)
• "Оценка социальных проектов как способ повышения эффективности услуг НКО" (2002)
• В 2001 году прошла Школа оценки в Новосибирске. Конференции не было.
• "Оценка и мониторинг как инструмент повышения инвестиционной привлекательности социальных проектов" (2000)

И третья моя презентация с только что завершившейся конференции АСОПП-2019: "Адаптивная оценка"

Компетенции специалиста по оценке

Еще одна презентация - про компетенции специалиста по оценке.

Ландшафт оценки

Приглашаю всех желающих ознакомиться с презентацией с семинара "Ландшафт оценки. Взгляд с высоты". 

Что может препятствовать практическому использованию оценки?

Турин. Международный тренинговый центр Международной организации труда. Обсуждаем, что может препятствовать практическому применению оценки. В группе представители Таджикистана, Узбекистана и Украины.
Препятствия такие:
1. Позиция руководства (8 мнений)
2. Ограниченный доступ к источникам информации (4)
3. Низкое качество ТЗ на проведение оценки (4)
4. Ограниченность ресурсов (человеческих и финансовых) (3)
5. Существующая нормативно-правовая база (3)
6. Ошибки в проекте (2)
7. Долгая организация (системы в организации устроены так, то что согласования занимают много времени и можно не успеть провести оценку, когда надо) (1)
8. Конфиденциальность информации (1)
Соглашусь с коллегами, что позиция руководства - определяющий фактор в использовании оценки в организации.  

Семинар "Ландшафт оценки"

Завершаю подготовку к семинару "Ландшафт оценки. Взгляд с высоты", который пройдет в день перед конференцией АСОПП. Трудоемкость подготовки сильно превысила мои ожидания. Пришлось по многим подходам почитать соответствующую литературу, поскольку оказалось, что я с ними либо плохо знаком, либо вообще не знаком. Полагаю, что для участников семинара тоже кое-что будет новым. Презентацию разместим в открытом доступе сразу после семинара. Так что, если кто-то не сможет присутствовать, можно будет самостоятельно ознакомиться с 79 подходами к оценке :) По каждому подходу в презентации будут ссылки на публикации.

Высокая цена точного знания

В 2003 году в Harvard Business Review была опубликована интересная статья (нашел на нее ссылку, читая другую публикацию). Исследовалась взаимосвязь между эффективность бизнес-организаций и объемом и точностью данных, которыми оперировали менеджеры высокого уровня. Выяснилось, что для эффективности организации важнее не объем и точность данных, а то, насколько менеджеры способны интерпретировать имеющиеся данные. Исследователи пришли к выводу, что следует вкладываться именно в развитие способности менеджеров извлекать смыслы из данных, а не в повышение точности данных. 

Статья называется "Высокая цена точного знания" ("The High Cost of Accurate Knowledge" by

Kathleen M. Sutcliffe and Klaus Weber). Прочесть ее можно здесь.

Не заметил :)

Сегодня на семинаре обсуждали метод наблюдения. Предложил участникам посмотреть вокруг, собрать какие-то факты об их непосредственном окружении и предложить интерпретацию этих фактов. Один из участников говорит: "За каждым из 6 столов есть участники из Африки". Спрашиваю, что это - факт или некое суждение, которое он вынес в результате интерпретации своих наблюдений. Он говорит: "Факт". Я спрашиваю, как он догадался, подразумевая, что сейчас-то он как раз и развернет перед нами цепочку своих рассуждений. И тут его соседка указывает мне на стоящие на столах таблички с именами участников и названиями стран, которые они представляют :) 

Оценка устойчивости организации

Тема это важная, потому существуют многочисленные модели и инструменты оценки устойчивости организаций и программ. К примеру, методика оценки устойчивости программ (Program Sustainability Assessment Tool), предложенная Washington University, предполагает анализ 8 компонентов, каждый из которых оценивается по 5 шкалам:

1. Политическая поддержка
2. Партнерства (поддержка со стороны местного сообщества)
3. Стратегическое планирование
4. Адаптивность
5. Организационный потенциал
6. Коммуникации
7. Финансовая устойчивость
8. Анализ и оценка собственной деятельности

Все, вроде, разумно. Каждый из 8 пунктов - судьбоносный, но в какой мере, на самом деле, устойчивость программы или организации зависит от всех этих факторов? Что определяет, увидим ли мы организацию работающей через 5, 10, 15 лет? 

Мой опыт свидетельствует о том, что устойчивость небольшой организации - малого бизнеса или НКО, в первую очередь, зависит от того, насколько сильно лидеры-учредители организации хотят, чтобы она дальше жила. Если очень хотят, то в трудные времена затягивают пояса потуже, снижают до минимума фиксированные затраты, находят временные источники заработка, но организацию сохраняют. И трудные времена проходят. Если же хотят не очень, то могут прикрыть "лавочку" уже при появлении первых признаков неблагополучия, не дожидаясь по-настоящему трудных времен. 

Мне могут возразить: бывают объективные обстоятельства, при которых организацию надо закрывать. Не спорю, бывают. Но эти обстоятельства возникают по большей части тогда, когда их сочтут таковыми люди, создавшие организацию. Не раньше. (Форс-мажор в виде законодательных актов и т.п. здесь не рассматриваем).