Контекст и ракурс: 3 принципиальных отличия

1. Природа.

Контекст — это объективно существующая среда влияния, которую мы субъективно ограничиваем рамками нашего анализа. Это совокупность внешних сущностей, процессов и законов, которые система не контролирует, но обязана учитывать. Контекст отвечает на вопрос: «С чем система взаимодействует и в чем протекает ее жизнь?» (законодательство, экология, смежные системы, временные тренды). Контекст един для всех участников в рамках нашей аналитической модели, пока мы не переопределили границы системы.

Ракурс — это субъективная позиция. Это ментальная модель, призма, через которую конкретный наблюдатель видит этот самый контекст и саму систему. Ракурс отвечает на вопрос: «С какой позиции мы смотрим?» (донор, грантополучатель, благополучатель, конкурент). Ракурсов может быть бесконечное множество, и они могут радикально отличаться друг от друга.

2. Функция в анализе 

Контекст связан с определением границ. Системное мышление требует определить, что внутри системы, а что снаружи. Контекст — это потенциальное поле влияния. Граница — это наш выбор, какую часть этого поля мы включаем внутрь системы, а какую оставляем снаружи.

Ракурс выполняет функцию проекции. Это способ «увидеть» систему в контексте. Ракурс можно и нужно сознательно переключать, чтобы получить объемное представление о системе. Например, один и тот же социальный проект может быть для кого-то возможностью расширить круг общения, а для кого-то – способом сохранить семью.

3. Возможность влияния 

Контекст по определению находится вне зоны нашего влияния, поэтому мы не можем менять его напрямую — мы можем лишь адаптироваться к его изменениям. В отличие от ракурса, который мы переключаем мгновенно и произвольно.

PS Навеяно обсуждениями на заседании клуба PROОЦЕНКУ «Учет контекста в оценке»

Риск ошибки при интерпретации неполных данных

Обсудим ситуацию, описанную во вчерашней публикации. 

Сотрудники НКО, проводившие само-оценивание, пришли к неправильному выводу относительно решения руководителя организации. Это произошло потому, что они не знали всех обстоятельств, повлиявших на принятие решения. Такую информацию можно было получить только у самого руководителя организации, который был очень занят и не принимал участия в оценке. Возможность поговорить с руководителем представилась только на совещании по результатам оценки, где возникла довольно напряженная ситуация, поскольку сотрудники сообщили о своем выводе касательно ошибочности принятого руководителем решения. Они выбрали меньшее из двух зол (по их мнению): рассказать все как есть (как они думали), рискуя вызвать негативную реакцию руководителя. Когда руководитель на совещании объяснил свое решение, ошибочность вывода стала очевидной. Как здесь не вспомнить еще раз мудрое изречение Шерлока Холмса о том, как опасно строить гипотезы на основе неполных данных!

Команде, проводившей само-оценивание, следовало на совещании рассказать о полученных данных и попросить руководителя проверить их полноту и дать свою интерпретацию ситуации. В этом случае негативные последствия оценки были бы минимизированы.

Возможные ошибки при анализе данных

В финале рассказа «Пестрая лента» знаменитый сыщик Шерлок Холмс говорит: «… Вначале я пришел к совершенно неправильным выводам, мой дорогой Ватсон, и это доказывает, как опасно строить гипотезы на основе неполных данных…». Если не помните, в чем там было дело – перечитайте, получите удовольствие! Я же решил начать с этой цитаты потому, что наш опыт анализа данных при проведении оценки полностью соответствует тому, что сказал Холмс. Интерпретация неполных данных чаще всего действительно приводит к неправильным выводам. Мы с Владимиром Балакиревым сформулировали свой перечень распространенных ошибок, относящихся к интерпретации данных:

1. Использование неполных данных (допускают несколько вариантов интерпретации)
2. Пропуск противоречий в данных («неподходящие» данные игнорируются)
3. Влияние эмоционального состояния на характер интерпретации данных
4. Использование «заготовок» (сознательно или неосознанно используются заранее заготовленные интерпретации, основанные, например, на предыдущем опыте или авторитетных мнениях)
5. Отсутствие необходимой для интерпретации определенных данных экспертизы
6. Движение «от сложного» (вначале даются сложные объяснения, хотя все можно объяснить и просто)
7. Игнорирование интерпретаций, которые имеются у благополучателей и других заинтересованных сторон

Завтра на заседании клуба PROОЦЕНКУ (регистрация еще открыта) поговорим и об этом.

Анализ данных при проведении оценки

Начинаем подготовку к следующему заседанию клуба PROОЦЕНКУ, которое пройдет онлайн в четверг 14 сентября 2023 года с 11.00 до 12.30 мск и будет посвящено анализу данных. Регистрация на заседание откроется в понедельник 4 сентября на сайте клуба. 

Мы планируем обсудить следующие темы: 

• Всегда ли мы можем получить данные для ответа на интересующие нас вопросы?
• В какой мере мы можем доверять полученным в ходе оценки данным? 
• Какие бывают ошибки при интерпретации данных и как их избежать?
• Как перейти от интерпретации к выводу (суждению)?
• Насколько хорошо обоснованы наши суждения и готовы ли мы их отстаивать?

Вице-президент компании Gartner (одна из ведущих исследовательских и консалтинговых компаний, специализирующихся на рынках информационных технологий) Марио Фариа (Mario Faria) считает, что анализ данных — это преобразование данных в выводы, на основе которых будут приниматься решения и строиться действия. Это рабочее определение очень хорошо отражает сущность анализа данных, являющегося важным элементом оценки проектов и программ, ориентированной на практическое использование (Utilization-Focused Evaluation).  

Любая оценка проекта (и внешняя, и внутренняя) завершается вынесением суждений, которые являются ответами на вопросы задания. Особенность эмпирической оценки состоит в том, что суждения основываются на систематически собранных данных. При планировании такой оценки мы определяем, какие именно данные нужны для ответа на вопросы задания и как эти данные можно получить. Важнейший этап оценки – анализ данных, состоящий в извлечении смыслов из полученных данных и переходе от данных к суждениям. Общеизвестная последовательность анализа данных при проведении эмпирической оценки выглядит следующим образом: факты – интерпретации – выводы (суждения) – рекомендации. Отправной точкой для анализа являются факты, эмпирические данные, представленные в удобном для восприятия виде. Далее даются объяснения тому, что полученные данные (факты) означают, а также, каким образом и почему они связаны между собой, если такие связи имеются. Этот этап анализа называется интерпретацией. На основании интерпретаций делаются выводы, выносятся суждения. Именно в этот момент появляются ответы на вопросы задания. На основании выводов даются рекомендации, которые также могут являться ответами на вопросы задания.

О пользе теорий в оценке программ

Отличия оценки программ от исследования хорошо известны: методы используются одни и те же, но это разные жанры. Исследования ориентированы на получение нового знания, а оценка – на поддержку принятия решений. При этом результаты некоторых исследований могут очень пригодиться при проведении оценки. 

Рассмотрим пример. 

Допустим, вы проводите оценку программы, связанной с развитием взаимодействий между людьми или организациями. Анализ взаимодействий показал (использована  методика Social Network Analysis), что существует группа, взаимодействия внутри которой намного интенсивнее, чем взаимодействия между остальными участниками данной социальной сети – как показано на рисунке. Вероятно, на основе полученных данных вы сможете объяснить, почему так получилось в данном случае. Но хорошо это или плохо? Можно ли что-то сказать о перспективах развития данной социальной сети? Здесь на помощь может прийти теория развития социальных сетей, предложенная Кребсом и Холи (Krebs, Valdis & Holley, June. (2006). Building smart communities through network weaving. Appalachian Center for Economic Networks.). Данная теория говорит о том, что конфигурация «ядро – периферия», представленная на рисунке, является признаком высокого уровня развития социальной сети и свидетельствует о её устойчивости. 

Точно так же результаты исследований в сфере внедрения инноваций могут оказаться полезными при оценке инновационных программ (см. здесь), результаты исследований в сфере организационного развития – при оценке программ развития организаций, результаты психологических исследований – при оценке программ психологической помощи и т.д. Научное знание может быть полезно для осмысления результатов оценки конкретной программы. 

Интересный документ

На днях неожиданно пришло письмо от Майкла Пэттона (Michael Patton), в котором он сообщил, что "наконец-то подготовил отчет на русском языке". Понятно, что русского языка он не знает, потому я с интересом перешел по ссылке, где действительно обнаружил русскую версию отчета под названием "Синтез независимых диалогов Саммита по продовольственным системам". Отчет подготовлен BLUE MARBLE EVALUATION (Майкл является основателем этой компании).

Идея состояла в том, чтобы провести диалоги в разных странах для поиска ответов на следующие вопросы: 

• Какие преобразования продовольственных систем являются необходимыми и ожидаемыми (для достижения Целей в области устойчивого развития)?
• Кто должен участвовать в преобразовании продовольственных систем?
• Как проводить преобразование продовольственных систем?
• Какие факторы успеха являются ключевыми для достижения результатов?

Масштабы мероприятия впечатляют. Было проведено 447 диалогов, в которых приняло участие более 41000 человек. В упомянутом выше документе предлагается краткое описание результатов всего этого. Было бы, конечно, очень интересно понять, как удалось обработать такой массив качественных данных. 

В отчете даже предложена "теория преобразования" (см. ниже). Вероятно, в оригинале было "theory of transformation".

Признаки тщательного и исчерпывающего анализа информации

В английском языке есть термин rigor, который применительно к науке (scientific rigor), исследованиям (research rigor) или анализу данных (analytical rigor) означает тщательность, обоснованность, полноту. Rigorous analysis можно перевести как тщательный и исчерпывающий анализ.
Мне пришлось сделать это небольшое введение для того, чтобы написать об интересной публикации, которая называется Measuring Attributes of Rigor in Information Analysis. 
Перевод заголовка может звучать как "Измерение характеристик rigor в анализе информации". Авторы предлагают 8 шкал, по которым можно судить о том, насколько тщательный и исчерпывающий анализ проведен. К этим шкалам относятся:

• Изучение гипотез.
• Поиск информации.
• Валидизация информации (критическая оценка информации с точки зрения совпадения данных, полученных из разных источников).
• Анализ источников информации в более широком контексте.
• Анализ чувствительности (оценка аргументации с учетом вариативности источников информации по степени надежности и определенности).
• Синтез информации.
• Сотрудничество между специалистами (с учетом того, что лица, проводящие анализ, в обще случае не могут быть экспертами во всех областях).
• Критика полученных объяснений (авторы считают, что это должно быть неотъемлемой частью тщательного и исчерпывающего анализа). 

По каждой шкале может быть три варианта оценки: низкий уровень, средний уровень, высокий уровень. Результаты измерения указанных характеристик применительно к конкретному случаю анализа информации предлагается представлять в виде диаграммы:

Вот полная ссылка на эту публикацию:

Zelik, Daniel J., Emily S. Patterson, and David D. Woods. “Measuring Attributes of Rigor in Information Analysis.” In Emily S. Patterson and Janet E. Miller, and David D. Woods. Macrocognition Metrics and Scenarios: Design and Evaluation for Real World Teams. Aldershot, UK: Ashgate, 2010: 65-83. В формате PDF публикация доступна здесь. 

АНАЛИТИКА. Необычная книга.

Хотел бы обратить внимание коллег на книгу "Аналитика: методология, технология и организация информационно-аналитической работы" (2004). Один из авторов этой книги - Юрий Васильевич Курносов, доктор философских наук, полковник, профессор кафедры национальной безопасности Российской академии государственной службы при Президенте РФ, член Союза писателей России. Другой автор - Павел Юрьевич Конотопов, эксперт в области методологии, технологических и организационных аспектов информационно-аналитической работы, главный редактор специализированного электронного издания «ТИАРА» (Технологии информационно-аналитической работы). Павел Юрьевич Конотопов также является президентом некоммерческого партнерства "Коллегия аналитиков".
Книга издана при участии Фонда «Антитеррор». Раздел "К читателю" написал заместитель директора ФСБ России генерал-полковник Комогоров В.И.