Системные диаграммы

Недавно опубликовано практическое пособие Боба Вильямса "Системные диаграммы" (System Diagrams). Эту публикацию можно скачать бесплатно. Пожертвования приветствуются. Я много раз упоминал Боба в этом блоге и не только. Он - очень интересный человек. В мире оценки известен как специалист, продвигающий идеи системного подхода и системного мышления. Боб говорит, что существуют тысячи (!) традиций построения диаграмм. Это даже сложно представить, честно говоря... В упомянутой выше книге - не пугайтесь - описано всего 6 подходов:

1. Насыщенное изображение (rich picturing). Полезно, когда вы пытаетесь справиться со сложностью ситуации и решить, на каких её аспектах вам следует сосредоточиться. Фрагмент такого изображения из книжки Боба Вильямса приведен выше. Компактный вариант описания этого подхода (по-английски) здесь.  
2. Диаграммы влияния. Полезны, когда вы хотите получить моментальный снимок того, что влияет на конкретную проблему в определенный момент времени. В рунете много публикаций про диаграммы влияния. Можно посмотреть, например, здесь.
3. Причинно-следственные диаграммы. Полезны, когда вы хотите изучить возможные последствия конкретных причинно-следственных связей в рамках решения определенной проблемы в течение заданного периода времени. Один из вариантов построения диаграммы в этой традиции здесь (по-русски). 
4. Кеневин (Cynefin). Диаграмма, которая помогает найти оптимальный способ поведения с учетом особенностей ситуации, с которой вы имеете дело. Подробнее по-русски здесь.
5. Модель жизнеспособной системы (VSM). Диаграмма, которая помогает оценить и гарантировать жизнеспособность целенаправленной деятельности с учетом диапазона конкурирующих требований, связанных с различными компонентами этой деятельности. Подробнее можно почитать по-русски здесь.
6. Культурно-историческая теория деятельности (Cultural Historical Activity Theory - CHAT). Диаграмма, которая выстраивается через ответы на серию вопросов о том, как люди с разной мотивацией могут работать вместе творчески и эффективно, особенно при реагировании на меняющиеся и сложные события. Основоположники этого подхода - российские ученые Выготский и Леонтьев. Здесь общая информация по-английски. А здесь - развернутое описание от Боба Вильямса. Тоже по-английски. Публикаций на русском языке много. Ссылаюсь на англоязычные публикации, которые больше ориентированы на практику. Например, в публикации Боба Вильямса вы найдете списки конкретных вопросов, которые помогут построить диаграмму в данной традиции.

JMDE

Аббревиатура расшифровывается как Journal of MultiDisciplinary Evaluation (Журнал мультидисциплинарной оценки) - один из немногих рецензируемых журналов, находящихся в открытом доступе. Это принципиальная позиция основателей данного издания во главе с Майклом Скривеном. Другая особенность журнала в том, что статьи публикуются достаточно быстро. Весь процесс занимает около 6 недель. Тогда как публикация статьи в традиционном академическом рецензируемом журнале может занять до года. 

Легко заметить, что в журнале регулярно публикуются - в числе прочих - работы ведущих мировых экспертов в сфере оценки. Состав редакционной коллегии тоже весьма авторитетный. 

Краткая информация о журнале с сайта (перевод с англ.):

"Журнал мультидисциплинарной оценки (JMDE) публикует и распространяет научные работы, которые способствуют развитию теории, методов и практики оценки.

JMDE - это журнал с полностью открытым доступом: весь контент находится в свободном доступе. Плата за подачу, публикацию или связанные с этим вопросы не взимается.

За исключением редакционных статей, рецензий на книги и «пищи для размышлений», все разделы JMDE подлежат двойному слепому рецензированию.

Авторы статей, опубликованных в JMDE, обладают всеми авторскими правами на свою работу без ограничений".

Журнал может быть интересен и как источник информации для тех, кто хочет отслеживать развитие оценки; и как издание, где можно опубликовать свою статью. Последнее касается не только публикации результатов исследований. К примеру, наша статья о развитии оценки на территории бывшего СССР (опубликована в 2007) относится, скорее, к практике оценки.

Работает ли brainstorming или размышления об оценке влияния практик с доказанной эффективностью

В конце 80-х годов прошлого века мне попалась статья об исследовании, в котором советские психологи проверяли эффективность метода "мозгового штурма" (brainstorming) как средства решения проблем. Исследователи сформировали две одинаковые по численности группы, которым была предложена одна и та же задача. В одной группе использовался "мозговой штурм", в другой - нет. Результаты работы групп оказались одинаковыми, из чего исследователи сделали вывод о том, что brainstorming не работает. Замечу, что к тому моменту метод "мозгового штурма" был признан во всем мире как эффективный и успешно использовался для решения самых разных задач. То есть, по существу, brainstorming можно было считать практикой с доказанной эффективностью. Результаты упомянутого выше исследования ставили этот тезис под сомнение. В чем же могло быть дело? 

Думаю, что следовало бы, в первую очередь, проверить корректность использования метода в ходе эксперимента. В частности, я бы обратил особое внимание на то, соблюдались ли базовые правила проведения "мозгового штурма", а также на компетентность ведущего. Мой собственный многолетний опыт, как и опыт многих моих коллег, свидетельствует о том, что если все делать правильно, метод работает. 

Вспомнил об этом вчера на заседании клуба PROОЦЕНКУ, когда мы обсуждали, следует ли оценивать влияние проектов, в которых используются практики с доказанной эффективностью. Думаю, что смысл использования практик с доказанной эффективностью как раз и состоит в том, что их влияние гарантировано. Но при условии, что сама практика используется корректно. То есть, необходимо строго контролировать правильность применения практики. Тогда её воздействие будет гарантировано, и можно его не оценивать. 

Однако не все так просто... Дело в том, что в сложных динамических системах, с которыми имеют дело все, кто реализует программы социальной направленности, результаты воздействия очень сильно зависят от контекста и от начальных условий. Это означает, что даже абсолютно корректное применение практики, эффективность которой была доказана в другом контексте либо при иных начальных условиях, может не привести к желаемым результатам. 

Следующее заседание клуба PROОЦЕНКУ пройдет онлайн 9 сентября 2021 года с 11 до 12.30 мск. Объявление о регистрации участников будет размещено в группе "Проектирование и оценка в социальной сфере" на Facebook.  

Что за история с оценкой влияния (воздействия)?

Ближайшее заседание клуба PROОЦЕНКУ (12 августа с 11.00 до 12.30 мск.) будет посвящено оценке влияния или оценке воздействия. Регистрация здесь. 

Тема заседания в этот раз такая, что вопросов может оказаться больше, чем ответов. Но  мы же живем в мирах, которые создаются нашими вопросами :) 

Первый вопрос связан с самим термином "оценка влияния" (или воздействия). По-английски он звучит как impact evaluation. Оказалось, что найти адекватный перевод не так уж легко. Но главное, конечно, смысл. А смысл состоит в том, чтобы выявить влияние программы на те изменения, которые произошли по ходу её реализации, по её окончании или даже спустя некоторое (порой значительное) время. Другими словами, оценка влияния предполагает выявление и обоснование причинно-следственной связи между программой и достигнутыми результатами. 

Почему это важно? 

Когда мы говорим о непосредственных результатах деятельности, их связь с самой деятельностью, как правило, вопросов не вызывает. Например, улучшение знаний участников семинара по теме семинара, очевидно, происходит именно в результате семинара. Другие факторы здесь наверняка также имеются, но их влияние на изменение знаний участников - по сравнению с влиянием собственно обучения - минимально. 

Когда же мы рассматриваем отсроченные эффекты обучения (результаты более высокого уровня), то все сильно усложняется. Представьте, что кто-то говорит: "Мы провели обучение сотрудников, и они стали работать совершенно по-другому!". Здесь наверняка могут возникнуть вопросы о том, в какой мере этот эффект связан именно с обучением. Причина проста: то, как человек работает, зависит от множества факторов. Обучение, как правило, не является среди них определяющим. И тут возникает новый вопрос: а стоит ли вообще вкладываться в обучение? Не является ли обучение своего рода "квази-проектом", который направлен на достижение того, что и так произойдет или на борьбу с тем, чего и так не произойдет? 

Как выделить влияние программы или проекта на фоне множества других факторов? Поговорим об этом в четверг на следующей неделе.