среда, 25 января 2023 г.

«Теория изменений» и оценка рисков социального проекта

Как известно, «теория изменений» проекта показывает взаимосвязь между деятельностью в рамках проекта и её ожидаемым эффектом, а также допущения, при которых такая связь возможна. Причинно-следственные связи в теории изменений представляются в форме карты ожидаемых результатов. В общем случае карта ожидаемых результатов содержит несколько цепочек ожидаемых результатов, которые связывают действия в рамках проекта с целью проекта. В пределе (в простейшем случае) цепочка ожидаемых результатов может быть одна. Рассмотрим такой пример.

Проект состоит в том, чтобы обучить детей младших классов игре в шахматы. Для этого проводится обучение учителей, а затем детям предлагается (по желанию) ходить на уроки шахмат раз в неделю в течение учебного года. Предполагается, что дети научатся играть в шахматы, и это приведет к позитивным эффектам в сфере их личностного и интеллектуального развития.

Допущения – это те условия, которые важны для успеха проекта, но которые находятся вне сферы его влияния. В частности, в данном случае мы исходим из того, что :

  • Любой учитель младших классов сможет квалифицированно преподавать шахматы детям, пройдя наш курс обучения. 
  • Родители младших школьников поддержат данную инициативу и не станут возражать против того, что их детям станут еще и шахматы преподавать. 
  • Любой ребенок может научиться играть в шахматы.

Каким образом можно использовать теорию изменений для выявления рисков применительно к конкретному социальному проекту? Можно проверить (а) обоснованность причинно-следственных связей (стрелочки на рисунке) и (б) реалистичность допущений.

Например, достаточно ли у нас оснований считать, что есть связь между умением играть в шахматы и эффектами на личностном и интеллектуальном уровнях? (причинно-следственная связь) А вдруг не будет таких эффектов? (риск)

Насколько мы можем быть уверены в том, что родители поддержат данную инициативу? (допущение) А если не поддержат? (риск).

четверг, 12 января 2023 г.

Оценка рисков или где подстелить соломку

Мне кажется, что само определение понятия «риск» может вызывать измененное состояние сознания… 😊 Вот вдумайтесь: «риск — это следствие влияния неопределенности на достижение поставленных целей». Если что, «неопределенность — это состояние полного или частичного отсутствия информации, необходимой для понимания события, его последствий и их вероятностей». Красиво и немного загадочно… Обе приведенные выше цитаты взяты из ГОСТ Р ИСО 31000—2019 «Менеджмент риска. Принципы и руководство». 

О каких событиях идет речь? Чаще всего, в контексте разговора о рисках имеют в виду события, которые могут оказать негативное влияние на ход проекта и его результаты. Оценка рисков предполагает выявление таких событий и их приоритизацию с учетом вероятности и возможной степени влияния на проект. Словарь русского языка тоже определяет риск как «возможную опасность», но… ГОСТ Р ИСО 31000—2019 указывает, что «под следствием влияния неопределенности необходимо понимать отклонение от ожидаемого результата (позитивное и/или негативное)». То есть риски могут быть связаны не только с угрозами, но и с возможностями вполне положительными. 

Оценка рисков – это составляющая деятельности, которую принято называть управлением рисками. Помимо выявления и анализа рисков, управление рисками предполагает выработку стратегий реагирования на риски (как негативные, так и позитивные), реализацию этих стратегий и мониторинг ситуации. Хотя, конечно, бывают случаи, когда наука бессильна: всего не предугадаешь. Недаром говорят: «Если бы знал, где упадешь, там бы соломки подстелил».

На очередном заседании клуба PROОЦЕНКУ 19 января поговорим об оценке рисков в социальном проектировании, обменяемся опытом. Думаю, будет интересно. Приходите! Регистрация и более подробная информация здесь

среда, 21 декабря 2022 г.

Принципы само-оценивания программ и проектов в НКО

Само-оценивание программы (проекта) – это систематический сбор информации о деятельности в рамках программы (проекта), ее характеристиках и результатах, который проводится командой программы (проекта) для того, чтобы вынести суждение о программе (проекте), повысить эффективность программы (проекта) и/или разработать планы на будущее.

Идея адаптации принципов проведения оценки программ и проектов к ситуации само-оценивания появилась летом этого года. В июне и в июле этой теме были посвящены заседания клуба PROоценку. По итогам заседаний мы подготовили проект описания принципов, который обсудили с участниками Института оценки в рамках проекта «5 элемент»  

Мы представили промежуточные результаты нашей работы на конференции АСОПП-2022, а теперь публикуем окончательную версию принципов

В обсуждениях этого документа приняли участие в общей сложности 43 человека (полный список имеется в публикации), за что им большое спасибо!

четверг, 15 декабря 2022 г.

Оценка чего?

Во многих странах и регионах существуют профессиональные объединения специалистов по оценке. Например, есть Европейское общество оценивания (European Evaluation Society), Американская ассоциация оценивания (American Evaluation Association), совсем недавно появилась Монгольская ассоциация оценивания (Mongolian Evaluation Association). Когда подобное название звучит в разговоре с человеком, не имеющим отношения к нашей сфере деятельности, как правило, он немедленно задаёт резонный вопрос: «Оценивание чего?». Это происходит в самых разных странах (я проверял!). Приходится добавлять, что речь идет об оценивании программ и проектов социальной направленности. Тогда ситуация более-менее проясняется. Кстати, именно по этой причине российская профессиональная ассоциация называется «Ассоциация специалистов по оценке программ и политик». 

Почему же наши уважаемые зарубежные коллеги в большинстве случаев не включают в названия своих профессиональных объединений упоминание объекта оценивания? 

Обратимся к документу, опубликованному Американской ассоциацией оценивания в 2011 году. Он называется «Что такое «оценивание»?» и начинается с такого определения: «Оценивание – это систематический процесс, позволяющий определить достоинства, ценность, или значимость чего-либо». Далее указывается, что существует несколько видов оценивания: оценка политик, оценка программ, оценка продуктов, оценка персонала. Но этим дело не ограничивается. Оценивание помогает выносить обоснованные суждения и принимать решения. Вынесение суждений и принятие решений присутствуют во всех сферах человеческой деятельности, поэтому оценивание может использоваться в самых разных сферах. 

Вот это и есть ответ на вопрос насчет названий профессиональных объединений. По Скривену, оценивание вообще претендует на статус «альфа-дисциплины», преобладающей над другими дисциплинами (сферами знания).

Другими словами, ответ на вопрос «Оценка чего?» выглядит так: «Оценка чего угодно!». Но это относится, скорее, к теории оценивания, науке оценивания (evaluation science), как стали часто говорить в последние годы. На практике же абсолютное большинство членов профессиональных объединений специалистов по оценке (evaluation) занимается оценкой программ, проектов и – реже – политик. Именно к этим сферам относится и большая часть публикаций. Даже в упомянутом выше документе Американской ассоциации оценивания («Что такое оценка?») все примеры взяты из сферы оценки программ социальной направленности.

пятница, 9 декабря 2022 г.

Оценка оцениваемости: мысли по поводу

Вчерашнее заседание клуба PROОЦЕНКУ, как водится, навело на размышления. 

1) Конечно же, оценка оцениваемости проекта напрямую связана с планируемой оценкой этого проекта. Если оцениваемость понимать как возможность оценить проект надежным и заслуживающим доверия способом, то многое будет зависеть от того, что именно мы хотим узнать о проекте в рамках планируемой оценки. Ключевое значение здесь будут иметь вопросы, на которые надо ответить в рамках оценки. Оценивать оцениваемость надо с учетом этих вопросов. 

Например, если мы хотим узнать мнение благополучателей о проведенных мероприятиях, то нам нужно будет обратиться к этим людям. В случае, если их контактной информации нет, мы не сможем этого сделать. То есть, с оцениваемостью здесь явно будут проблемы. 

Рассмотрим другой пример. Допустим, вопрос задания на проведение оценки звучит так: «В какой мере достигнута цель проекта?». Мы обращаемся к проектной документации и обнаруживаем, что цель сформулирована расплывчато либо вовсе отсутствует. Ответить на вопрос о её достижении в этом случае весьма проблематично. Следовательно, оцениваемость низкая по данному параметру. Но в этом же проекте может получиться так, что контакты благополучателей имеются, и выяснить их мнение о мероприятиях проекта вполне возможно. Если соответствующий вопрос в задании есть, то оцениваемость по этому параметру – высокая. 

Говорить об оцениваемости можно только в том случае, когда мы понимаем, какие аспекты проекта мы хотим оценивать, на какие вопросы мы собираемся получить ответ в ходе планируемой оценки проекта.

2) Если понимать ОО как возможность оценить проект надежным и заслуживающим доверия способом, то рассмотрение в рамках ОО будущего использования результатов планируемой оценки проекта (один из трех ключевых компонентов ОО) вызывает вопросы. Легко можно представить себе ситуацию, когда дизайн проекта будет хорошо обоснован; вся информация, необходимая для ответов на вопросы задания на проведение оценки проекта, будет доступна; но при этом оценка будет никому не нужна. То есть, возможность оценить проект точно имеется (это как раз и есть оцениваемость!), но вот результаты этой оценки никто использовать не собирается. Конечно, в этом случае проводить оценку нет смысла. Но проект-то вполне себе оцениваемый!

Если оценка оцениваемости проекта обязательно должна включать анализ использования результатов запланированной оценки проекта, то, возможно, «оценка оцениваемости» - не совсем точное название. Либо не нужно этот компонент включать в ОО. 

3) Оценку оцениваемости выделили в качестве отдельного направления специалисты Американского общества оценочных исследований в 70-е годы прошлого века. Это было объединение специалистов академического профиля, ориентированных именно на исследования. Говорят, что в те времена продолжительность ОО могла составлять от двух недель до года! Сегодня максимальная продолжительность ОО сократилась до 4 месяцев, минимальная – до двух дней, а средняя составляет одну неделю. Такое сокращение, на мой взгляд, неслучайно. 

Думаю, дело идет к тому, что ОО будет интегрирована в дизайн проектов и в оценку проектов, «растворится» в них, станет их частью. При этом все методологические наработки в сфере ОО, естественно, пригодятся.

среда, 30 ноября 2022 г.

Оценка оцениваемости

В следующий четверг с 16.00 до 17.30 пройдет онлайновое заседание клуба PROОЦЕНКУ (регистрация здесь) на тему «Оценка оцениваемости» (ОО). На заседание приглашен Том Грейсон, бывший президент Американской ассоциации оценивания. 

Данная публикация предназначена, в первую очередь, для тех, кто собирается прийти на это заседание и хотел бы заранее в общих чертах ознакомиться с его темой. 

Оцениваемость проекта характеризует возможность оценить этот проект надежным и заслуживающим доверия способом. Говорят, что ОО выделилась как отдельное направление в оценке в США в 70-е годы прошлого века, а затем получила более широкое распространение в начале 2000-х, в первую очередь, в структурах ООН и организациях, занимающихся международным развитием. 

В самом общем случае в рамках ОО рассматриваются: теория изменений, доступность данных, и круг заинтересованных сторон, мнения которых следует учесть при проведении оценки. ОО помогает усовершенствовать дизайн проекта, выстроить систему мониторинга и оценки, а также сформировать задание на проведение оценки. 

Соответственно, ОО может включать:

  1. Анализ оцениваемости «в принципе», с учетом природы теории изменений проекта или программы.
  2. Анализ оцениваемости «на практике» с учетом наличия соответствующих данных и возможностей систем управления, позволяющих их получить.
  3. Вынесение суждения о потенциальной полезности и практичности оценки с учетом мнений и доступности основных заинтересованных сторон.

Выделение ОО как особого вида оценивания, на мой взгляд, связано с тем, что в процессе разработки проектов мониторинг и оценка зачастую не рассматриваются как часть системы управления проектом. Когда же дело доходит до оценки, оказывается, что важные данные по ходу проекта не собирали (например, никто не получал «обратную связь» от участников мероприятий), ключевые источники информации недоступны (например, нет контактной информации благополучателей проекта), а имеющиеся показатели не связаны с ключевыми элементами теории изменений проекта. Отсутствие связи показателей с теорией изменений может объясняться тем, что сама теория изменений не продумана, а то, что описано в проектной документации, не вполне соответствует замыслу исполнителей проекта. 

Полагаю, что в оценке оцениваемости не было бы необходимости, если бы все проекты разрабатывались с учетом того, что их необходимо оценивать. 

В нашей стране спроса на ОО сегодня нет. Никто пока не готов выделять деньги на то, чтобы понять, можно ли оценить тот или иной проект и с какими трудностями можно при этом столкнуться. Однако во многих случаях внешняя оценка включает элементы ОО. Может быть, так и должно быть? 

Публикаций по оценке оцениваемости на русском языке пока нет. Но есть на английском 😊 

среда, 23 ноября 2022 г.

Как должен выглядеть отчет по результатам оценки проекта или программы

Сразу оговорюсь, что речь идет об эмпирической оценке, по результатам которой принято готовить отчет. Классификацию видов оценивания можно найти здесь.

На основе накопленного опыта мы пришли к следующему определению: «Хороший отчет по результатам оценки – это документ, в котором в удобном для читателя виде представлены ответы на вопросы задания, основанные на собранных в процессе оценки эмпирических данных»

В этом определении важны все составляющие: 

  1. Оценка призвана дать ответы на вопросы, включенные в задание. Отчет должен содержать эти ответы. Основная часть отчета должна быть структурирована в соответствии с вопросами. 
  2. Эмпирическая оценка предполагает, что ответы на вопросы задания появляются в результате систематического сбора и анализа эмпирических данных. Следовательно, в отчете должны быть приведены собранные данные и показан путь от этих данных к ответам на вопросы. 
  3. Оценка проводится для тех, кто ставит задачу и будет пользоваться полученными результатами. Именно эти люди будут читателями отчета. Значит, отчет должен быть максимально «дружелюбным» по отношению к читателю. Там должно быть легко найти и понять всё, что нужно пользователям результатов оценки. 

На последнем пункте хотел бы остановиться чуть подробнее. Первоначально отчеты по результатам оценки принято было оформлять в академической традиции. Подробно с правилами оформления таких отчетов можно ознакомиться в межгосударственном стандарте ГОСТ 7.32-2017

Согласно этому стандарту, структурными элементами отчета о НИР являются: 

  • титульный лист; 
  • список исполнителей; 
  • реферат; 
  • содержание; 
  • термины и определения; 
  • перечень сокращений и обозначений; 
  • введение; 
  • основная часть отчета о НИР; 
  • заключение; 
  • список использованных источников; 
  • приложения.

Соответственно, результатом оценки становился многостраничный текстовый документ с иллюстрациями и приложениями. Ходили устойчивые слухи о том, что главные пользователи таких отчетов - те, кому нужны были ответы на вопросы задания - читали в них только реферат (по-английски – executive summary), где кратко излагалось все содержание отчета. 

Когда появился PowerPoint, в дополнение к письменному отчету стали просить сделать презентацию. Пользователи результатов оценки стали выделять время на то, чтобы выслушать презентацию и… перестали читать даже реферат. При необходимости они обращались к презентации. 

Сегодня все идет к тому, чтобы в качестве отчета оставлять только достаточно подробную презентацию. Это существенно сокращает время подготовки отчета и экономит деньги заказчика оценки (если оценка внешняя). Многостраничные текстовые документы уходят в прошлое.

среда, 16 ноября 2022 г.

Всегда ли прав клиент?

Внешняя оценка – это разновидность консультационных услуг. Со всеми вытекающими последствиями. Одно из важнейших – степень удовлетворенности клиента как критерий качества оказанной услуги. Клиент, как правило, – это руководитель организации, которая заказывает проведение внешней оценки. Это либо организация-донор, которая оценивает поддержанный ею проект; либо сама организация, выполняющая проект. 

Основа качественной услуги – это доверительные отношения между консультантом и клиентом, которые в психологии называют специальным термином «раппорт». Если такой контакт установить не удаётся, а контракт на проведение оценки все равно заключается, то неправы оба: и консультант, и клиент. 

При постановке задачи на проведение оценки правило «клиент всегда прав» работает в том смысле, что оценка должна быть ориентирована на информационные потребности клиента. Но при этом у консультанта не должно возникать проблем, связанных с соблюдением профессиональных стандартов, принципов и этики. Например, если ставится задача провести оценку с заранее известным результатом, то клиент неправ. 

При планировании оценки клиент будет совершенно прав, если попросит консультанта обосновать выбор тех или иных методов и инструментов, укажет на существующие ограничения. Но он будет неправ, если станет «продавливать» использование определенных подходов несмотря на обоснованную аргументацию их недостатков со стороны консультанта. Например, бывают такие группы, узнать мнение которых необходимо, но сделать это с помощью анкетирования невозможно в силу особенностей групповой культуры и/или специфики поставленных вопросов.

При проведении оценки клиент будет прав, если сделает все необходимое для обеспечения доступа консультанта к согласованным с ним источникам информации и для создания благоприятных условий для получения такой информации. Соответственно, если клиент, к примеру, будет настаивать на том, чтобы он сам либо его представитель сопровождали консультанта во время проведения интервью, то это не будет способствовать созданию благоприятных условий. В этом случае клиент будет неправ. 

Клиент будет прав, если попросит регулярно информировать его о ходе оценки. Но он будет сильно неправ, если станет настаивать на том, чтобы консультант делился выводами и рекомендациями до того, как будут завершены сбор и анализ информации. Известно, что выводы, сделанные на основе неполных данных, очень часто оказываются ошибочными. 

Чаще всего, клиент не стремится активно участвовать в анализе данных. Но он будет прав, если предложит свою помощь в обсуждении и интерпретации полученных данных. Естественно, для этого, данные должны быть обработаны и представлены в удобном для обсуждения виде. Обычно такое обсуждение происходит в момент представления клиенту проекта отчета по результатам оценки. Тогда же обсуждаются выводы и рекомендации. Клиент будет неправ, если станет требовать от консультанта включить в отчет выводы либо рекомендации, с которыми консультант не согласен. 

Таким образом, клиент бывает прав не всегда. А конструктивное разрешение возникающих в ходе оценки противоречий зависит от того, с чего я начал, а именно от установления и поддержания позитивных доверительных отношений между клиентом и консультантом по оценке. 

PS Люди, занятые в сфере услуг, давно усомнились в формуле «клиент всегда прав». Они утверждают, что ее нельзя понимать и применять буквально: «Слова «клиент всегда прав» означают, что, заведение должно делать всё, чего он пожелает, сотрудники не должны иметь ни мнения, ни достоинства, и в любых конфликтах всегда являются побежденной стороной. Естественно, при воплощении в жизнь эта фраза убивает заведение, и по злой иронии делает обслуживание хуже». 

вторник, 1 ноября 2022 г.

Откуда берутся критерии

На мой взгляд, критерии при проведении оценки необходимы в двух случаях: 
1) когда оценка включает элемент сравнения, в том числе, проверку на соответствие (это сравнение с имеющимися требованиями, нормами, стандартами),
2) когда необходимо вынести суждение о такой характеристике объекта оценки, определение которой не является общепринятым либо очевидным.

Например, если нужно выбрать (сравнение!) лучшие заявки из многих, необходимо четко сформулировать критерии, на основании которых мы будем делать выбор. Но здесь сразу же возникает и второй вопрос: является ли понятие "лучшая заявка" общепринятым или очевидным? 

Если речь идет о заявках на выступление на профессиональной конференции, то критерии выбора лучших заявок определяются организаторами конференции. Вот как сформулировали такие критерии в Американской ассоциации оценки: 
  1. Соответствие теме конференции. 
  2. Значимость для участников конференции.
  3. Техническое качество заявки. 
  4. Инновационность. 
  5. Уровень обобщения. 
Очевидно, что требования к заявкам (критерии) сформулированы с учетом стратегии организации (тема), особенностей целевой группы (значимость для участников), накопленного за годы работы ассоциации опыта (техническое качество) и стремления сделать максимальный вклад в развитие дисциплины (инновационность, уровень обобщения). В конечном счете, ассоциация кровно заинтересована в том, чтобы качество всех включенных в программу конференции выступлений было максимальным. Это поддержит имидж конференции и привлечет участников в будущем. 

Подойдут ли эти критерии для других конференций? Вероятно, не все и не для всех. То есть понятие "лучшая заявка на выступление" вряд ли может стать общепринятым и будет зависеть от многих факторов. 

Рассмотрим другую задачу. Предположим, в ходе оценки необходимо оценить "качество услуг". Если обратиться к специальной литературе, то можно обнаружить несколько вариантов критериев оценки качества услуги, например, такой: 
  1. Надежность
  2. Отзывчивость
  3. Гарантии
  4. Эмпатия
  5. Материально-техническое обеспечение
Эти критерии сформированы экспертами на основании исследований и являются универсальными, то есть, по мнению авторов, подходят для любого вида услуг. 

Анализ приведенных выше и многих других примеров свидетельствует о том, что:
  • Критерии формируются заинтересованными сторонами
  • Критерии формируются с учетом цели
  • Критерии формируются с учетом контекста 
  • Критерии формируются на основании накопленного практического опыта и/или результатов научных исследований
  • Критерии в комплексе отражают сущностные характеристики объекта оценки и/или базовые требования к нему
  • Для формирования критериев чаще всего необходима экспертиза в определенной предметной области 

четверг, 27 октября 2022 г.

Критерии: информация к размышлению

"Любая попытка определить, утвердить и легитимизировать (прямо или косвенно) ограниченный набор критериев для проведения (эмпирической - АК) оценки как постоянный и обязательный, является ошибкой, потому что критерии (и ценности, на которых они основаны) должны обсуждаться применительно к каждой отдельно взятой оценке. Мы не можем преодолеть ограничения, неопределенность и непредсказуемость путей познания и способов определения ценности чего-либо, установив некоторый набор критериев как единственно правильный". 

"Как я утверждал 20 лет назад в статье «Прощание с критериологией», списки критериев являются не более чем списками либо эвристическими средствами, которые могут помочь нашему мышлению".

Обе цитаты принадлежат Тому Швандту (Schwandt, T. (2018, January 9). DAC evaluation criteria. Evaluation for Development Blog comments.)

Для справки: 

  • "Наука о критериях" или "критериология" — это отрасль теории познания, в которой считается, что суждения оцениваются путем проверки их на соответствие определенным критериям. Эти критерии определяют, какие соображения, в конечном счете, можно принимать за основания для вынесения тех или иных суждений. Критерии имеют тенденцию (неявно) направлять мышление людей при проверке и корректировке их собственных суждений" (источник)
  • "Критериология изучает обоснованность рассуждений и критериев, необходимых для определения истинности или ценности того или иного суждения, знания вообще и научного знания, в частности" (источник)