пятница, 29 января 2021 г.

Оценка стратегии НКО

Тему эту обсуждали на днях на семинаре в Новосибирске

Отмечу несколько важных моментов: 
  1. Оценивать стратегию можно и нужно на разных стадиях цикла стратегического управления, а не только по итогам её реализации. Например, оценка стратегического плана до начала его реализации может оказаться очень полезной.
  2. Ни одна стратегия не может быть реализована в полном соответствии с планом. Что-то наверняка не получится, а что-то новое возникнет по ходу реализации стратегии . Это следует учитывать при оценке стратегии.  
  3. С точки зрения оценки своей стратегии НКО следует ориентироваться на само-оценивание. Это означает, что НКО нужны соответствующие организационные системы и компетенции в этой сфере. 
  4. При оценке стратегии можно использовать различные критерии. В частности, (а) критерии оценки стратегии в целом, (б) критерии оценки взаимоотношений между отдельными элементами стратегии, (в) критерии оценки подхода организации к разработке и реализации стратегии, (г) критерии оценки реализации стратегии. Эти 4 группы критериев предложены в статье Patrizi, P. A. (2010). Strategy evaluation: Emerging processes and methods. In P. A. Patrizi & M. Q. Patton (Eds.), Evaluating strategy. New Directions for Evaluation.
Добавляю в блоге ярлык "Оценка стратегии". Думаю, что тема интересная, и обсуждение продолжится. 

вторник, 1 декабря 2020 г.

Теория изменений: возможности использования, ограничения, вопросы

Сегодня принимал участие в семинаре по проекту Фонда Gladway и НИУ ВШЭ "Разработка и апробация модели оценки социально-экономического воздействия деятельности". Меня попросили рассказать об опыте использования теории изменений - отличный повод этот опыт осмыслить! Основные тезисы моего сообщения - ниже.
Теория изменений - это... 

  • Инструмент описания результатов проекта
  • Инструмент проектирования (разработки замысла проекта)
  • Способ визуализации замысла проекта
  • Способ обоснования причинно-следственной связи между деятельностью в рамках проекта и ее результатами
  • Способ определения границ воздействия проекта (см. Допущения)
  • Основа для формирования системы мониторинга проекта
  • Основа для оценки проекта
  • Способ «архивирования» хороших практик в обобщенном виде

Теория изменений - вопросы и ограничения: 
  • Как определить оптимальную степень детализации и сложности?
  • Можно ли действия встраивать в цепочки результатов? Может ли достижение результата быть условием для осуществления какого-либо действия?
  • Не любую стрелку можно «раскрыть» в виде цепочки результатов.
  • Для доказательства наличия причинно-следственной связи может понадобиться серьезное исследование. НКО не всегда справятся.
  • Достаточно ли у НКО компетенций, чтобы использовать для обоснования ТИ данные научных исследований и научные теории?
  • Линейность ТИ (в классическом варианте) не отражает нелинейность жизни
  • Усложнение ТИ в случае использования циклических диаграмм. В некоторых случаях необходимость применения специального программного обеспечения.
  • Невозможность применения ТИ в динамических ситуациях, которые часто имеют место именно при работе с людьми. Для таких ситуаций ТИ можно построить лишь в ретроспективе.
Очень понравилось сообщение Максима Цыганкова из Центра перспективных управленческих разработок об опыте оценки политик! Надеюсь, в записи будет доступно.

понедельник, 12 октября 2020 г.

Глокальные проблемы в развитии оценки


Сегодня выступал на виртуальной конференции АСОПП с сообщением о глобальных и локальных проблемах в развитии оценки. Презентация здесь (PDF).

Вот основные тезисы: 
  1. Проблема практического использования оценки существует давно и пока не решена. Можно ли в таком случае рассчитывать на широкое практическое внедрение оценки?
  2. Превращение оценки в инспекцию или в исследование ограничивает возможности ее использования в принятии управленческих решений и совершенствовании оцениваемых программ и проектов.
  3. Инструментальное использование оценки (знание для действия) не всегда оказывается главным при ее внедрении. Это сильно снижает потенциал оценки как инструмента управления.
  4. Практическое использование оценки может сдерживаться особенностями управленческой культуры, в частности, традициями (не)обоснования управленческих решений.
  5. Активизм в оценке может стать причиной возникновения конфликта интересов у специалиста по оценке и привести к его неэтичному и непрофессиональному поведению.
  6. Ресурсов для развития внутренней оценки и само-оценивания пока недостаточно. Развитие преимущественно внешней оценки не вполне отвечает интересам практиков, реализующих программы и проекты социальной направленности. 
  7. Обязательность проведения оценки может существенно снижать пользу от неё. Публикация отчетов о результатах оценки создает конфликт интересов для консультантов и может привести к искажению результатов либо их неполному освещению.  

воскресенье, 6 сентября 2020 г.

К 75-летию Майкла Пэттона

Майклу Пэттону (Michael Quinn Patton) - 75. Присоединяюсь к поздравлениям, которые он получает сегодня со всех концов планеты! Мне выпала честь стать одним из его учеников: Майкл был моим научным руководителем в программе PhD. Фотография сделана в самом начале нашего сотрудничества. Это было в 2002 году, потому мы оба выглядим несколько моложе, чем сейчас :) 

По случаю знаменательной даты друзьями и коллегами Майкла был проведен специальный опрос и опубликованы топ-10 уроков от гуру. Мне, пожалуй, ближе всего вот этот: "Главное в оценке - это подлинное понимание жизни".  

вторник, 1 сентября 2020 г.

Консультанты против заниженного бюджета оценки

В последние годы в кулуарах консультанты часто судачат о том, что средства, выделяемые на проведение оценки программ, очень серьезно сокращаются. Это относится, в частности, к международным организациям. 

Не могу не задать читателям этого блога риторического вопроса: как вы думаете, стали бы организации сокращать расходы на то, что им очень нужно или даже жизненно необходимо?... Но речь не об этом. 

Сегодня произошло редкое событие. В ответ на просьбу представителя Международной организации гражданской авиации / ICAO (одна из структур ООН) распространить приглашение к участию в тендере на проведение оценки два очень известных консультанта из Канады написали открытые ответы. Суть обоих ответов сводится к тому, что неприлично такие предложения рассылать (денег мало). Приведу цитаты из обоих писем, чтобы не быть голословным.

"Просмотрел ваше сообщение. После уплаты налогов (нижний предел) и эквивалента  отчислений (стандарт) дневная ставка составит от 80 до 150 долларов США... [Такая] ставка профессионального вознаграждения не соответствует должностным требованиям. Таким образом, я не только не заинтересован сам, но и не хочу делиться этим со своими коллегами" 

"...Если быть дипломатичным, можно сказать так: нелепо предлагать уровни гонораров, идентичные тому, что мне платили 40 лет назад в самом начале моей карьеры консультанта. Нет абсолютно никаких причин для распространения такого запроса... Консультанты либо не получат адекватного вознаграждения, либо не будут иметь необходимой квалификации"

В первом письме автор предлагает "сделать шаг назад" и пересмотреть условия оплаты. 

Как вы думаете, какой была реакция представителя ICAO? Вот только что пришло: "Спасибо за комментарий! Сейчас скорректируем". 

Не представляю, чем эта дискуссия может закончиться. Открытые письма продолжают поступать...

суббота, 22 августа 2020 г.

Самая большая онлайновая конференция по оценке в этом году

Американская ассоциация оценки приняла решение в связи с пандемией впервые провести свою ежегодную конференцию Evaluation 2020 в онлайновом формате. Конференция пройдет с 27 по 30 октября 2020 года. Очные конференции этой ассоциации в последние годы посещали от 3 до 4,5 тысяч человек. Можно было бы ожидать, что число участников онлайновой конференции будет никак не меньше, однако регистрационный взнос в 300 долларов за участие в конференции и 150 долларов за участие в 3-часовом семинаре могут существенно ограничить число участников, по крайней мере, из дальнего зарубежья. Хотя в целом логика понятна: участники существенно экономят на проезде, проживании и питании. Почему бы тогда не оставить регистрационный взнос на прежнем уровне? 

Судя по всему. коллеги серьезно вложились в создание нового онлайнового ресурса, который позволит провести почти все традиционные для ежегодной конференции мероприятия: 
  • Сессии. В этом году их будет 120 вместо обычных 800. За счет сокращения числа сессий, по словам организаторов, повысится их качество. Зарегистрированным участникам не обязательно все три дня сидеть перед компьютером с утра до вечера. Все сессии можно будет посмотреть в записи в течение 3 месяцев.
  • Стендовые доклады. Ожидается их более 200. По-моему, с содержательной точки зрения стендовые доклады в онлайне даже удобнее, чем очно.
  • 10 обучающих семинаров. 
  • Рабочие встречи 60 тематических групп (Topical Interst Groups - TIGs).
  • Встречи с издателями и авторами книг, а также с организациями, профессионально занимающимися оценкой в виртуальном выставочном зале.
  • Развитие сети своих профессиональных контактов через неформальное общение, для чего создается специальный виртуальный коммуникационный центр.

четверг, 13 августа 2020 г.

Непосредственные результаты


В социальном проектировании непосредственными результатами (outputs) называют прямое следствие череды действий в рамках проекта. Казалось бы, все просто: выполнил действие - получил непосредственный результат. Однако, как ни странно, и в зарубежных, и в российских публикациях мнения о том, что считать непосредственным результатом расходятся радикальным образом. И похоже, что у нас ошибочная позиция становится все более и более популярной. Она заключается в том, что к непосредственным результатам относят характеристики выполненной деятельности. 

Предположим, в рамках проекта проводится обучение. Собственно обучение является деятельностью в рамках проекта. Здесь вопросов ни у кого не возникает. А теперь внимание! Непосредственными результатами обучения называют следующее: сколько учебных курсов организовали, сколько часов длились занятия, сколько человек приняли участие в обучении. Но всё перечисленное относится к самой деятельности, характеризует ее масштабы, отвечает на вопрос о том, сколько мы всего сделали. Все это характеристики (показатели) выполненной деятельности, но никак не ее непосредственные результаты. Что же является непосредственным результатом обучения, его прямым следствием? То, что происходит с обучаемыми: изменение их знаний, умений, навыков, отношения к чему либо. 

Почему важно правильно формулировать непосредственные результаты? Потому что, если этого не сделать корректно, появится разрыв в логике проекта между деятельностью и ожидаемым конечным результатом проекта. Это, в свою очередь, может существенно снизить обоснованность замысла проекта, нам будет сложно доказать, что наши действия приведут к достижению желаемой цели. К тому же, не зная непосредственных результатов, может оказаться весьма сложно провести оценку проекта.

Предположим, речь идет об обучении пенсионеров компьютерной грамотности. Мы рассчитываем, что после обучения они станут пользоваться компьютером и расширят круг общения; найдут родственников, старых друзей и коллег в соцсетях; станут заказывать лекарства и продукты на дом. В конечном итоге, это приведет к повышению качества их жизни. В данной логике имеется разрыв - отсутствует непосредственный результат. Человек отсидел несколько часов на курсах и вернулся домой. В каком случае он сможет пользоваться компьютером со всеми вытекающими чудесными последствиями? Только в том случае, когда у него в результате обучения появились соответствующие навыки и знания. Вполне можно допустить, что обучение будет проведено так, что учащиеся не в полной мере освоят предложенный им материал и не сформируют необходимых навыков. Далее, соответственно, ничего не произойдет, и цель проекта достигнута не будет. Когда мы оцениваем подобный проект, который потерпел неудачу, мы обязательно обращаемся к тому, в какой мере удалось достичь непосредственных результатов (формирование новых знаний и навыков), поскольку именно здесь может оказаться причина возникшей проблемы. 

Важно отделять непосредственные результаты деятельности от самой деятельности. Это, кстати, может оказаться не так уж и просто. Куда проще отнести к непосредственным результатам число обученных и продолжительность занятий в часах. Возможно, именно поэтому и возникает столь распространенная ошибка? 

среда, 5 августа 2020 г.

Где учиться оценке?

Есть три вводных бесплатных онлайновых курса на русском языке: 
На эти два курса может зарегистрироваться любой желающий.
  • Новый онлайновый курс "Оценка проектов и программ в сфере детства"  Этот курс «Оценка программ и проектов в сфере детства» подготовлен в рамках проектов АНО «Эволюция и Филантропия» «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства», который реализуется на средства гранта Комитета общественных связей и молодежной политики города Москвы  и «Онлайн-курс по оценке проектов и программ в сфере детства», который реализуется на средства гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проектов осуществляет также Фонд Тимченко. Условия участия в этом курсе следует уточнять у организаторов.
Две российские университетские программы:  
Известная международная обучающая программа IPDET | INTERNATIONAL PROGRAM FOR DEVELOPMENT EVALUATION TRAINING переведена в режим онлайн. Здесь нужен английский. Доступны стипендии.

Для тех, кто рассматривает возможность получить образование за рубежом: 

суббота, 1 августа 2020 г.

Конференция АСОПП: о чем будем говорить?

Сегодня - последний день подачи заявок на выступления на конференции АСОПП. На практике сроки подачи заявок почти всегда продлевались. Полагаю, что этот год не станет исключением с учетом известных форс-мажорных обстоятельств...
На всякий случай: сайт конференции, онлайновая форма подачи заявки
В этом году тема конференции такая: "Оценка в глобальном мире: международные тренды и российская практика". Программа конференции будет формироваться на основе конкурсного отбора заявок. Конференция пройдет в виртуальном формате. 
Долго размышлял о том, что мне хотелось бы обсудить в связи с темой конференции и пришел к выводу, что это - проблемы развития оценки (и глобальные, и локальные). О замысле своего выступления расскажу подробнее, если оно войдет в программу конференции. Заявку подал. А вы?