- Оценивать стратегию можно и нужно на разных стадиях цикла стратегического управления, а не только по итогам её реализации. Например, оценка стратегического плана до начала его реализации может оказаться очень полезной.
- Ни одна стратегия не может быть реализована в полном соответствии с планом. Что-то наверняка не получится, а что-то новое возникнет по ходу реализации стратегии . Это следует учитывать при оценке стратегии.
- С точки зрения оценки своей стратегии НКО следует ориентироваться на само-оценивание. Это означает, что НКО нужны соответствующие организационные системы и компетенции в этой сфере.
- При оценке стратегии можно использовать различные критерии. В частности, (а) критерии оценки стратегии в целом, (б) критерии оценки взаимоотношений между отдельными элементами стратегии, (в) критерии оценки подхода организации к разработке и реализации стратегии, (г) критерии оценки реализации стратегии. Эти 4 группы критериев предложены в статье Patrizi, P. A. (2010). Strategy evaluation: Emerging processes and methods. In P. A. Patrizi & M. Q. Patton (Eds.), Evaluating strategy. New Directions for Evaluation.
пятница, 29 января 2021 г.
Оценка стратегии НКО
среда, 16 декабря 2020 г.
Рождественская версия модели Кеневин
Модель Кеневин, о которой была отдельная публикация в этом блоге, в преддверии Рождества приобретает праздничный характер. Посмотрите, как здорово получилось у Мартина Берга (Martin Berg)!
вторник, 1 декабря 2020 г.
Теория изменений: возможности использования, ограничения, вопросы
- Инструмент описания результатов проекта
- Инструмент проектирования (разработки замысла проекта)
- Способ визуализации замысла проекта
- Способ обоснования причинно-следственной связи между деятельностью в рамках проекта и ее результатами
- Способ определения границ воздействия проекта (см. Допущения)
- Основа для формирования системы мониторинга проекта
- Основа для оценки проекта
- Способ «архивирования» хороших практик в обобщенном виде
- Как определить оптимальную степень детализации и сложности?
- Можно ли действия встраивать в цепочки результатов? Может ли достижение результата быть условием для осуществления какого-либо действия?
- Не любую стрелку можно «раскрыть» в виде цепочки результатов.
- Для доказательства наличия причинно-следственной связи может понадобиться серьезное исследование. НКО не всегда справятся.
- Достаточно ли у НКО компетенций, чтобы использовать для обоснования ТИ данные научных исследований и научные теории?
- Линейность ТИ (в классическом варианте) не отражает нелинейность жизни
- Усложнение ТИ в случае использования циклических диаграмм. В некоторых случаях необходимость применения специального программного обеспечения.
- Невозможность применения ТИ в динамических ситуациях, которые часто имеют место именно при работе с людьми. Для таких ситуаций ТИ можно построить лишь в ретроспективе.
понедельник, 12 октября 2020 г.
Глокальные проблемы в развитии оценки
Сегодня выступал на виртуальной конференции АСОПП с сообщением о глобальных и локальных проблемах в развитии оценки. Презентация здесь (PDF).
- Проблема практического использования оценки существует давно и пока не решена. Можно ли в таком случае рассчитывать на широкое практическое внедрение оценки?
- Превращение оценки в инспекцию или в исследование ограничивает возможности ее использования в принятии управленческих решений и совершенствовании оцениваемых программ и проектов.
- Инструментальное использование оценки (знание для действия) не всегда оказывается главным при ее внедрении. Это сильно снижает потенциал оценки как инструмента управления.
- Практическое использование оценки может сдерживаться особенностями управленческой культуры, в частности, традициями (не)обоснования управленческих решений.
- Активизм в оценке может стать причиной возникновения конфликта интересов у специалиста по оценке и привести к его неэтичному и непрофессиональному поведению.
- Ресурсов для развития внутренней оценки и само-оценивания пока недостаточно. Развитие преимущественно внешней оценки не вполне отвечает интересам практиков, реализующих программы и проекты социальной направленности.
- Обязательность проведения оценки может существенно снижать пользу от неё. Публикация отчетов о результатах оценки создает конфликт интересов для консультантов и может привести к искажению результатов либо их неполному освещению.
воскресенье, 6 сентября 2020 г.
К 75-летию Майкла Пэттона
По случаю знаменательной даты друзьями и коллегами Майкла был проведен специальный опрос и опубликованы топ-10 уроков от гуру. Мне, пожалуй, ближе всего вот этот: "Главное в оценке - это подлинное понимание жизни".
вторник, 1 сентября 2020 г.
Консультанты против заниженного бюджета оценки
Не могу не задать читателям этого блога риторического вопроса: как вы думаете, стали бы организации сокращать расходы на то, что им очень нужно или даже жизненно необходимо?... Но речь не об этом.
Сегодня произошло редкое событие. В ответ на просьбу представителя Международной организации гражданской авиации / ICAO (одна из структур ООН) распространить приглашение к участию в тендере на проведение оценки два очень известных консультанта из Канады написали открытые ответы. Суть обоих ответов сводится к тому, что неприлично такие предложения рассылать (денег мало). Приведу цитаты из обоих писем, чтобы не быть голословным.
"Просмотрел ваше сообщение. После уплаты налогов (нижний предел) и эквивалента отчислений (стандарт) дневная ставка составит от 80 до 150 долларов США... [Такая] ставка профессионального вознаграждения не соответствует должностным требованиям. Таким образом, я не только не заинтересован сам, но и не хочу делиться этим со своими коллегами"
"...Если быть дипломатичным, можно сказать так: нелепо предлагать уровни гонораров, идентичные тому, что мне платили 40 лет назад в самом начале моей карьеры консультанта. Нет абсолютно никаких причин для распространения такого запроса... Консультанты либо не получат адекватного вознаграждения, либо не будут иметь необходимой квалификации"
В первом письме автор предлагает "сделать шаг назад" и пересмотреть условия оплаты.
Как вы думаете, какой была реакция представителя ICAO? Вот только что пришло: "Спасибо за комментарий! Сейчас скорректируем".
Не представляю, чем эта дискуссия может закончиться. Открытые письма продолжают поступать...
суббота, 22 августа 2020 г.
Самая большая онлайновая конференция по оценке в этом году
- Сессии. В этом году их будет 120 вместо обычных 800. За счет сокращения числа сессий, по словам организаторов, повысится их качество. Зарегистрированным участникам не обязательно все три дня сидеть перед компьютером с утра до вечера. Все сессии можно будет посмотреть в записи в течение 3 месяцев.
- Стендовые доклады. Ожидается их более 200. По-моему, с содержательной точки зрения стендовые доклады в онлайне даже удобнее, чем очно.
- 10 обучающих семинаров.
- Рабочие встречи 60 тематических групп (Topical Interst Groups - TIGs).
- Встречи с издателями и авторами книг, а также с организациями, профессионально занимающимися оценкой в виртуальном выставочном зале.
- Развитие сети своих профессиональных контактов через неформальное общение, для чего создается специальный виртуальный коммуникационный центр.
четверг, 13 августа 2020 г.
Непосредственные результаты
Предположим, в рамках проекта проводится обучение. Собственно обучение является деятельностью в рамках проекта. Здесь вопросов ни у кого не возникает. А теперь внимание! Непосредственными результатами обучения называют следующее: сколько учебных курсов организовали, сколько часов длились занятия, сколько человек приняли участие в обучении. Но всё перечисленное относится к самой деятельности, характеризует ее масштабы, отвечает на вопрос о том, сколько мы всего сделали. Все это характеристики (показатели) выполненной деятельности, но никак не ее непосредственные результаты. Что же является непосредственным результатом обучения, его прямым следствием? То, что происходит с обучаемыми: изменение их знаний, умений, навыков, отношения к чему либо.
Почему важно правильно формулировать непосредственные результаты? Потому что, если этого не сделать корректно, появится разрыв в логике проекта между деятельностью и ожидаемым конечным результатом проекта. Это, в свою очередь, может существенно снизить обоснованность замысла проекта, нам будет сложно доказать, что наши действия приведут к достижению желаемой цели. К тому же, не зная непосредственных результатов, может оказаться весьма сложно провести оценку проекта.
Предположим, речь идет об обучении пенсионеров компьютерной грамотности. Мы рассчитываем, что после обучения они станут пользоваться компьютером и расширят круг общения; найдут родственников, старых друзей и коллег в соцсетях; станут заказывать лекарства и продукты на дом. В конечном итоге, это приведет к повышению качества их жизни. В данной логике имеется разрыв - отсутствует непосредственный результат. Человек отсидел несколько часов на курсах и вернулся домой. В каком случае он сможет пользоваться компьютером со всеми вытекающими чудесными последствиями? Только в том случае, когда у него в результате обучения появились соответствующие навыки и знания. Вполне можно допустить, что обучение будет проведено так, что учащиеся не в полной мере освоят предложенный им материал и не сформируют необходимых навыков. Далее, соответственно, ничего не произойдет, и цель проекта достигнута не будет. Когда мы оцениваем подобный проект, который потерпел неудачу, мы обязательно обращаемся к тому, в какой мере удалось достичь непосредственных результатов (формирование новых знаний и навыков), поскольку именно здесь может оказаться причина возникшей проблемы.
Важно отделять непосредственные результаты деятельности от самой деятельности. Это, кстати, может оказаться не так уж и просто. Куда проще отнести к непосредственным результатам число обученных и продолжительность занятий в часах. Возможно, именно поэтому и возникает столь распространенная ошибка?
среда, 5 августа 2020 г.
Где учиться оценке?
- Вводный курс по оценке от программы EvalPartners.
- Вводный курс по оценке от Ассоциации развития гражданского общества (Казахстан)
- Новый онлайновый курс "Оценка проектов и программ в сфере детства" Этот курс «Оценка программ и проектов в сфере детства» подготовлен в рамках проектов АНО «Эволюция и Филантропия» «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства», который реализуется на средства гранта Комитета общественных связей и молодежной политики города Москвы и «Онлайн-курс по оценке проектов и программ в сфере детства», который реализуется на средства гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проектов осуществляет также Фонд Тимченко. Условия участия в этом курсе следует уточнять у организаторов.
- Бакалаврская программа "Управление и аналитика в государственном секторе" (НИУ ВШЭ СПб)
- Магистерская программа "Доказательное проектирование и оценка программ в области управления социальными рисками в сфере детства" (МГППУ, ф-т Юридическая психология)
- Список преимущественно американских университетов, где можно получить образование в сфере оценки, от Американской ассоциации оценки.
- Список европейских университетов от Европейского общества оценки.



