Сегодня впервые участвовал в качестве эксперта в оценке регулирующего воздействия. Обсуждали в ВШЭ проект федерального закона "О защите здоровья населения от последствий потребления табака". Обнаружил, что основной трудностью было оставаться именно в той роли, которая мне была отведена (эксперт в области оценки программ), а не в роли "некурящего человека" или "человека, который ненавидит, когда рядом курят" или "человека, который не хочет, чтобы дети курили". Как мне показалось, у других участников встречи подобные затруднения тоже имелись. Вроде, справились.
вторник, 6 декабря 2011 г.
понедельник, 5 декабря 2011 г.
Новая услуга
В связи с ростом спроса на внешнюю оценку у многих организаций появляется необходимость разработать техническое задание и провести конкурс для выбора исполнителя работ. Недавно мы обнаружили, что здесь есть возможность для оказания консультационной услуги. С учетом опыта, знания международных стандартов и практики оценки, а также связей с международным профессиональным сообществом, мы можем быть действительно полезны клиентам, которые хотят провести внешнюю оценку, но не имеют достаточного опыта в качестве заказчика таких услуг. Есть одно ограничение: если мы помогаем клиенту подготовить ТЗ и организовать конкурс, мы сами в этом конкурсе участвовать не можем по вполне понятным причинам.
среда, 30 ноября 2011 г.
Как стать специалистом по оценке программ в России
Раз в год коллега из Высшей школы экономики (ГУ ВШЭ) приглашает меня рассказать его студентам о моей профессии. Очередная такая встреча состоялась вчера. Разговор получился заинтересованный, студенты задавали много хороших вопросов. Отвечая на них задумываешься о том, о чем в повседневной жизни много размышлять не приходится. Например, вчера несколько вопросов было про то, как стать специалистом по оценке. Отвечая, осознал, что это не так уж просто у нас.
Во-первых, невозможно пока получить специальное образование в области оценки. Можно лишь заниматься самообразованием (здесь сильно пригодится знание иностранного языка, т.к. публикаций на русском немного) и пройти краткосрочные тренинги (их не так легко найти, могут оказаться дорогими). Для работы в качестве специалиста по оценке программ будут нужны знания в сфере методов исследования и практические навыки проведения исследований. Поэтому имеет смысл приобретать такую специальность, где методам исследования уделяется серьезное внимание (социология, психология, экономика) и уже во время учебы постараться получить практический опыт участия в исследовательских проектах.
Во-вторых, вакансий специалистов по оценке у нас в стране пока, мягко говоря, мало. Реальнее всего получить краткосрочные контракты (наша компания такие контракты регулярно заключает) на выполнение отдельных работ по оценке программ в составе команды консультантов. Но в таких случаях предпочтение будет отдаваться не вчерашним выпускникам вузов, а людям, уже имеющим некоторый практический опыт. Потому приобретение такого опыта можно считать еще одной стратегической задачей для тех, что хочет работать в сфере оценки. Повторюсь, опыт может быть в смежных областях - прикладных социологических исследованиях, маркетинговых исследованиях, организационном развитии и т.д.
И еще одна рекомендация: вступить в профессиональную ассоциацию и поддерживать контакты с ведущими специалистами в сфере оценки в стране. Пока у нас в регионе одна такая ассоциация - Международная сеть "Оценка программ". Членство бесплатное. Опция "Вступить в Сеть" в главном меню.
Путь получается непростым, но, если быть последовательным, возможности обязательно появятся. Тем более, что в ближайшие годы спрос на специалистов по оценке наверняка будет расти.
Во-первых, невозможно пока получить специальное образование в области оценки. Можно лишь заниматься самообразованием (здесь сильно пригодится знание иностранного языка, т.к. публикаций на русском немного) и пройти краткосрочные тренинги (их не так легко найти, могут оказаться дорогими). Для работы в качестве специалиста по оценке программ будут нужны знания в сфере методов исследования и практические навыки проведения исследований. Поэтому имеет смысл приобретать такую специальность, где методам исследования уделяется серьезное внимание (социология, психология, экономика) и уже во время учебы постараться получить практический опыт участия в исследовательских проектах.
Во-вторых, вакансий специалистов по оценке у нас в стране пока, мягко говоря, мало. Реальнее всего получить краткосрочные контракты (наша компания такие контракты регулярно заключает) на выполнение отдельных работ по оценке программ в составе команды консультантов. Но в таких случаях предпочтение будет отдаваться не вчерашним выпускникам вузов, а людям, уже имеющим некоторый практический опыт. Потому приобретение такого опыта можно считать еще одной стратегической задачей для тех, что хочет работать в сфере оценки. Повторюсь, опыт может быть в смежных областях - прикладных социологических исследованиях, маркетинговых исследованиях, организационном развитии и т.д.
И еще одна рекомендация: вступить в профессиональную ассоциацию и поддерживать контакты с ведущими специалистами в сфере оценки в стране. Пока у нас в регионе одна такая ассоциация - Международная сеть "Оценка программ". Членство бесплатное. Опция "Вступить в Сеть" в главном меню.
Путь получается непростым, но, если быть последовательным, возможности обязательно появятся. Тем более, что в ближайшие годы спрос на специалистов по оценке наверняка будет расти.
вторник, 15 ноября 2011 г.
Цепочка результатов
В литературе по проектированию и оценке широко распространено понятие "цепочка результатов" (chain of results). Чаще всего эту цепочку представляют так: "ресурсы - деятельность - непосредственный результат (output) - конечный результат (outcome) - стратегический результат или воздействие (impact)". Я считаю, что в таком представлении цепочки результатов есть одна ошибка и одна неточность.
Ошибка: ресурсы и деятельность не являются результатами, поэтому их неправильно включать в данную цепочку.
Неточность: во избежание путаницы необходимо разделять ожидаемые и фактические результаты.
Цепочка ожидаемых результатов - это иерархия целей, поскольку цель - это образ конечного результата. Эту цепочку можно было бы описать так: "задачи - цель - стратегическая цель (миссия)". Цепочка ожидаемых результатов представляет намерения.
Термины "непосредственный результат", "конечный результат" и "стратегический результат" ассоциируются скорее с фактическими результатами деятельности. Это уже другая цепочка - цепочка фактических результатов, которая представляет то, что получилось на практике.
Ошибка: ресурсы и деятельность не являются результатами, поэтому их неправильно включать в данную цепочку.
Неточность: во избежание путаницы необходимо разделять ожидаемые и фактические результаты.
Цепочка ожидаемых результатов - это иерархия целей, поскольку цель - это образ конечного результата. Эту цепочку можно было бы описать так: "задачи - цель - стратегическая цель (миссия)". Цепочка ожидаемых результатов представляет намерения.
Термины "непосредственный результат", "конечный результат" и "стратегический результат" ассоциируются скорее с фактическими результатами деятельности. Это уже другая цепочка - цепочка фактических результатов, которая представляет то, что получилось на практике.
понедельник, 31 октября 2011 г.
Профессионализация оценки программ в России
Осенью 2009 года меня пригласили выступить перед студентами и сотрудниками Российской экономической школы (РЭШ) в Москве с лекцией о профессионализации оценки программ в России. Полную видеозапись лекции можно посмотреть здесь.
Любопытный момент: мы не договаривались, что ее выложат в интернете, потому я был несколько удивлен, увидав ее там. В лекции не было, естественно, ничего особенного, просто я считаю, что надо о таких вещах договариваться зараннее. Мораль: коли не хотите, чтобы ваше видео ненароком попало во всемирную паутину, не соглашайтесь на видеосъемку и будьте бдительны :) Мне вот сказали, что съемка велась для внутреннего использования в РЭШ.
PS 2 октября мне позвонили из РЭШ, извинились за несанкционированное размещение видео в интернете и убрали его. Инцидент исчерпан. Оперативность коллег из РЭШ впечатлила. Оказалось, что отслеживание публикаций, в которых упоминается Российская экнономическая школа, является рутинной процедурой, осуществляемой автоматически ежедневно.
Любопытный момент: мы не договаривались, что ее выложат в интернете, потому я был несколько удивлен, увидав ее там. В лекции не было, естественно, ничего особенного, просто я считаю, что надо о таких вещах договариваться зараннее. Мораль: коли не хотите, чтобы ваше видео ненароком попало во всемирную паутину, не соглашайтесь на видеосъемку и будьте бдительны :) Мне вот сказали, что съемка велась для внутреннего использования в РЭШ.
PS 2 октября мне позвонили из РЭШ, извинились за несанкционированное размещение видео в интернете и убрали его. Инцидент исчерпан. Оперативность коллег из РЭШ впечатлила. Оказалось, что отслеживание публикаций, в которых упоминается Российская экнономическая школа, является рутинной процедурой, осуществляемой автоматически ежедневно.
вторник, 25 октября 2011 г.
Рабочая встреча завершена, работа продолжается
В прошлую пятницу завершилась рабочая встреча в Женеве по подготовке документа ISO в сфере развития потенциала оценки. Оказалось, что по существующим правилам у группы теперь есть 3 месяца, чтобы подготовить документ и подать его в ISO для публикации. За 5 дней многое успели обсудить (включая примерную структуру документа), но, естественно, сам документ не сделали. Поэтому сформировали несколько рабочих групп, которые должны за 6 недель подготовить свои кусочки текста. Все это будет сведено в один документ, обсуждено, отредактировано и подано в ISO в середине января 2012 года. Так что работа продолжается, а с ее результатами можно будет ознакомиться в начале следующего года. Пока что можно следить за новостями на Facebook (англ.)
среда, 19 октября 2011 г.
Не совсем стандарт ISO
События в Женеве развиваются стремительно. Постепенно стало понятно (не только мне, но и многим другим участникам), что речь идет не совсем о стандарте ISO. На данном этапе мы движемся к созданию документа, по которому нам удастся достичь согласия в данной группе, состоящей из 20 человек со всех континентов. Документ будет опубликован для обсуждения, после чего возможны три варианта:
1) создание на его основе стандарта ISO
2) создание на его основе руководящих указаний ISO (guidelines)
3) прекращение деятельности ввиду ее бесперспективности.
В данный момент мне кажется, что у нас появились интересные идеи и новые подходы, которые вполне могут трансформироваться во что-то полезное. Перерыв заканчивается. Продолжение следует.
1) создание на его основе стандарта ISO
2) создание на его основе руководящих указаний ISO (guidelines)
3) прекращение деятельности ввиду ее бесперспективности.
В данный момент мне кажется, что у нас появились интересные идеи и новые подходы, которые вполне могут трансформироваться во что-то полезное. Перерыв заканчивается. Продолжение следует.
суббота, 15 октября 2011 г.
Разработка стандарта ISO в области оценки...
...точнее, в области развития потенциала оценки (evaluation capacity development).
Завтра улетаю на 5-дневную рабочую встречу по разработке проекта стандарта ISO в Женеве. Я уже упоминал об этом мероприятии.
Принял решение участвовать по нескольким причинам:
Завтра улетаю на 5-дневную рабочую встречу по разработке проекта стандарта ISO в Женеве. Я уже упоминал об этом мероприятии.
Принял решение участвовать по нескольким причинам:
- Это моя сфера интересов - как исследователя (моя диссертация была связана с развитием потенциала оценки в организациях) и как практика (участвую в развитии потенциала оценки в нашем регионе уже много лет).
- Сегодня запрос на разработку стандартов/политик/систем в сфере оценки возникает у наших клиентов все чаще.
- Второй выпуск журнала "Проектирование, мониторинг и оценка" будет посвящен принципам и стандартам в сфере оценки. Мне как редактору нелишне будет повысить квалификацию в этой области.
- Никогда ранее не участвовал в разработке стандартов ISO. Интересно попробовать и ознакомиться с процессом.
- Знаю лично организаторов и фасилитатора рабочей встречи и отношусь к ним с большим уважением и симпатией.
четверг, 6 октября 2011 г.
Обсуждение вопросов оценки на форуме в Риге
Мне редко приходится выступать перед аудиториями, состоящими преимущественно из представителей фондов. Поэтому на форуме в Риге я не очень представлял себе, как пойдет обсуждение. В своем выступлении я представил "ландшафт" оценки и показал многообразие ее форм, а потом остановился на трех вещах, которые доноры могут улучшить:
- иметь оценку в виду уже на стадии дизайна программ, чтобы повысить "оцениваемость" последних,
- разрабатывать реалистичные задания на проведение оценки, включая в них только то, что действительно интересует заказчика,
- не публиковать полные отчеты об оценке в открытом доступе, а публиковать лишь то новое обобщенное знание, которое было получено в ходе оценки и может пригодиться другим (в виде статьи).
вторник, 4 октября 2011 г.
Форум в Риге
Завтра в Риге начинается форум грантодающих организаций, которые работают в нашем регионе. Называется Grantmakers East Forum. Один из вопросов, которые участники форума собираются обсудить - оценка в деятельности фондов. Предполагается рассмотреть широкий круг вопросов. Меня пригласили принять участие в этой дискуссии в качестве эксперта, поэтому смогу рассказать о содержании обсуждения в ближайшие дни.
Подписаться на:
Сообщения (Atom)