Как сформировать свою программу на большой конференции

Конференция Американской ассоциации оценки - большая. Число участников в последние годы превышает 2500, а число выступлений приближается к 1000. Это, в частности, означает, что каждые полтора часа во время конференции нужно будет выбирать одну из 20-25 сессий. Перерыв между сессиями - 10 минут: только-только, чтобы добежать до следующей аудитории. Программа конференции выдается при регистрации и выглядит как телефонная книга для города средних размеров. Таким образом, выбор сессий становится серьезной задачей. Есть риск пропустить что-то действительно интересное для вас или попасть туда, где вам не очень интересно.
Решение этой задачи, доступное в последние годы для членов ассоциации, заключается в том, что (а) программа конференции с удобными поисковыми сервисами (по ключевым словам, по имени выступающего, по типу сессии и т.д.) доступна в онлайне за несколько месяцев до начала конференции,
(б) пользователь (являющийся членом ассоциации и прошедший авторизацию на сайте) может заранее выбрать интересующие его сессии (отметить флажками) и сформировать из них свою программу конференции (нажать кнопку "Добавить в мою программу").
Индивидуальная программа хранится на сайте в "Личном кабинете" пользователя и может редактироваться по мере необходимости. Ее также можно (и нужно!) распечатать перед конференцией в удобном формате. Распечатка умещается на двух (!) листах формата А4.
Полагаю, что при таком подходе да еще с учетом наличия у большинства участников мобильного интернета можно будет в какой-то момент вовсе отказаться от публикации программ на бумаге. 

Особенности законодательства

В связи с регистрацией ассоциации оценивания в России мне впервые пришлось ближе познакомиться с законодательством об НКО. При ближайшем рассмотрении оказалось, что законодательство наше содержит массу ограничений для функционирования профессиональной ассоциации. Уже три месяца консультируемся с юристами, чтобы найти компромиссные решения. Особенно меня удивляет то, что в наш век интернета и телекоммникационных технологий законодательство запрещает ониайновое волеизъявление членов ассоциации. Можно только очно голосовать. Тем самым создаются преграды для эффективного вовлечения всех членов ассоциации в процесс принятия важнейших решений, например, в выборы руководящих органов ассоциации. Получается, что в выборах могут участвовать только те, кто будет присутствовать на конференции. А как же электронная демократия?

Вакансия в Азербайджане

Минздрав Азербайджана объявил о вакантной должности специалиста по мониторингу и оценке. Пишу об этом, поскольку в нашем регионе не так часто подобные вакансии открываются в министерствах национального уровня. И тут, правда, не обошлось без Глобального Фонда, но все равно должность входит в штат Министерства здравоохранения страны.

На пересечении

Одним из самых ярких для меня впечатлений от конференции IPEN в Астане стало выступление коллег из Москвы, представляющих Фонд "Культура детства". Они рассказали об опыте разработки принципов оценки программ, ориетированных на подростков. Хотел бы отметить две особенности их выступления.
Во-первых, оно знаменует новый этап в развитии оценки программ в нашей стране, поскольку в рамках этой инициативы разрабатываются особые подходы к оценке в определенной предметной области. Коллеги работают "на пересечении" своей сферы профессиональной деятельности и оценки программ, которая не является их специальностью. Это признак процесса специализации внутри сферы оценки. Процесс этот продолжится: в ближайшее время мы будем наблюдать развитие специфической методологии и особого инструментария оценки и в других предметных областях. За этим последует и соответствующая специализация консультантов по оценке в сферах зравоохранения. образования, экологии и т.д.
Во-вторых, коллеги представили продукт совместной деятельности специалистов в предметной области и специалистов по оценке. Причем разработка этого продукта проводится по инициативе специалистов в предметной области. Такое сотрудничество, на мой взгляд, очень перспективно и также является определенным этапом развития оценки программ.
В каком-то смысле вся конференция в Астане проходила "на пересечении": организаторами конференции были сеть специалистов по оценке, некоммерческая организация, частный фонд и академия государственного управления. Тема конференции была связана с использованием результатов оценки в принятии управленческих решений (еще одно "пересечение").
На мой взгляд, качество докладов и уровень обсуждения были весьма высокими. При этом сохранилась позитивная и совершенно не "пафосная" атмосфера, характерная для всех конференций Международной сети "Оценка программ". Огромная благодарность организаторам конференции и поздравления всем нам - с очередным важным шагом в развитии и продвижении оценки программ в регионе!

Чего не следует делать профессиональным объединениям

Очень отрадно наблюдать, что в нашем регионе появляется все больше профессиональных объединений в области оценки программ. Полагаю, что процесс этот продолжится. В связи с этим хотел бы обратить внимание коллег на то, чего не следует делать профессиональным объединениям.
Профессиональным объединениям не следует оказывать платные услуги по профилю деятельности членов этих объединений.
Поясню, что конкретно я имею в виду.
Объединение специалистов по оценке программ НЕ ДОЛЖНО оказывать платные услуги по оценке, а именно: проводить оценку программ, разрабатывать и внедрять системы оценки для клиентов, проводить тренинги по оценке (здесь есть исключения, на которых я остановлюсь ниже).
Главная причина такого утверждения очень проста: оказывая платные услуги по профилю деятельности своих членов, профессиональное объединение вступает с ними в конкурентные отношения. Это плохо, потому что:
а) неизбежно ведет к конфликтам и, очень вероятно, к распаду объединения,
б) отталкивает от объединения новых потенциальных членов, которым нет никакого резона вступать в конкурирующую организацию.
Есть вторая причина. Тоже важная. Особенность профессионального объединения заключается в том, чтобы обслуживать интересы его членов. Это организация, "ориентированная внутрь". Зрелые профессиональные объединения отличаются именно этим. Ориентация на оказание платных услуг может сместить "фокус" в деятельности объединения с главного (интересы его членов) на второстепенное (зарабатывание денег).
Теперь про исключения. Обслуживая интересы своих членов, профессиональное объединение может организовывать для них платные тренинги по оценке, приглашая, к примеру, ведущих специалистов из других стран. Здесь все правильно, конкуренции нет, речь идет о реализации основной миссии - развитии профессии. Многие ассоциации организуют тренинги перед конференциями. Эти тренинги платные, но ... (а) они проводятся для участников конференций, большинство из которых является членами ассоциаций; (б) они всегда проводятся по льготной цене; (в) они проводятся раз в год.
Приведу пример.  Регистрационный взнос за тренинги перед конференциями IPEN покрывает лишь стоимость аренды помещения, раздаточных материалов и кофе-пауз; тренеры работают бесплатно.
Вполне нормально для профессиональных объединений проводить бесплатное обучение в любых формах для любых аудиторий. Тут тоже нет никакой конкуренции.
Стремление оказывать платные услуги по профилю деятельности своих членов характерно для слабых организаций, члены которых не имеют устойчивого дохода, а главной мотивацией их создателей является поиск новых путей зарабатывания денег. Само по себе это вовсе не предосудительно. Однако такая мотивация - неправильная основа для создания профессионального объединения (ассоциации).

20 лет Компании "Процесс Консалтинг"

Сегодня (14 сентября) исполняется 20 лет с момента официальной регистрации ООО "Компания "Процесс Консалтинг". Когда мы создавали наш бизнес в далеком уже 1992 году, на 20 лет вперед, конечно, не задумывались. Многие тогда скептически относились даже к нашим пятилетним стратегическим планам... Сейчас очень любопытно читать документы тех лет: протоколы совещаний, планы, отчеты. В них - живая история. Наш первый контракт был заключен с администрацией одного из сибирских городов, где мы помогали развивать социально-психологическую службу. Самый "свежий" контракт заключен в Казахстане с организацией, которая активно развивает собственную систему мониторинга и оценки и рассчитывает на нашу помощь.
Многое поменялось с 1992 года и в мире, и в стране, и в бизнесе. Одна вещь осталась для нас неизменной: мы всегда очень хорошо понимали, что что существуем как бизнес потому, что у нас есть клиенты - люди и организации, которые пользуются нашими услугами. Поэтому сегодня я хотел бы выразить особую благодарность именно нашим клиентам - за доверие и за науку (мы очень многому научились у них, благодаря им и вместе с ними).

Виды оценки

Существует много подходов к классификации видов оценки программ. Широко известно предложенное Майклом Скривеном разделение оценок на формирующие (formative) и суммирующие (summative). Весьма популярен список видов оценки, предложенный Американской ассоциацией оценки более 20 лет тому назад: предпроектная оценка, оценка оцениваемости (evaluability assessment), формирующая оценка, суммирующая оценка, мониторинг и мета-оценка (оценка оценки).
В прошлом году в рамках одного из проектов нам понадобилось сделать классификацию видов оценки по признаку применяемой методологии. Получилось, что с этой точки зрения можно разделить все виды оценки на
- оценку, основанную на знаниях экспертов (экспертиза),
- оценку, основанную на показателях (сюда относится, в частности, мониторинг), и
- оценку, основанную на эмпирическом исследовании.
Эта классификация оказалась очень полезной. Пользуюсь ей постоянно, в том числе, на семинарах. Слушатели хорошо принимают эту классификацию как нечто естественное. Для меня это очень важный признак.

Евгений Ясин о недостатках оценки, основанной на индикаторах

Собеседник.ru сообщает, что Минэкономразвития подготовило проект постановления правительства, который заставит всех чиновников проводить оценку регулирующего воздействия (ОРВ) на бизнес не только всех приказов, распоряжений, инструкций, но даже указов президента. Если проект будет утвержден, оценки чиновники начнут себе выставлять с 1 марта будущего года.
Президент фонда "Либеральная миссия" известный экономист Евгений Ясин, комментируя это постановление, отметил: "... Показателем успешности процесса будут цифры – сколько документов отправлено на переделку. А я еще с советских времен хорошо усвоил: если какой-то показатель назначается отчетным, его нарушать не будут. А как приспособиться – найдут.
Правильней было бы проанализировать наносимый некачественными приказами вред. Но если власти в России не хотят, чтобы была общественная дискуссия, тогда в дело вступает бюрократическая система. И мы получим постоянное извращение реальности". (цитирую по публикации в Собеседник.ru)
Очень правильные слова сказал уважаемый ученый. У нас в стране показатели пока являются синонимом оценки. То есть, если ставится задача что-то оценить, то, значит, будут разрабатывать показатели. Другие виды оценки пока не слишком популярны (известны?) в органах государственного управления. И это действительно приводит вместо желаемого результата к уходу от реальности, о чем и я неоднократно писал (см., например, "А вокруг иллюзия из папье-маше") и говорил.

Экономический совет при президенте РФ будет оценивать программы

Вчера Президент РФ Владимир Путин создал экономический совет при президенте РФ и стал его председателем. К компетенции совета отнесены в числе прочих функций подготовка и оценка реализации "дорожных карт" по совершенствованию делового климата, а также экспертная оценка планов и программ, направленных на обеспечение реформирования экономической и социальной сфер.

Судя по составу членов Совета, оценку они будут поручать кому-то. Например, возглавляемым ими учреждениям (в частности ВШЭ и РАНХ). Несколько смущает сужение оценки программ до "экспертной". Хотя неизвестно, что конкретно здесь имелось в виду. Поживем - увидим.

Статистика посещений блога: трудности интерпретации

Некоторые статистические показатели, сязанные с посещаемостью блога интерпретировать несложно. К примеру, есть явная связь между частотой публикаций в блоге и числом посещений. Тут все понятно: чем чаще пишешь, тем чаще к тебе заходят почитать.
Или, скажем, легко обнаружить связь между размещением ссылок на блог на Facebook и числом посетителей, которые зашли в блог именно оттуда.
Статистика просмотров отдельных сообщений представляет собой более сложную картину. Например, есть записи, которые (согласно моим ожиданиям) должны были привлечь внимание посетителей блога, но этого не случилось. Пример: текст про разработку индикаторов. С другой стороны, есть записи, которые мне не казались такими уж интересными, однако в рейтинге посещений они оказались в числе 5-ти наиболее популярных. Пример: информация о вакансии в Казахстане.
Популярность записей, вероятнее всего, все же зависит от того, в какой мере они содержат новую информацию и ориентированы на практику. Самая популярная запись в моем блоге вот эта: цепочка результатов.