Около года тому назад я писал о начале работы по созданию российской профессиональной ассоциации (скорее всего, называться она будет так: "Общество оценивания программ и политик"). Процесс идет медленнее, чем того ожидали члены рабочей группы, занимающиеся созданием ассоциации, и все сочувствующие. Тем не менее, скоро будут поданы документы на регистрацию ассоциации в Новосибирске. Замечу, что с появлением в Гражданском кодексе РФ "ассоциации" как новой формы общественного объединения, нам пришлось переделать проект устава, т.к. именно эта новая форма нам больше всего подходит. Надеюсь, что в этом году ассоциация начнет работать.
среда, 13 марта 2013 г.
воскресенье, 10 марта 2013 г.
Студенты и не студенты
Я очень редко веду занятия со студентами в ВУЗе (фактически раз в год читаю небольшой курс по вечерам). Намного чаще провожу семинары по оценке программ и проектов для специалистов. Разница, конечно, огромная. Специалисты участвуют в семинарах, потому что хотят что-то узнать и чему-то научиться. Они по-настоящему "пашут", задают много вопросов. Для большинства же студентов участие в моем курсе - эпизод в борьбе за диплом, в чем их винить я никак не могу. Сам был таким. Не знаю, как с этим справляются кадровые преподаватели, но для меня довольно сложной задачей оказывается настройка на проведение занятий. Помогает то, что каждый год есть несколько студентов, которым действительно интересно то, о чем я рассказываю. Они не опаздывают на полтора часа и не уходят после того, как я отмечу присутствующих :) Получается, что курс читаю для небольшой группы ребят, а остальные присутствуют время от времени в качестве зрителей. Когда думаю о том, вести ли вузовский курс в следующем году, всегда вспоминаю тех нескольких заинтересованных студентов. Спасибо им! :)
пятница, 22 февраля 2013 г.
Страсти по мета-оценке в Латвии
Мета-оценкой называют оценку оценки. Нешуточные страсти разгорелись вокруг одной такой оценки в Латвии.
Дело было так.
Латвийский Совет по высшему образованию (СВО) осуществил проект "Оценка программ высшего образования и предложения по повышению его качества". Говорят, на эту оценку было потрачено около миллиона латов, что эквивалентно примерно 1,9 млн. американских долларов.
После этого Министерство образования и науки Латвии заключило с аудиторской компанией Deloitte Latvia договор об аудите законности и качества реализованного СВО проекта (по существу, это мета-оценка).
Аудиторы указали на "проблемы с выбором экспертов, наличие конфликта интересов, отсутствие у экспертов соответствующей квалификации и опыта, а также на др. проблемы".
По результатам аудита глава Минобрнауки Латвии (заказчик аудита качества оценки) сделал заключение, что "выводы СВО нельзя использовать из-за плохого качества и нарушений в ходе оценки программ".
В ответ СВО обратился в Генпрокуратуру с просьбой рассмотреть законность действий Минобрнауки.
Теперь стороны будут приводить свои аргументы генеральному прокурору.
Подробнее почитать об этих событиях можно здесь.
Дело было так.
Латвийский Совет по высшему образованию (СВО) осуществил проект "Оценка программ высшего образования и предложения по повышению его качества". Говорят, на эту оценку было потрачено около миллиона латов, что эквивалентно примерно 1,9 млн. американских долларов.
После этого Министерство образования и науки Латвии заключило с аудиторской компанией Deloitte Latvia договор об аудите законности и качества реализованного СВО проекта (по существу, это мета-оценка).
Аудиторы указали на "проблемы с выбором экспертов, наличие конфликта интересов, отсутствие у экспертов соответствующей квалификации и опыта, а также на др. проблемы".
По результатам аудита глава Минобрнауки Латвии (заказчик аудита качества оценки) сделал заключение, что "выводы СВО нельзя использовать из-за плохого качества и нарушений в ходе оценки программ".
В ответ СВО обратился в Генпрокуратуру с просьбой рассмотреть законность действий Минобрнауки.
Теперь стороны будут приводить свои аргументы генеральному прокурору.
Подробнее почитать об этих событиях можно здесь.
среда, 20 февраля 2013 г.
Хороший вопрос
На лекции в Высшей школе экономики после того, как я рассказал об оценке программ; о том, почему она нужна; и как она помогает повысить эффективность программ; одна студентка спросила: "Все это выглядит весьма убедительно. А почему тогда у нас в стране до сих пор институт оценки не особо развивается?". Я считаю, что это был очень хороший вопрос!
среда, 6 февраля 2013 г.
Мониторинг культурной жизни города Москвы и оценка эффективности деятельности учреждений культуры
Целью мониторингового исследования культурной жизни Москвы являлась социальная картография институциональной инфраструктуры, находящейся в ведомстве Департамента культуры г. Москвы, и оценка эффективности ее работы с точки зрения вовлечения горожан. Исследование было проведено Московским институтом социально-культурных программ по заказу Департамента культуры г. Москвы. Полный текст отчета доступен в интернете вместе с 7-ю приложениями.
вторник, 5 февраля 2013 г.
И еще о доверии
В предыдущей записи я поделился размышлениями о том, как клиенты выбирают консультантов и насколько важно в этом процессе установление доверительных отношений. Для того, чтобы тему осветить полностью, необходимо добавить, что процесс выбора - взаимный. Консультант тоже присматривается к клиенту и принимает решение о том, может ли он и хочет ли он работать с этим человеком, с его командой и с его организацией. Так же как не каждый консультант подходит определенному клиенту, не каждый клиент подходит отдельно взятому консультанту. В этом, кстати, одно из преимуществ статуса независимого консультанта: можно выбирать и работать только с теми людьми, которые тебе подходят.
четверг, 31 января 2013 г.
Консультирование и конфиденциальность
В силу особенности профессии консультанты по организационному развитию и оценке программ (это две области моей специализации) узнают о клиентах много такого, что не может и не должно становиться достоянием гласности. Речь может идти об особенностях отношений между отдельными людьми; о конфликтах; о внутриорганизационных проблемах; о слабых сторонах людей и организаций; о недочетах и ошибках; о намерениях и планах. Этот список легко можно продолжить, поскольку отношения между клиентом и консультантом всегда носят достаточно доверительный характер, и консультант оказывается глубоко погружен в реальность организации или программы.
Соответственно, на стадии заключения контракта один из главных вопросов, на который должен для себя ответить клиент, заключается в том, вызывает ли консультант доверие. За четверть века работы в качестве консультанта мне приходилось много раз наблюдать, как люди присматриваются ко мне и решают, можно ли мне доверять. Порой это бывает для них непросто. Я отношусь к этому процессу с пониманием и уважением. Бывало, что процесс "присматривания" занимал достаточно много времени. Бывало, что должного уровня доверия так и не возникало, и продолжения в виде контракта не следовало. Но, если мы преодолевали тот самый первый барьер, то в дальнейшем отношения были весьма доверительные. Важно, что степень доверия в данном случае определяется не положениями формального контракта о конфиденциальности и соответствующими угрозами в виде санкций за разглашение каких-либо данных. Совершенно понятно, что гарантией конфиденциальности, на самом деле, являются принципы, которыми руководствуется консультант, его система ценностей и репутация. Репутацией своей мы с коллегами очень дорожим и хорошо понимаем, что создается она годами и десятилетиями, а разрушена может быть в одночасье. Этого как раз в контракте не запишешь.
Соответственно, на стадии заключения контракта один из главных вопросов, на который должен для себя ответить клиент, заключается в том, вызывает ли консультант доверие. За четверть века работы в качестве консультанта мне приходилось много раз наблюдать, как люди присматриваются ко мне и решают, можно ли мне доверять. Порой это бывает для них непросто. Я отношусь к этому процессу с пониманием и уважением. Бывало, что процесс "присматривания" занимал достаточно много времени. Бывало, что должного уровня доверия так и не возникало, и продолжения в виде контракта не следовало. Но, если мы преодолевали тот самый первый барьер, то в дальнейшем отношения были весьма доверительные. Важно, что степень доверия в данном случае определяется не положениями формального контракта о конфиденциальности и соответствующими угрозами в виде санкций за разглашение каких-либо данных. Совершенно понятно, что гарантией конфиденциальности, на самом деле, являются принципы, которыми руководствуется консультант, его система ценностей и репутация. Репутацией своей мы с коллегами очень дорожим и хорошо понимаем, что создается она годами и десятилетиями, а разрушена может быть в одночасье. Этого как раз в контракте не запишешь.
понедельник, 31 декабря 2012 г.
2012
Оглядываясь на завершающийся сегодня год, выделю несколько наиболее значимых для меня (с профессиональной точки зрения) моментов.
- В партнерстве с Благотворительным детским фондом "Виктория" и компанией Evolution and Philanthropy мы подготовили пособие по использованию т.н. "теории изменений" (theory of change) при разработке социальных программ. О других подобных публикациях на русском языке мне неизвестно. Вероятно, наша будет первой. Пособие включает достаточно подробный обзор литературы, описание опыта применения "теории изменений" в фонде "Виктория", а также пошаговую инструкцию по применению "теории изменений". После официальной публикации в 2013 году книжка появится в открытом доступе. Думаю, она может многим пригодится.
- Наша команда провела оценку программы "Мать и дитя", которая выполнялась в России при поддержке Агентства США по международному развитию. Программа осуществлялась под эгидой комиссии Медведев-Обама (рабочая группа по здравоохранению). Оценку эту я отмечаю по нескольким причинам: интересная и сложная программа, новая для нас область, весьма непростая работа над отчетом (длительные согласования, масса комментариев, эмоции), высокая оценка качества финального отчета всеми заинтересованными сторонами. Помимо всего прочего, по ходу выполнения этой оценки у нас была возможность подробнее познакомиться с принципами доказательной медицины (evidence-based medicine). В нашей команде, естественно, был профессионал в сфере здравоохранения - тоже интересный и поучительный для нас опыт совместной работы.
- Я провел несколько тренингов по оценке по модифицированной программе для разных целевых групп в России и в Казахстане. По моему, тренинг стал более сбалансированным с точки зрения представленности различных видов оценивания. При этом сохранился творческий характер тренинга - интересно и участникам, и мне самому :)
- Нам с коллегами удалось принять участие в двух очень интересных, содержательных и хорошо организованных конференциях - в Астане (Казахстан) и Миннеаполисе (США).
В заключение хотел бы поблагодарить посетителей и - отдельно - постоянных читателей этого блога. С Новым годом! До новых виртуальных и личных встреч!
среда, 5 декабря 2012 г.
Чиангмайский форум: оценка - это наше все
В эти дни (с 3 по 6 декабря) в городе Чиангмай (Таиланд) происходит событие, которое может стать очень важным для развития оценки в мире. На т.н. "Чиангмайском форуме" собрались лидеры нескольких десятков региональных и национальных объединений специалистов по оценке со всего мира. Такое событие происходит впервые в истории. В форуме принимают участие представитель IPEN (Международная сеть "Оценка программ"), а также лидеры национальных объединений специалистов в области оценки из пяти стран нашего региона: Грузии, Казахстана, Кыргызстана, Таджикистана и Украины. На форуме планируется принятие декларации, которая, в частности объявляет 2015 год "Международным годом оценки". Мне особенно приятно добавить, что моя коллега Наталья Кошелева, которая является в данный момент председателем Попечительского Совета IPEN, была избрана в Чиангмае президентом Международной организации сотрудничества в области оценки (IOCE).
понедельник, 3 декабря 2012 г.
SMART индикаторы
Именно индикаторы, а не цели! Я как-то не обратил внимания на растущее число публикаций, в которых речь идет о SMART-индикаторах (Specific/конкретный, Measurable/измеримый, Attainable/достижимый, Relevant/значимый, Time-bound/достигается в определенный заранее срок). Google уже дает 25 тыс. ссылок на "SMART indicators". Критерии SMART чаще применяются к описанию того, как правильно формулировать цели (Google дает более 800 тыс. ссылок на "SMART goals"). С применением этого подхода возникает проблема, о которой я писал недавно: цели подменяются показателями их достижения. Если же SMART критерии применять к индикаторам, то все вопросы снимаются. Хорошая идея.
Подписаться на:
Сообщения (Atom)