воскресенье, 26 февраля 2012 г.

Умный подход к "умным" критериям

Всем известны критерии SMART, котрыми следует руководствоваться при формулировании целей. Слово smart переводится с английского как умный. Одноврменно в данном случае это слово является аббревиатурой (характеристики хорошо сформулированной цели: Specific/конкретная, Measurable/измеримая, Attainable/достижимая, Relevant/значимая, Time-bound/достигается в определенный заранее срок).
Мы все чаще сталкиваемся с ситуациями, когда, критерии SMART трактуются слишком буквально, что приводит к подмене целей показателями их достижения. Это, в свою очередь, приводит к весьма нежелательным последствиям. В частности, создает проблемы с описанием логики программ (порой даже делает ее абсурдной) и смещает фокус с достижения социально значимых результатов на обеспечение заданных значений показателей.
Цель - это образ желаемого результата, видение того, как должна быть решена та или иная социальная проблема. Обратимся к примеру. "Увеличение числа женщин, получащих услуги, в полтора раза" само по себе не является улучшением ситуации, оно может быть лишь признаком того, что иы приближаемся к ситуации, когда "женщины и мужчины имеют равные возможности по получению услуг". Данный проект не про числа, а про равенство, поэтому целью является вторая формулировка. А число женщин, получающих услуги - один из возможных признаков достижения этой цели. Индикаторы были придуманы для того, чтобы измерять то, что непосредственно измерить сложно или невозможно (например, равенство мужчин и женщин). Цели становятся измеряемыми (SMART), когда для каждой их них есть индикаторы (показатели), по которым можно судить о том, что они (цели) достигнуты. Но это отнюдь не означает, что надо использовать индикаторы (показатели) вместо целей.

понедельник, 20 февраля 2012 г.

Что такое impact evaluation?

Термин impact может использоваться по-разному при описании замысла программы и вида оценки. Существует (в английском языке) некоторая путаница.
При описании замысла программы impact относится к цели высокого уровня, и impact всегда выше outcome, если используется именно термин impact, а не какой-то другой. Тут имеется консенсус, хотя, повторюсь, при описании замысла программы понятие impact используется не всегда.
При описании вида оценки понятие impact evaluation может трактоваться (а) как оценка воздействия, т.е. оценка того, в какой мере достигнут ожидаемый impact (см., например, здесь) и (б) как оценка причинно-следственных связей между деятельностью и ее результатами (см., например, здесь). Во втором случае возникает странная ситуация: при проведении impact evaluation чаще может идти речь об уровне outcomes, чем об уровне impact. Занятно, что в первом примере, на который я здесь ссылаюсь, есть ссылка на критерии оценки OECD. OECD, в свою очередь, поясняя понятие impact evaluation (второй пример), указывает, что речь идет об оценке того, как деятельность повлияла на outcomes.

среда, 15 февраля 2012 г.

Проблемы журналов

В интервью Первого проректора Высшей Школы Экономики В.В.Радаева есть его размышления о проблемах социологических журналов, к которым, с его точки зрения, относятся:
- Дефицит портфеля (главная проблема): время идет, социология крепнет, а притока качественных работ не наблюдается;
- Финансирование журналов: академические журналы являются принципиально неокупаемым проектом, исключения здесь очень редки, поэтому журналы нуждаются в финансировании.
- Недостаточная автономия редакций от учредителей.
- Отсутствие необходимых технических возможностей.
- Перед большинством журналов встает вопрос привлечения добровольных рецензентов из числа членов редакционного совета или просто специалистов в данной области, которые готовы потратить свое время и силы на подобную работу. У нас еще не сформировался в полной мере институт научного рецензирования.
- Недостаточный уровень общей методологической культуры авторов и как следствие низкое качество присылаемых статей.
- Проблема с публикациями из регионов: пока основными поставщиками статей сегодня являются Москва и Питер.

Многие из перечисленных выше проблем в полной мере испытывает вновь созданный электронный журнал "Проектирование, мониторинг и оценка", главным редактором которого я являюсь в настоящее время. Ну что же, значит мы в мэйнстриме... :)

среда, 8 февраля 2012 г.

Первый номер журнала "Проектирование, мониторинг и оценка"

Приглашаю гостей моего блога на сайт журнала "Проектирование, мониторинг и оценка", где появились первые четыре статьи первого номера журнала, включая мой текст про логическое согласование компонентов программы.

Facebook как инкубатор профессиональных объединений в области оценки

Все идет к тому, что национальные профессиональные объединения  в области оценки программ в нашем регионе будут все активнее заявлять о себе. Это, в принципе, может привести в перспективе к изменению роли и реструктурированию Международной сети "Оценка программ", о чем я писал некоторое время тому назад.
Любопытно, что в недрах Facebook уже есть два национальных объединения, которые пока не формализованы: Українська асоціація оцінювання/Ukrainian Evaluation Society (Украина, 58 участников) и Azerbaijan Evaluation Network (AEN) (Азербайджанская сеть оценки, 44 участника). Возможно, организационный период формирования национальной ассоциации сегодня должен проходить именно на базе социальных сетей - там можно найти единомышленников и обмениваться информацией. В какой-то момент из такого "инкубатора" могут появиться готовые ассоциации.

понедельник, 6 февраля 2012 г.

Когда блоги недоступны

Давно ничего здесь не писал, поскольку работал две недели в Казахстане, а оттуда блоги оказались недоступны (и Blogspot, и Livejournal). Поэтому не только не писал, но и не читал блоги, которые привык читать регулярно. Не знаю, по каким причинам блоги блокируются, но хочу сказать, что это как-то неправильно: у людей попросту отнимают одну из возможностей общения, перекрывая привычный для многих канал комуникации. К примеру, я часто ссылаюсь на свой блог и предлагаю участникам семинаров туда заходить, чтобы почитать те или иные публикации. К сожалению, коллегам в Казахстане я этого предложить не мог.