Всем известны критерии SMART, котрыми следует руководствоваться при формулировании целей. Слово smart переводится с английского как умный. Одноврменно в данном случае это слово является аббревиатурой (характеристики хорошо сформулированной цели: Specific/конкретная, Measurable/измеримая, Attainable/достижимая, Relevant/значимая, Time-bound/достигается в определенный заранее срок).
Мы все чаще сталкиваемся с ситуациями, когда, критерии SMART трактуются слишком буквально, что приводит к подмене целей показателями их достижения. Это, в свою очередь, приводит к весьма нежелательным последствиям. В частности, создает проблемы с описанием логики программ (порой даже делает ее абсурдной) и смещает фокус с достижения социально значимых результатов на обеспечение заданных значений показателей.
Цель - это образ желаемого результата, видение того, как должна быть решена та или иная социальная проблема. Обратимся к примеру. "Увеличение числа женщин, получащих услуги, в полтора раза" само по себе не является улучшением ситуации, оно может быть лишь признаком того, что иы приближаемся к ситуации, когда "женщины и мужчины имеют равные возможности по получению услуг". Данный проект не про числа, а про равенство, поэтому целью является вторая формулировка. А число женщин, получающих услуги - один из возможных признаков достижения этой цели. Индикаторы были придуманы для того, чтобы измерять то, что непосредственно измерить сложно или невозможно (например, равенство мужчин и женщин). Цели становятся измеряемыми (SMART), когда для каждой их них есть индикаторы (показатели), по которым можно судить о том, что они (цели) достигнуты. Но это отнюдь не означает, что надо использовать индикаторы (показатели) вместо целей.
воскресенье, 26 февраля 2012 г.
понедельник, 20 февраля 2012 г.
Что такое impact evaluation?
Термин impact может использоваться по-разному при описании замысла программы и вида оценки. Существует (в английском языке) некоторая путаница.
При описании замысла программы impact относится к цели высокого уровня, и impact всегда выше outcome, если используется именно термин impact, а не какой-то другой. Тут имеется консенсус, хотя, повторюсь, при описании замысла программы понятие impact используется не всегда.
При описании вида оценки понятие impact evaluation может трактоваться (а) как оценка воздействия, т.е. оценка того, в какой мере достигнут ожидаемый impact (см., например, здесь) и (б) как оценка причинно-следственных связей между деятельностью и ее результатами (см., например, здесь). Во втором случае возникает странная ситуация: при проведении impact evaluation чаще может идти речь об уровне outcomes, чем об уровне impact. Занятно, что в первом примере, на который я здесь ссылаюсь, есть ссылка на критерии оценки OECD. OECD, в свою очередь, поясняя понятие impact evaluation (второй пример), указывает, что речь идет об оценке того, как деятельность повлияла на outcomes.
При описании замысла программы impact относится к цели высокого уровня, и impact всегда выше outcome, если используется именно термин impact, а не какой-то другой. Тут имеется консенсус, хотя, повторюсь, при описании замысла программы понятие impact используется не всегда.
При описании вида оценки понятие impact evaluation может трактоваться (а) как оценка воздействия, т.е. оценка того, в какой мере достигнут ожидаемый impact (см., например, здесь) и (б) как оценка причинно-следственных связей между деятельностью и ее результатами (см., например, здесь). Во втором случае возникает странная ситуация: при проведении impact evaluation чаще может идти речь об уровне outcomes, чем об уровне impact. Занятно, что в первом примере, на который я здесь ссылаюсь, есть ссылка на критерии оценки OECD. OECD, в свою очередь, поясняя понятие impact evaluation (второй пример), указывает, что речь идет об оценке того, как деятельность повлияла на outcomes.
среда, 15 февраля 2012 г.
Проблемы журналов
В интервью Первого проректора Высшей Школы Экономики В.В.Радаева есть его размышления о проблемах социологических журналов, к которым, с его точки зрения, относятся:
- Дефицит портфеля (главная проблема): время идет, социология крепнет, а притока качественных работ не наблюдается;
- Дефицит портфеля (главная проблема): время идет, социология крепнет, а притока качественных работ не наблюдается;
- Финансирование журналов: академические журналы являются принципиально неокупаемым проектом, исключения здесь очень редки, поэтому журналы нуждаются в финансировании.
- Недостаточная автономия редакций от учредителей.
- Отсутствие необходимых технических возможностей.
- Перед большинством журналов встает вопрос привлечения добровольных рецензентов из числа членов редакционного совета или просто специалистов в данной области, которые готовы потратить свое время и силы на подобную работу. У нас еще не сформировался в полной мере институт научного рецензирования.
- Недостаточный уровень общей методологической культуры авторов и как следствие низкое качество присылаемых статей.
- Проблема с публикациями из регионов: пока основными поставщиками статей сегодня являются Москва и Питер.
Многие из перечисленных выше проблем в полной мере испытывает вновь созданный электронный журнал "Проектирование, мониторинг и оценка", главным редактором которого я являюсь в настоящее время. Ну что же, значит мы в мэйнстриме... :)
среда, 8 февраля 2012 г.
Первый номер журнала "Проектирование, мониторинг и оценка"
Приглашаю гостей моего блога на сайт журнала "Проектирование, мониторинг и оценка", где появились первые четыре статьи первого номера журнала, включая мой текст про логическое согласование компонентов программы.
Facebook как инкубатор профессиональных объединений в области оценки
Все идет к тому, что национальные профессиональные объединения в области оценки программ в нашем регионе будут все активнее заявлять о себе. Это, в принципе, может привести в перспективе к изменению роли и реструктурированию Международной сети "Оценка программ", о чем я писал некоторое время тому назад.
Любопытно, что в недрах Facebook уже есть два национальных объединения, которые пока не формализованы: Українська асоціація оцінювання/Ukrainian Evaluation Society (Украина, 58 участников) и Azerbaijan Evaluation Network (AEN) (Азербайджанская сеть оценки, 44 участника). Возможно, организационный период формирования национальной ассоциации сегодня должен проходить именно на базе социальных сетей - там можно найти единомышленников и обмениваться информацией. В какой-то момент из такого "инкубатора" могут появиться готовые ассоциации.
Любопытно, что в недрах Facebook уже есть два национальных объединения, которые пока не формализованы: Українська асоціація оцінювання/Ukrainian Evaluation Society (Украина, 58 участников) и Azerbaijan Evaluation Network (AEN) (Азербайджанская сеть оценки, 44 участника). Возможно, организационный период формирования национальной ассоциации сегодня должен проходить именно на базе социальных сетей - там можно найти единомышленников и обмениваться информацией. В какой-то момент из такого "инкубатора" могут появиться готовые ассоциации.
понедельник, 6 февраля 2012 г.
Когда блоги недоступны
Давно ничего здесь не писал, поскольку работал две недели в Казахстане, а оттуда блоги оказались недоступны (и Blogspot, и Livejournal). Поэтому не только не писал, но и не читал блоги, которые привык читать регулярно. Не знаю, по каким причинам блоги блокируются, но хочу сказать, что это как-то неправильно: у людей попросту отнимают одну из возможностей общения, перекрывая привычный для многих канал комуникации. К примеру, я часто ссылаюсь на свой блог и предлагаю участникам семинаров туда заходить, чтобы почитать те или иные публикации. К сожалению, коллегам в Казахстане я этого предложить не мог.