четверг, 24 апреля 2014 г.

Какие риски появляются в связи с унификацией заданий на проведение эмпирической оценки программ

Отправной точкой для определения подхода к оценке программы являются вопросы, на которые надлежит ответить в ходе оценки. Вопросы эти появляются как отражение информационных потребностей будущих пользователей результатов оценки. Следовательно, постановка задачи начинается с выяснения этих потребностей и согласования вопросов, на которые нужно ответить. При этом учитывается, для чего планируется использовать полученную в результате оценки информацию. Тем самым закладывается основа для того, чтобы результаты оценки были использованы.
Практика показывает, что бывает еще один источник вопросов. Во многих крупных структурах существует единая система отчетности и приняты критерии оценки программ, по которым надо отчитываться. Здесь вопросы формируются в соответствии с едиными критериями оценки и не обязательно отражают текущие информационные потребности лиц, принимающих решения.
Наиболее известен перечень критериев Комитета по содействию в развитии (Development Assisatnce Committee / DAC) Организации экономического сотрудничества и развития (Organization for Economic Co-operation and Development / OECD). Ниже приведены критерии оценки DAC, их краткие определения и некоторые из рекомендованных для включения в задание вопросов.
Стремление к унификации в сфере отчетности вполне понятно. Однако здесь заложено противоречие: использование "стандартных" заданий на проведение оценки снижает степень полезности оценки. Фактически для формирования задания в соответствии с критериями DAC совершенно не нужно выяснять, кто будет пользоваться результатами оценки и есть ли у них потребность в какой-либо информации. Все задано "по умолчанию" - и пользователи, и их вопросы. Получается, что OECD, принимая стандартные критерии, нарушает один из собственных принципов проведения оценки - принцип полезности.
Полагаю, противоречие можно разрешить следующим образом: применять критерии DAC для формирования систем показателей в рамках индикаторной оценки (мониторинга) программ. Здесь критерии очень даже пригодятся. При проведении же эмпирической оценки вполне можно идти классическим путем в традициях оценки, ориентированной на практическое использование (Utilization Focuesd Evaluation), отталкиваясь от информационных потребностей будущих пользователей результатов оценки.


Критерии оценки программ помощи в сфере развития

Релевантность (relevance). Степень соответствия деятельности в рамках оказания помощи приоритетам и политикам целевой группы, получателей помощи и донора.
Примеры вопросов, на которые может быть полезно ответить при оценке релевантности:

  • В какой степени цели программы актуальны?
  • Насколько деятельность в рамках программы и ее непосредственные результаты соответствуют цели и задачам программы?

Результативность (effectiveness). Мера степени достижения целей деятельности.
Примеры вопросов, на которые может быть полезно ответить при оценке результативности:

  • В какой мере были достигнуты цели / вероятно их достижение в результате программы?
  • Каковы были основные факторы, повлиявшие на достижение целей?

Эффективность (efficiency). Определяет, как соотносятся затраты на программы и полученные результаты.
Примеры вопросов, на которые может быть полезно ответить при оценке эффективности:

  • Насколько эффективно использовались средства?
  • Насколько эффективным было использование средств по сравнению с другими аналогичными программами?

Влияние (impact). Позитивные и негативные изменения, ставшие прямым или опосредованным преднамеренным либо непреднамеренным результатом программы.
Примеры вопросов, на которые может быть полезно ответить при оценке влияния:

  • Что произошло в результате программы?
  • Каковы реальные результаты программы для благополучателей?
  • Каковы масштабы влияния программы?

Устойчивость (sustainability). Сохранение результатов программы (проекта) после ее окончания.
Примеры вопросов, на которые может быть полезно ответить при оценке влияния:

  • В какой мере положительный эффект программы сохранился после ее завершения?
  • Каковы основные факторы, повлиявшие на степень устойчивости результатов программы?  

Комментариев нет:

Отправить комментарий