Сколько стоит членство в зарубежной профессиональной ассоциации

Вчера Американская ассоциация оценки объявила о повышении размера ежегодного членского взноса с 1 марта 2022 года на 50$. Это приведет к тому, что членство в данной ассоциации станет самым дорогим. До сих пор оно было самым недорогим, если сравнивать с другими ведущими ассоциациями (данные приводятся в рублях по курсу ЦБ РФ на 27.01.22) : 

• Американская ассоциация оценки (American Evaluation Association)  до 1.03.22 - 10594 р. (после - 14547 р.)
• Канадское общество оценки (Canadian Evaluation Society) - 12123 р.
• Европейское общество оценки (European Evaluation Society) - 12415 р.
• Австралийской общество оценки (Australian Evaluation Society) - 12085 р.

Отметим, что членство в профессиональных ассоциациях помимо традиционных преимуществ (доступ к профессиональным журналам, скидки на участие в конференциях, возможности профессионального развития и т.д.) может также иметь непривычные для нас бонусы. Так, например, члены Канадского общества оценки получают существенные скидки на аренду автомобилей и на проезд по железной дороге. Кроме того, надо иметь в виду, что при вступлении в две или более ведущих ассоциаций, размер ежегодного взноса в каждой из них снижается. 

В любом случае для нашего региона стоимость членства в зарубежной профессиональной ассоциации достаточно высока. Например, для россиян вступление в Американскую ассоциацию оценки обойдется в четверть среднемесячного заработка (по состоянию на 2021 год он составлял 54687 рублей). 

Качественный анализ «затраты-выгоды»

Принято считать, что анализ "затраты-выгоды" можно провести, если выгоды имеют денежное выражение. Об этом есть подробнее в предыдущей публикации. Зиллер и Фиббс предлагают альтернативу: качественный анализ "затраты-выгоды" с участием заинтересованных сторон (Alison Ziller & Peter Phibbs (2003) Integrating social impacts into cost-benefit analysis: a participative method: case study: the NSW area assistance scheme, Impact Assessment and Project Appraisal, 21:2, 141-146, DOI: 10.3152/147154603781766365). Эта статья (англ.) находится в открытом доступе. 

Авторы разработали интерактивный метод анализа "затраты-выгоды". Метод предполагает заполнение матрицы (см. рисунок), объединяющей поддающиеся количественной оценке и трудно поддающиеся количественной оценке затраты и выгоды. 

Матрица ставит социальные вопросы в один ряд с финансовыми соображениями. Матрица заполняется путем включения мнений заинтересованных сторон, а также результатов исследований. Заполнение матрицы может осуществляться постепенно (по мере сбора мнений от заинтересованных сторон через индивидуальные либо групповые интервью) или в один подход (на специально организованной для этого рабочей встрече). После заполнения матрицы баланс затрат и выгод оценивается дискурсивно (путем логических умозаключений) в ходе группового обсуждения , а не сводится формулой к соотношению. В статье описывается применение данного подхода  к оценке программы грантов. С другим примером использования этого подхода при оценке реализации стратегии можно ознакомиться в статье "Качественный анализ "затраты-выгоды" (англ.). 

Виды анализа эффективности затрат

Анализ эффективности затрат в социальных программах и оценка  экономической эффективности последних активно обсуждаются в профессиональном сообществе на протяжении нескольких десятилетий. В нашей стране эта тема оказалась в центре внимания в последние 10 лет.  

Публикаций на русском языке уже достаточно много. В качестве примеров можно привести: 

- Книгу  "Рекомендации по оценке социально-экономической эффективности социальных программ". 

- Материалы вебинара «Стоимостные подходы к оценке социальных программ. Оценка социально-экономической эффективности». 

- Материалы в группе "Оценка социального воздействия НКО - обсуждаем импакт вместе!"

Я хотел бы сегодня кратко рассказать о классификации видов анализа эффективности затрат в контексте оценки образовательных программ, предложенной в книге Левин и МакЭван (Levin, H. M., & McEwan, P. J. (2001). Cost-effectiveness analysis: methods and applications (2nd ed.). Thousand Oaks, Calif.: Sage Publications), обложка которой размещена выше в качестве иллюстрации. 

Блог "Оценка программ и проектов" в 2021 году

Завершая год, хотел бы обратиться к моим уважаемым читателям. Спасибо, что заглядываете, читаете, комментируете! Поздравляю вас с наступающими Новым Годом и Рождеством! Желаю всего самого доброго! Берегите себя и своих близких! Надеюсь на онлайновые и офлайновые встречи в следующем году. Планирую возобновить публикации сразу после праздников.

Веду блог с 2008 года. В 2012 переехал с Livejournal на Blogspot. В этом году старался делать регулярные публикации раз в неделю (чаще всего, по средам). Всего получилось 48 сообщений, то есть в среднем как раз 4 публикации в месяц. 

Больше всего просмотров набрали следующие 5 публикаций этого года: 

1. "Сообщества практиков" как организационная форма и объект оценки
2. Сложная тема
3. Оценка с учетом стоимости
4. Бегущие впереди паровоза
5. Оценка стратегии НКО

Две публикации из топ-5 оказались про оценку стратегии НКО (№№2 и 5). Как думаете, почему?

Все, о чем я пишу в блоге, непосредственно связано с профессиональной деятельностью. Темы публикаций возникают в связи обсуждениями на семинарах, которые мы проводим; в связи с  выступлениями на конференциях; в связи с задачами, которые приходится решать в процессе проведения оценок; в связи с развитием оценки в нашей стране. Своего рода "зеркало" моей работы. Оказалось очень полезно: дисциплинирует, остаются следы того, о чем думал, что было важным. Все хорошо упорядочено, есть ссылки, легко искать по ярлыкам, названиям публикаций, ключевым словам. А еще можно скачать всё в PDF формате, чтобы иметь офлайн доступ ко всем публикациям.

Презентация для лифта PROОЦЕНКУ

Википедия поясняет, что "презентация для лифта" (или речь для лифта) (англ. Elevator Pitch или Elevator Speech) — это короткий рассказ о концепции продукта, проекта или сервиса. Термин отражает ограниченность по времени — длина презентации должна быть такой, чтобы она могла быть полностью рассказана за время поездки на лифте, то есть одну - две минуты".

Как сделать "презентацию для лифта" об оценке программ и проектов? Как рассказать неподготовленному человеку о том, что такое оценка и почему она важна? Пусть даже дело происходит не в лифте и время не ограничивается 1-2 минутами. 

Мне приходилось делать это много раз и, честно говоря, с переменным успехом :)  Например, интересно объяснять это офицеру на паспортном контроле при пересечении границы другой страны. Диалог примерно такой: 

Офицер: Цель Вашего визита?

Я: Бизнес.

Офицер: Какой бизнес? 

Я: Участие в конференции.

Офицер: Что за конференция?

Я: По оценке (evaluation). 

Офицер: А что такое оценка? 

Здесь возникает пауза, потому что я начинаю лихорадочно думать о том, какое из известных мне определений сказать. Или, может, несколько определений предложить? Но тогда придется немного углубиться в обсуждение отличий между этими определениями. И еще: надо ли говорить офицеру, что пока нет консенсуса относительно определения, что есть разные школы  оценки. С учетом большой очереди позади меня в то же окошко...

Умение хорошо рассказать об оценке, конечно же, очень важно для всех, кто стремится оценку развивать и продвигать. Возможно, даже нужны разные подходы для рассказа представителям разных целевых групп - НКО, представителям госструктур, студентам университета, журналистам. Это тема возникла на заключительной встрече участников проекта "Ступени эффективности", реализованного новосибирским ИНА-Центром при поддержке Фонда президентских грантов. Мы решили вынести ее на обсуждение на следующем заседании клуба PROОЦЕНКУ, которое пройдет онлайн во второй четверг (13) января 2022 года с 11 до 12.30 мск. Приглашение будет размещено в группе "Проектирование и оценка в социальной сфере" сразу после новогодних праздников. Пока можно просто в ежедневник время записать.

Алексей Кудрин: "Проверять нужно не только расходы"

В ноябре президент РФ Владимир Путин внес в Госдуму проект поправок в закон о Счетной палате. Законопроект, в частности, регламентирует применение стратегического аудита для оценки рисков и результатов достижения стратегических целей социально-экономического развития и обеспечения безопасности РФ.

На сайте Счетной Палаты РФ информация о выступлении Алексея Кудрина на заседании Комитета Госдумы по контролю 16 декабря 2021 года. «Стратегический аудит – «столбовая дорога» всего мирового аудита, – отметил Алексей Кудрин, – Проверять нужно не только расходы. Часто от Счетной палаты ждут проверки того, что и на что потрачено, целевым ли образом, не нарушены ли контракты и достигнута ли конечная цель. Но мир пошел дальше. Мир оценивает результаты деятельности государственных органов власти: министерств и ведомств, – выполнения государственных программ, государственных стратегий. Оценивается достижение целей, которые ставятся перед исполнительной властью, механизмы достижения целей. И государственный аудит, который находится под Парламентом, вправе профессионально оценить, насколько конечная цель, стоящая перед правительственными органами, исполняется».

Законопроект, внесенный в Госдуму, также вводит новый вид аудита – аудит соответствия. Это как раз связано с расширением содержания деятельности аудиторов, о котором сказано выше. Очень важные изменения.

Узбекистан внедряет бюджетирование, ориентированное на результат

Информационно-аналитический портал REVIEW.UZ журнала "Экономическое обозрение" опубликовал вчера статью "Программное бюджетирование". Материал подготовлен специалистом Института бюджетно-налоговых исследований при Министерстве финансов Узбекистана Бунёджоном Кобиловом. Автор приводит краткий обзор зарубежного опыта бюджетирования, ориентированного на результат (Южная Корея, Франция и Казахстан), и обсуждает перспективы использования этого подхода в Узбекистане .

Вот преамбула к статье: "Внедрение в республике новой системы формирования годового бюджета — "бюджета, ориентированного на результат", — является одной из важнейших целей "Стратегии совершенствования системы управления государственными финансами Республики Узбекистан на 2020-2024 годы", предусматривающей внедрение системы целевого планирования с определением индикаторов эффективности бюджетных расходов всех министерств и ведомств при формировании проекта Государственного бюджета на 2022 год".

Полагаю, можно прогнозировать повышение интереса к сфере оценки программ в Узбекистане в ближайшее время. В первую очередь, речь, конечно, пойдет об индикаторах. Затем наверняка проявятся ограничения индикаторной оценки, и встанет вопрос о других подходах. Возможно, коллеги в Узбекистане, обратятся и к опыту Южной Кореи, где, как следует из упомянутой выше статьи, внедрены "самооценивание бюджетных программ" (2005) и "углубленная оценка бюджетных программ" (2006).

Система МиО в НКО

На следующей неделе пройдет очередное онлайновое заседание клуба PROОЦЕНКУ, которое будет посвящено системам мониторинга и оценки в НКО. Объявление о заседании в ФБ-группе "Проектирование и оценка в социальной сфере". Регистрация участников здесь. Думаю, будет интересно. К большому сожалению, не смогу присоединиться в этот раз. 

Вообще появление систем свидетельствует о важном этапе в развитии организации - о развитии т.н. "формальной" организации, об отделении собственно организации от людей, которые в ней работают. НКО часто начинают свою деятельность как совсем небольшие группы энтузиастов (или даже отдельные люди), движимые желанием изменить мир к лучшему. Поэтому на первых порах абсолютным приоритетом является содержательная деятельность, а решение организационных вопросов происходит по мере их поступления. Но по мере усложнения деятельности, накопления опыта, увеличения числа сотрудников возникает необходимость введения неких внутренних правил, чтобы все работало как надо. Организационная система – это формализованное описание того, как сотрудникам организации следует действовать в значимых повторяющихся ситуациях. Хорошие системы основаны на успешном опыте, отделены от людей и постоянно совершенствуются. 

Один из самых интересных для меня вопросов в повестке следующего заседания клуба PROОЦЕНКУ: "Как понять, что пришло время для формирования системы МиО в вашей организации?". Система мониторинга и оценки (МиО) позволяет отслеживать ход и результаты деятельности организации. Система МиО своевременно предоставляет руководителям и специалистам организации информацию, необходимую для принятия решений. Но создание системы и поддержание ее работы требуют времени и ресурсов, которых у НКО всегда не хватает. Поэтому вопрос о том, пора создавать систему или можно повременить с этим - отнюдь не праздный. Посмотрим, что скажут участники клуба...

Оценка внедрения инноваций

Многие проекты и программы бывают связаны с внедрением нововведений. Легкость внедрения нововведения зависит от многих факторов, включая свойства самой инновации. На это, в частности, обратил внимание Эверетт Роджерс в книге "Диффузия инноваций" (написана 60 лет назад!). Он выделил 5 характеристик нововведения, которые влияют на процесс его внедрения: 

1. Преимущество новой идеи перед тем, что было раньше.
2. Совместимость новой идеи с существующими ценностями, прошлым опытом и сегодняшними потребностями.
3. Легкость понимания нововведения. 
4. Возможность опробовать нововведение – внедрить временно, для апробации. 
5. Возможность наблюдать со стороны за результатами внедрения. 

Соответственно, ход внедрения можно оценивать с учетом этих характеристик. Они, в числе прочего, помогут понять причины успехов либо трудностей. Для многих социальных инноваций, как мне кажется, проблематична апробация (пробное или временное внедрение - п.4). 

Актуальность концепции Роджерса (естественно, она не ограничивается вышеприведенными пятью характеристиками) для социальных инноваций - тема интересная и заслуживающая отдельного обсуждения. Три статьи для примера: 

• Hains, Bryan & Hains, & Hains, Kristina. (2020). Community Reaction towards Social Innovation: A Discussion of Rogers’ Diffusion of Innovations Theory in Consideration of Community Emotional Response. Journal of International Agricultural and Extension Education. 27. 34-46. 10.5191/jiaee.2020.27103. 
• Schuster, J. and N. Kolleck (2020). "The Global Diffusion of Social Innovations – An Analysis of Twitter Communication Networks Related to Inclusive Education." Frontiers in Education 5(193).
• Сурнина Т.В. Социально-педагогические возможности диффузии инноваций в системе социальных служб // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 7, №3 (2015) http://naukovedenie.ru/PDF/187PVN315.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ. DOI: 10.15862/187PVN315

Профессионализация оценки - видео

АСОПП разместила в сети видео с недавней конференции, на котором есть запись презентации "Профессионализация оценки". Сама презентация (PDF) здесь. Продолжительность моего выступления - 40 минут (со 2-й по 42-ю).