3 года работы клуба PROОЦЕНКУ

Прошлое заседание клуба PROОЦЕНКУ стало 36-м по счету. Поскольку заседания проходят ежемесячно, можно считать, что клуб работает уже три года (на самом деле, чуть больше – с учетом летних каникул). По итогам каждого заседания на сайте клуба размещаются презентация и видеозапись. За три года получился уникальный ресурс. Вот темы заседаний в хронологическом порядке: 

1. Оценка обучения
2. Оценка стратегии
3. Оценка воздействия 
4. Мониторинг
5. Индикаторы
6. Моделирование и оценка
7. Система мониторинга и оценки
8. Как рассказать про оценку
9. Оценка и ценности
10. Оценка организаций
11. Оценка замысла проекта
12. Оценка с участием
13. Принципы оценки 
14. Принципы оценки (продолжение)
15. Оценка потребностей
16. Оценка услуг
17. Как научиться проводить оценку
18. Оценка оцениваемости
19. Оценка рисков
20. Анализ стейкхолдеров
21. Использование рубрик для оценки воздействия
22. Оценка качества жизни
23. Феминистская оценка
24. Трудные ситуации в оценке
25. Интегрирование оценки в деятельность НКО
26. Обоснованность суждений или как мы анализируем данные
27. Готовимся к конференции АСОПП
28. Доказательный подход и оценка в социальной сфере
29. Оценка Школы приемных родителей ИРСУ (кейс)
30. Обсуждение дальнейшей работы клуба
31. Data-driven и BI-системы в мониторинге и оценке
32. Этический кодекс для экспертов
33. Задание на проведение оценки
34. Анкетирование
35. Дизайн оценки
36. Этика оценки

Нетрудно заметить, что какого-либо содержательного плана у клуба не было и нет. Темы возникают по ходу дела и определяются разными факторами. Например, тему «Использование рубрик для оценки воздействия» предложил наш бразильский коллега Томаз Чианка, который этот подход активно использует и развивает. Тема «Готовимся к конференции АСОПП» была предложена организаторами клуба, чтобы дать возможность выступающим на грядущей конференции кратко анонсировать свои доклады. Это помогло будущим участникам конференции выбрать наиболее актуальные для них сессии. Кейс «Оценка Школы приемных родителей ИРСУ» был представлен в связи с тем, что многие участники клуба предлагали по возможности рассматривать реальный опыт проведения оценки. В данном случае результаты оценки были опубликованы, и потому появилась возможность их показать и обсудить. 

Полагаю, продолжим в том же духе. Наверняка будет больше предложений по тематике обсуждений от участников клуба. Следующее заседание клуба пройдет в четверг 12 сентября 2024 года с 11 до 12.30 мск. Тему уже обсуждаем…

Прогностическая оценка

В 2007 году в журнале «Мультидисциплинарная оценка» была опубликована статья Майкла Скривена «Прогностическая оценка» (Predictive Evaluation).   Речь в ней шла о том, что во многих видах оценки (если не во всех) есть прогностическая составляющая. Скривен даже прикинул её масштабы в процентах. Оценка проектов и программ, по его мнению, прогностическая на 30%: почти во всех случаях она включает вынесение суждения об устойчивости деятельности и/или ее результатов. Устойчивость – это про будущее. Оценка политик (по Скривену) прогностическая на 75%, а оценка заявок (оценка замыслов проектов или программ) – на 100%, то есть представляет собой прогноз в чистом виде. При этом, по мнению Скривена, «прогнозирование — очень сложное дело, а оценщики обычно плохо разбираются в литературе по этому вопросу». Он указывает, что «мы слишком быстро перескакиваем от данных о прошлом к рассуждениям об будущем».

Статья была опубликована в рубрике «Информация к размышлению», и основной её пафос состоял в том, что надо развивать методологию прогностической оценки и соответствующие компетенции специалистов по оценке. Заметим, что речь здесь идет о специалистах, занимающихся преимущественно оценкой проектов и программ (program and project evaluation). Исторически сложилось так, что их профессиональная деятельность связана преимущественно со сбором и анализом эмпирических данных, характеризующих ход и результаты оцениваемых инициатив. Прогностическая же оценка развивалась в смежных областях.

Экологи, например, уже очень давно проводят ОВОС – прогностическую оценку воздействия на окружающую среду.

Специалисты по грантмейкингу на протяжении десятилетий отрабатывают методологию оценки заявок в рамкахгрантовых конкурсов  и - более широко – методологию оценки замысла проекта Самая свежая отечественная разработка в этой сфере -  «Методика оценки решений с учетом социальной значимости» Фонда «Вклад в будущее», представленная вчера на конференции Форума Доноров в Москве.

Специалисты по ассесменту социального воздействия (social impact assessment) занимаются преимущественно прогностической оценкой, указывая, что, в принципе, их методы и инструменты могут применяться и для программ на стадии реализации. Крупнейшее профессиональное объединение таких специалистов IAIA (International Association for Impact Assessment) проводит ежегодные конференции и выпускает журнал, название которого можно перевести как «Прогнозирование влияния и оценка замысла проекта».

Специалисты по оценке регулирующего воздействия (ОРВ) занимаются экспертизой (прогностической оценкой) новых законодательных актов во избежание создания избыточных издержек и административных барьеров для субъектов предпринимательской деятельности.

Специалисты по корпоративному обучению разрабатывают прогностическую оценку тренингов Обложка книги об этом использована в качестве иллюстрации.

И это лишь несколько примеров. Ресурсы для профессионального развития в сфере прогностической оценки точно имеются. 

Сервисы для проведения онлайн-опросов

Сегодня онлайновое анкетирование стало  широко использоваться при проведении оценки проектов и программ. Наверное, можно даже сказать, что практически ни одна оценка без этого не обходится. Выбор сервисов очень большой. Вы легко найдете списки лучших онлайновых конструкторов форм. Вопрос о том, каким сервисом пользоваться, актуален как для тех, кто впервые столкнулся с необходимостью проведения онлайнового анкетирования, так и для тех, кто – как ни странно – уже давно сделал свой выбор. Хотел бы поделиться своим мнением по этому поводу. 

Среди бесплатных вариантов считаю оптимальным Google Forms. Здесь можно сформировать любое количество анкет, а также отсутствуют ограничения по числу вопросов в одной анкете и числу ответов. Интерфейс удобный. Вариантов вопросов вполне достаточно. В анкету можно встроить логику пропуска – переход к определенным вопросам в зависимости от того, какие ответы дает респондент. Есть возможности разнообразить оформление анкеты. Просмотр ответов онлайн очень удобен. Если связать анкету с таблицей Google, то можно скачивать результаты анкетирования в Excel и многих других форматах. В интернете можно найти массу публикаций и видео-материалов о том, как пользоваться Google Forms на русском языке. Здесь один из примеров, где кратко описываются возможности данного сервиса.

Если бы раньше меня спросили о платных сервисах, то я бы без колебаний порекомендовал SurveyMonkey, которым мы пользовались с 2015 года. Это один из самых популярных конструкторов онлайновых анкет в мире. В свое время я узнал о нем от зарубежных коллег, занимающихся исследованиями и оценкой программ. Работает отлично, функционал замечательный, интерфейс интуитивно понятный. Скидки для постоянных клиентов очень приятные. Прекрасный профессиональный инструмент, который постоянно совершенствуется, но… оплата предполагается в долларах США, а с этим сегодня есть проблемы. 

Соответственно, возникает вопрос о том, есть ли аналогичные российские платные сервисы. Если вопрос для вас актуален, я бы рекомендовал обратить внимание на следующие:  

• Анкетолог  
• Тестограф  
• WebAsk    

Глобальная директория академических программ в сфере оценки

На сайте BetterEvaluation размещена Глобальная директория академических программ в сфере оценки. Вы можете выбрать тип программы, продолжительность обучения, страну, язык, формат обучения (включая онлайновый). Для каждой программы на сайте есть краткое описание и ссылка, по которой можно перейти на страницу соответствующего учебного заведения для получения более подробных сведений. Полагаю, это самая представительная специализированная онлайновая база данных на сегодня.

Книга из блога

К онлайновым сервисам привыкаешь настолько, что перестаешь задумываться о том, не следует ли сохранить информацию где-то у себя. Так произошло у меня с блогом, куда пишу в последние годы почти каждую неделю. Текст набираю в онлайне, копии не сохраняю. За 14 лет накопилось довольно много публикаций. Сегодня обнаружил целый ряд онлайновых сервисов, позволяющих за считаные минуты и небольшие деньги конвертировать блог в книгу в формате PDF. Теперь у меня такая книжка есть, вернее даже две книжки, поскольку в период с 2008 по 2011 я пользовался платформой LiveJournal, а затем "переехал" на Blogger. Все публикации за период с 2008 по 2011 уместились на 180 страницах с картинками и ссылками, а за период с 2012 по 2022 - на 420 страницах. Естественно, это я для себя сделал, в первую очередь. Но, если вдруг кому-то такая книга интересна, дайте знать. 

С удовольствием рекомендую сервис, которым я воспользовался. Он называется BlogBooker. На картинке - платформы, с которыми он работает. 

Патриция Роджерс уходит из BetterEvaluation

Перед тем, как написать сегодняшний пост, посмотрел, сколько раз я упоминал в блоге портал BetterEvaluation. Оказалось, 5 раз (2013, 2016, 2019 и 2020)! Сегодня - шестой. Но этот интернет-ресурс того стоит. Повод упомянуть о нем сегодня - уход основателя проекта и его бессменного руководителя Патриции Роджерс (Patricia Rogers), с поста исполнительного директора BetterEvaluation. По случаю своего ухода Патриция написала небольшую статью. Хотел бы здесь привести пару цитат из неё. Отмечу, что профессор Роджерс входит в когорту мировых лидеров в сфере оценки. Её вклад в развитие оценки как дисциплины и профессии сложно переоценить. Теперь у нее будет больше времени, чтобы вплотную заняться вопросами методологии и теории оценки.

Итак, две цитаты...

• О причинах создания сайта BetterEvaluation: "... Было очевидно, что многие из уроков, извлеченных из опыта проведения оценки, например, риски вынесения оценочных суждений, основанных исключительно на нескольких показателях, забывались либо оказывались неизвестны тем, кто приходил в оценку. Это приводило к повторению старых ошибок и неэффективной практике".
• О методологии оценки: "...Не существует универсального подхода к оценке. Напротив, методы, процессы и подходы должны соответствовать ситуации (особенностям объекта оценки, цели оценки), а также учитывать ограничения по времени, финансам и доступности данных".

Новый сайт Европейского общества оценки

Европейское общество оценки ровно на год перенесло свою конференцию, которая была запланирована на 6-10 сентября 2020 года. Теперь конференция состоится в те же даты, но в 2021 году. Место проведения не изменилось: Копенгаген. Однако перенос конференции не помешал нашим коллегам обновить свой сайт, о чем было объявлено сегодня.

BetterEvaluation выходит на новый уровень

BetterEvaluation - это, на мой взгляд, лучший источник информации об оценке. Причем не только на английском языке. Пользуюсь этим порталом регулярно и всегда нахожу то, что нужно. Если надо найти какие-то публикации по оценке, начинаю, как правило, с BetterEvaluation.

Этот интернет-проект был запущен около 10 лет назад, а сейчас произошло важное событие: BetterEvaluation зарегистрирована как некоммерческая организация. Одновременно с этим заработал обновленный сайт. 

Бессменный руководитель проекта и, соответственно, лидер новой НКО - Патриция Роджерс (Patricia Rogers) из Австралии. Патриция - выдающийся специалист в сфере оценки (исследователь, преподаватель, практик). У нее много замечательных публикаций. В последнее время она много работает в сфере использования системного мышления в оценке. 

На FB можно посмотреть видео, где Патриция делится свежими новостями про BetterEvaluation. 

Блог Джонатана Морелла

Сегодня хотел бы рекомендовать тем, кто читает по-английски, замечательный блог Джонни Морелла (Jonathan (Jonny) A. Morell). Очень интересные и компактные тексты о разных важных для оценки вещах. Особо хочу отметить его публикации про использование системного мышления и про модели. 

Приведу несколько цитат для "затравки": 

• "Модель - это упрощение реальности, в котором намеренно не отражены некоторые её аспекты для того, чтобы выделить другие. Упрощение требуется, потому что без него охватить все соответствующие нашей задаче факторы невозможно"
• "Независимо от того, насколько мы умны, мы никогда не узнаем, каковы все соответствующие задаче факторы. У нас не может быть полной модели, как бы мы ни старались"
• Джордж Бокс был прав, сказав: «Все модели ошибочны, но некоторые из них полезны».

Обновленный сайт АСОПП

Возможно, пока не все заметили, что сайт АСОПП теперь выглядит по-новому. Мне очень нравятся и новый дизайн (выполнен профессионально с учетом фирменного стиля ассоциации), и новый функционал сайта (не всё заметно пользователям, но там появились важные новые функции). Библиотека теперь полностью открыта для всех интересующихся (не обязательно членов АСОПП) и там намного больше материалов, чем раньше. Создана онлайновая система подачи заявок на выступления на конференции, которой можно будет воспользоваться уже в этом году.

Реконструкция сайта АСОПП стала возможной благодаря гранту Комитета общественных связей (КОС) города Москвы, за что ему огромное спасибо. 

Это была большая работа, которую координировала член Правления АСОПП Елена Журавлева. Я знаю, сколько сил и времени Елена потратила на этот проект и хотел бы выразить ей особую признательность. Естественно, отдельно надо поблагодарить дизайнера Екатерину Лангваген и программиста Елену Дёмину, которые выполнили свои задачи профессионально в установленные сроки и с душой. 

Хотел бы поздравить Правление АСОПП, которое инициировало реконструкцию сайта; всех, кто был причастен к этой работе, но кого я не упомянул выше; а также всех членов нашей ассоциации с новым сайтом! 

Как создать облако из слов

Облака из слов бывает удобно использовать в отчетах по результатам оценки и в презентациях этих результатов. Поэтому сегодня я хотел бы поделиться ссылками на бесплатные онлайновые сервисы, позволяющие генерировать облака из слов. Они все точно работают с английскими текстами, но не все работают с русскими. 

1. ABCYa! Word Clouds (только английский, русские буквы не понимает)
2. TagCrowd (только английский, для русского текста делает по умолчанию транслитерацию - заменяет русские буквы английскими)
3. Tagul (требует регистрации, допускает бесплатное использование только в личных некоммерческих целях)
4. Tagxedo (требует установить дополнительную программу Silverlight)
5. Tricklar (сам выбирает медийные источники за заданный период для формирования облаков по ключевому слову, только английский)
6. WordClouds (меню английское, может работать с русскими текстами, не требует регистрации)
7. WordItOut (меню английское, может работать с русскими текстами, не требует регистрации)
8. Wordle (требует установить Java browser plugin, отличная программа, работает и с английскими, и с русскими текстами, очень много опций для получения требуемой формы, пространственной ориентации слов, размера и цвета изображения, но в последнее время не запускается во многих браузерах по соображениям безопасности). 

Ниже для иллюстрации привожу облако, которое сгенерировал Tricklar на слово Russia.

Новый русскоязычный специализированный интернет-ресурс по оценке

Некоммерческое партнерство "ИнА-Центр" из Новосибирска объявило об открытии "Виртуального ресурсного центра по оценке". Выглядит симпатично. Хотел бы от души поздравить коллег!!! Теперь дело за малым: наполнять, развивать и поддерживать... Успеха на этом нелегком пути!

Оценочный централ

Есть такая закономерность: когда в интернете появляется много ресурсов по какой-либо теме, обязательно находится кто-то, кто создает мета-ресурс, то есть такой интернет-ресурс, который позволяет получить доступ к другим ресурсам. Как правило, создатели подобных сайтов стараются сделать их как можно более удобными и интуитивно понятными для пользователя, наполнить большим количеством ссылок и не добавляют собственный контент. 

Приведу два примера: 

Eval Central. Создатель ресурса - Крис Лиси (Chris Lysy) из США. Это сайт, где автоматически отображаются все записи из нескольких дюжин специализированных (про оценку) блогов. Если вы хотите знать, что происходит в англоязычной блогосфере касательно оценки, заходите сюда. Мой английский блог здесь тоже есть. Только я давно туда не писал. Крис мне очень помог несколько лет назад. Я случайно удалил пару десятков последних записей из своего блога, а у Криса на сайте оказалось все сохранено, и я восстановил эти записи с его помощью. Кстати, название этого ресурса у русскоязычной аудитории может вызвать не связанные с оценкой ассоциации (см. Владимирский централ).

Evaluation Portal Link Connection Создатель этого портала Ларс Бальцер (Lars Balzer) из Швейцарии. Здесь можно найти ссылки на самые разные ресурсы - от книжек до сайтов профессиональных ассоциаций на английском и на немецком языках. Др.Бальцер активно сканирует интернет и сам приглашает людей и организации разместить свою информацию на его сайте. В частности, там есть информация о нашей компании ("Процесс Консалтинг"), о российской Ассоциации специалистов по оценке программ и политик, о Международной сети "Оценка программ".