- Сессии. В этом году их будет 120 вместо обычных 800. За счет сокращения числа сессий, по словам организаторов, повысится их качество. Зарегистрированным участникам не обязательно все три дня сидеть перед компьютером с утра до вечера. Все сессии можно будет посмотреть в записи в течение 3 месяцев.
- Стендовые доклады. Ожидается их более 200. По-моему, с содержательной точки зрения стендовые доклады в онлайне даже удобнее, чем очно.
- 10 обучающих семинаров.
- Рабочие встречи 60 тематических групп (Topical Interst Groups - TIGs).
- Встречи с издателями и авторами книг, а также с организациями, профессионально занимающимися оценкой в виртуальном выставочном зале.
- Развитие сети своих профессиональных контактов через неформальное общение, для чего создается специальный виртуальный коммуникационный центр.
суббота, 22 августа 2020 г.
Самая большая онлайновая конференция по оценке в этом году
четверг, 13 августа 2020 г.
Непосредственные результаты
Предположим, в рамках проекта проводится обучение. Собственно обучение является деятельностью в рамках проекта. Здесь вопросов ни у кого не возникает. А теперь внимание! Непосредственными результатами обучения называют следующее: сколько учебных курсов организовали, сколько часов длились занятия, сколько человек приняли участие в обучении. Но всё перечисленное относится к самой деятельности, характеризует ее масштабы, отвечает на вопрос о том, сколько мы всего сделали. Все это характеристики (показатели) выполненной деятельности, но никак не ее непосредственные результаты. Что же является непосредственным результатом обучения, его прямым следствием? То, что происходит с обучаемыми: изменение их знаний, умений, навыков, отношения к чему либо.
Почему важно правильно формулировать непосредственные результаты? Потому что, если этого не сделать корректно, появится разрыв в логике проекта между деятельностью и ожидаемым конечным результатом проекта. Это, в свою очередь, может существенно снизить обоснованность замысла проекта, нам будет сложно доказать, что наши действия приведут к достижению желаемой цели. К тому же, не зная непосредственных результатов, может оказаться весьма сложно провести оценку проекта.
Предположим, речь идет об обучении пенсионеров компьютерной грамотности. Мы рассчитываем, что после обучения они станут пользоваться компьютером и расширят круг общения; найдут родственников, старых друзей и коллег в соцсетях; станут заказывать лекарства и продукты на дом. В конечном итоге, это приведет к повышению качества их жизни. В данной логике имеется разрыв - отсутствует непосредственный результат. Человек отсидел несколько часов на курсах и вернулся домой. В каком случае он сможет пользоваться компьютером со всеми вытекающими чудесными последствиями? Только в том случае, когда у него в результате обучения появились соответствующие навыки и знания. Вполне можно допустить, что обучение будет проведено так, что учащиеся не в полной мере освоят предложенный им материал и не сформируют необходимых навыков. Далее, соответственно, ничего не произойдет, и цель проекта достигнута не будет. Когда мы оцениваем подобный проект, который потерпел неудачу, мы обязательно обращаемся к тому, в какой мере удалось достичь непосредственных результатов (формирование новых знаний и навыков), поскольку именно здесь может оказаться причина возникшей проблемы.
Важно отделять непосредственные результаты деятельности от самой деятельности. Это, кстати, может оказаться не так уж и просто. Куда проще отнести к непосредственным результатам число обученных и продолжительность занятий в часах. Возможно, именно поэтому и возникает столь распространенная ошибка?
среда, 5 августа 2020 г.
Где учиться оценке?
- Вводный курс по оценке от программы EvalPartners.
- Вводный курс по оценке от Ассоциации развития гражданского общества (Казахстан)
- Новый онлайновый курс "Оценка проектов и программ в сфере детства" Этот курс «Оценка программ и проектов в сфере детства» подготовлен в рамках проектов АНО «Эволюция и Филантропия» «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства», который реализуется на средства гранта Комитета общественных связей и молодежной политики города Москвы и «Онлайн-курс по оценке проектов и программ в сфере детства», который реализуется на средства гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проектов осуществляет также Фонд Тимченко. Условия участия в этом курсе следует уточнять у организаторов.
- Бакалаврская программа "Управление и аналитика в государственном секторе" (НИУ ВШЭ СПб)
- Магистерская программа "Доказательное проектирование и оценка программ в области управления социальными рисками в сфере детства" (МГППУ, ф-т Юридическая психология)
- Список преимущественно американских университетов, где можно получить образование в сфере оценки, от Американской ассоциации оценки.
- Список европейских университетов от Европейского общества оценки.
суббота, 1 августа 2020 г.
Конференция АСОПП: о чем будем говорить?
среда, 22 июля 2020 г.
Данные исследований и личный опыт: что работает при принятии решений?
В качестве подтверждения наблюдения Пфеффера и Саттона приведу две цитаты.
Президент Беларуси А.Лукашенко (опубликовано РИА "Новости" 02.04.2020):
"Вчера один очень умный россиянин (ученый – ред.), я послушал, сказал: надо физически бороться с ним (коронавирусом – ред.). Я думаю, как же физически? Надо себя защитить от опасности. Спортом заниматься надо и на свежем воздухе быть. Надо легким помочь. Мы, говорит, на диете сидели, а нужна жирная пища. И я тоже ограничивал себя. А сливочное масло надо сейчас есть, оказывается, жир помогает легким бороться с вирусами", - сказал Лукашенко. По словам президента, если специалист, ученый, такое говорит, "наверное, не дурак". "Вот я из опыта своего его в этом поддерживаю" (выделено мной - АК), - заметил он".
Президент США Д.Трамп (опубликовано BBC News 19 мая 2020 года):
"На вопрос о том, что он считает доказательствами положительных качеств гидроксихлорохина (для профилактики COVID-19 - АК), г-н Трамп ответил: "Вот мои доказательства: я получил много положительных отзывов об этом" (выделено мной - АК). Он добавил: "Я слышал много хороших историй [о гидроксихлорохине] (выделено мной - АК), и если это нехорошо, я скажу вам прямо: я не собираюсь причинять себе вред".
Наверное, этот эффект следует отнести к сфере психологии. Мы более склонны признавать данные исследований в качестве доказательств, если они соответствуют нашему личному опыту. И, наоборот, если данные исследований не подтверждаются нашим личным опытом либо противоречат ему, использование таких данных может оказаться под вопросом. Можете провести мысленный эксперимент и проверить, так ли это в Вашем случае применительно к тем решениям, которые принимаете Вы.
четверг, 16 июля 2020 г.
Движущая сила оценки
четверг, 9 июля 2020 г.
Хорошие вопросы
- Может ли специалист по оценке, основываясь на своем сугубо личном положительном опыте, сделать заключение об эффективности проекта?
- Какова мера ответственности экспертов, оценивавших замысел проекта, за наступление (или ненаступление) прогнозируемого результата проекта?
- Для проведения экспертной оценки привлекаются опытные люди. При этом эксперт с 20-летним стажем может быть ярым противником новых методов и подходов, но его мнение окажется "весомее" мнения молодого новатора. Как быть?
- Чем регламентирована ответственность эксперта за результаты проведенной им оценки? Что можно было бы предусмотреть в договоре с экспертом в плане его ответственности в целом (не по сути экспертной оценки)?
- Есть ли какая-то зависимость между тем, какой вид оценки применялся на этапе проектирования, и какой вид оценки используется на этапе реализации проекта?
- Следует ли установить существенные критерии/индикаторы для оценки проектов в определенных предметных областях?
- Как определить наиболее значимые (весомые) индикаторы?
- В каких ситуациях целесообразно применять индикаторную оценку, чтобы получить максимальный эффект?
- Каким образом можно выявить "пустой" индикатор (индикатор, значение которого ни о чем важном не говорит)?
- Как давать оценку индикаторам, целевые значения которых были изначально занижены? Как обосновать свое суждение в этом случае?
- Как оценить качество индикаторов?
