Evaluation'2017. День 2.

Конференции - помимо всего прочего - прекрасная возможность для развития и поддержания профессиональных связей. Со многими коллегами из разных стран я познакомился именно на конференциях. Особенно приятно встречать старых знакомых, конечно. В том числе, из ближнего зарубежья. Сегодня, например, пообщались с коллегами из Армении и Украины.

Открывающее сегодняшний день пленарное заседание было посвящено проекту Американской ассоциации оценки, основой которого являются диалоги о классовом, этническом и расовом неравенстве в американском обществе. Лидер проекта - профессор Мелвин Халл (Melvin Hall) из университета Северной Аризоны (на фото в центре). Вместе с ним на сессии выступили Дженифер Грин (слева) и Беверли Парсонс (справа). Миссия проекта заключается в том, чтобы отрефлексировать исторически сложившееся в американском обществе неравенство; найти адекватный формат для обсуждения этой проблемы; открыто говорить о ней; учитывать ее как один из важных факторов контекста, в котором проводится оценка и, в конечном итоге, предпринять практические шаги для ее решения. Как сказала во вступительном слове Дженифер Грин, "оценка программ - это процесс, в ходе которого общество познает себя" (это цитата из Кронбаха и др.). В диалогах участвуют специалисты по оценке, журналисты, лидеры сообществ. Диалоги проходя в формате панельной дискуссии. Всем участникам предлагается заранее ознакомиться с описанием некого кейса, а затем ответить на несколько вопросов. Главный из них: какая ответственность лежит на специалисте по оценке в данной ситуации? Полные видеозаписи диалогов доступны по указанной выше ссылке. 

На следующей сессии, которую я выбрал, обсуждали методы оценки в виртуальном мире. В частности, коллеги рассказали о том, как они оценивают онлайновые конференции. По словам выступающих, в США госструктуры переориентировались на проведение онлайновых мероприятий вместо очных встреч. Существуют специальные платформы, позволяющие проводить большие конференции в реальном времени с возможностью позже посмотреть записи любых выступлений. Расчеты подтверждают экономическую эффективность таких мероприятий по сравнению с традиционными несмотря на достаточно высокую стоимость программных решений. Меня больше всего впечатлили не столько методы оценки, сколько программные средства для проведения онлайновых конференций. Раньше как-то с этим не сталкивался. 

На следующей сессии мы встретились с президентом АСОПП Ириной Ефремовой-Гарт. Признаюсь, встреча не была для меня неожиданной, поскольку эта сессия была посвящена тому, как функция оценки развивалась в высших эшелонах власти США на протяжении длительного времени. К сожалению, аудитория не смогла вместить всех желающих посетить эту сессию. Пришлось стоять, поэтому записывать было неудобно. Поделюсь тем, что запомнилось. Двое выступавших рассказали, как все начиналось с оценки программы по борьбе с бедностью (War on Poverty) в США в середине прошлого века. Они в этом принимали непосредственное участие. С тех пор функция оценки присутствовала всегда - независимо от того, какую партию представлял президент США. В какой-то момент оценка государственных программ вошла в зону ответственности U.S. Government Accountability Office (GAO) (аналог нашей счетной палаты). Одна из тенденций, по мнению всех выступающих, - сокращение объема отчетов об оценке (с 300 страниц до максимум 20). Было отмечено, что и 20-страничные отчеты лица, принимающие решения, не читают. Им нужна очень сжатая информация, которую можно изложить за несколько минут. Говорили также о том, что методология проведения оценки развивалась и что у GAO много публикаций по методам оценки в открытом доступе. Это правда, мне попадались их публикации много раз.

Дальше я пошел послушать про практическое использование компьютерной программы SenseMaker. Об этой программе хорошо рассказывает Дэйв Сноуден К сожалению для меня, выступающие не особо распространялись относительно деталей работы с программой, а больше говорили о полученных эффектах. Эффекты впечатляют. Программа позволяет собирать и с помощью участников исследования интерпретировать большие объемы качественных данных. На рисунке - пример распределения ответов и история, относящаяся к одному из ответов. В данном случае участникам опроса предлагалось указать, что повлияло на их возможность заботиться о детях. Вершины треугольника - факторы, которые могли повлиять. Чем ближе точка к фактору, тем больше было его влияние, по мнению участников опроса. Тут надо дальше разбираться.

Заключительная на сегодня сессия была про использование методики Outcome Harvesting (здесь можно почитать её описание) для оценки результатов программы. Важная характеристика этой методики заключается в том, что оценка проводится не на основе сравнения результатов с поставленными целями, а на основании того, какие де-факто результаты достигнуты. В этом процессе активно участвуют исполнители программы и благополучатели. На этой сессии мне также показалось интересным, как можно изобразить теорию изменений графически (см. фото).

Я очень рассчитывал послушать выступление Майкла Скривена на тему "Природа оценки", К большому сожалению, гуру на сессию не пришел, и организаторы конференции не смогли его найти. Надеюсь, с ним все в порядке.