Как найти правильный баланс между онлайн и офлайн форматами проведения оценки

На ноябрьском заседании клуба PROОЦЕНКУ нам не хватило времени на обсуждение вопроса о том, что следует принимать во внимание, когда оказываешься перед выбором между онлайн и офлайн форматами проведения оценки либо их сочетанием.

На прошлой неделе на «Институте оценки», который проводился новосибирским ИнА-Центром в Москве в рамках проекта #Созвездия_оценки, мы обсудили этот вопрос. Привожу обобщенные результаты работы в малых группах в форме рекомендаций. 

1. Зависимость от целей оценки. Определите, какие именно цели вы хотите достичь с помощью оценки. Это поможет выбрать наиболее подходящий формат.
2. Целевая аудитория. Учитывайте доступность методов оценки для целевой аудитории. Проверьте, какие форматы предпочтительнее для участников и как они могут повлиять на результаты.
3. Контекст реализации проекта. Оцените, насколько важен контекст, в котором реализуется проект. В некоторых случаях офлайн-встречи могут дать больше информации о ситуации.
4. Безопасность участников. Убедитесь, что выбранный формат обеспечивает безопасность участников и хранения данных, особенно если речь идет о конфиденциальной информации.
5. Коммуникация и доверие. Обратите внимание на возможность коммуникации с участниками. Важно учитывать скорость установления доверительных отношений, особенно в онлайн-формате.
6. Ресурсы оценщика. Оцените свои ресурсы (время, деньги) и возможности для проведения оценки. Принимайте во внимание, в числе прочего, те компетенции, которые нужны для проведений оценки онлайн или офлайн. Это поможет определить, какой формат будет более целесообразным.
7. Креативность и новые инструменты. Развивайте креативные подходы и новые инструменты для оценки, которые могут быть применены как в онлайн, так и в офлайн формате.
8. Привычки информантов. Учитывайте привычки и предпочтения информантов, так как некоторые группы (например, чиновники) могут быть более ориентированы на офлайн-взаимодействие.
9. Метод наблюдения. Имейте в виду, что возможности использования метода наблюдения в онлайн-формате могут быть ограничены по сравнению с офлайн.

Я бы добавил, что не только цели оценки надо учитывать (см. п.1), но и вопросы, на которые надлежит ответить. Об этом Алена Богомолова говорила на заседании клуба. Думаю, что при оценке проектов, которые полностью были реализованы в онлайн-формате, онлайн-оценку использовать проще. Полностью согласен с тезисом насчет использования метода наблюдения (см. п.9) и замечу, что есть специфика и в использовании других методов при проведении оценки онлайн. 

Само-оценивание онлайн

Продолжаем тему, о которой шла речь в предыдущей публикации. 

Если говорить об «уходе в онлайн», то, на мой взгляд, само-оценивание в этом плане выглядит намного перспективнее, чем внешняя оценка. Тому есть несколько причин:

1. При проведении само-оценивания снимается вопрос о понимании и ощущении контекста: авторы и исполнители проекта погружены в контекст изначально. Для внешнего консультанта, работающего онлайн, эта задача может оказаться нерешаемой.
2. У организации, проводящей само-оценивание, уже установлены достаточно доверительные отношения с различными заинтересованными сторонами. Для внешнего консультанта, работающего дистанционно, установление доверительных отношений может быть проблематичным.
3. В ситуации само-оценивания известно, с кем получится, а с кем не получится работать онлайн. Внешнему консультанту придется это выяснять отдельно, и могут быть неожиданности.
4. При проведении само-оценивания можно «уйти в онлайн» лишь частично, а остальное сделать офлайн. Причем такие решения можно принимать по ходу проведения работ. У внешнего консультанта такой возможности нет: онлайн-формат оговаривается в контракте. 

Все эти рассуждения, конечно, относятся к проектам, которые хотя бы отчасти выполняются офлайн. Внешняя оценка онлайн-проектов вполне реалистична, хотя первая и вторая из перечисленных выше проблем все равно будут иметь место. 

На месте финансирующей организации, которая по каким-то причинам собирается проводить внешнюю оценку онлайн, я бы рассмотрел вопрос о сочетании внешней оценки с само-оцениванием. Внешнему консультанту можно было бы поставить задачу, которую он сможет выполнить качественно, а оцениваемой организации можно поручить выполнить вторую часть работы самостоятельно.

Дистанционная оценка проекта: что можно, а чего нельзя оценить на расстоянии?

Эту тему вчера обсуждали на очередном заседании клуба PROОЦЕНКУ. Видеозапись и презентация уже доступны на сайте клуба. 

Хотел бы отметить несколько комментариев, которые есть на видео. Вероятно, не все будут его смотреть от начала до конца… 😊 Речь шла о том, как найти правильный баланс между онлайн и офлайн-форматами. 

Ирина Решта отметила несколько моментов: 

• "Следует всегда выбирать те методы, которые адекватны конкретной ситуации (онлайн или офлайн) и использовать именно те форматы работы, которые учитывают специфику целевых групп. 
• Онлайн-формат работы требует от тех, кто проводит оценку, особой подготовки по сравнению с привычным офлайн-форматом (сюда относятся и технические вопросы).
• Представители наших целевых групп могут оказаться в разной степени знакомы с онлайн-технологиями. Поэтому полный уход в онлайн может автоматически исключить часть целевой группы из выборки.
• При переходе в онлайн-формат может быть сложно понять и прочувствовать контекст, в котором реализуется проект. А это при проведении оценки очень важно".

Алёна Богомолова добавила следующее: 

"Разговор про перевод оценки онлайн-формат возвращает нас к очень важному этапу планирования и продумывания оценки. Нам надо прояснить: 

• На такие вопросы нам надо получить ответы?
• Какие данные нам надо для этого собрать? 
• Какими ресурсами мы располагаем?

Пока мы не ответим на эти три вопроса, мы не сможем определить, подходит нам онлайн-формат или не подходит, полностью мы можем уйти в онлайн или только частично. Но, конечно, отказываться априори от онлайн формата было бы просто глупо". 

В презентации, есть много интересных идей по поводу преимуществ и ограничений онлайн и офлайн форматов, а также по поводу особенностей проведения индивидуальных интервью и фокус-групп онлайн. 

Сравнение традиционного очного обучения с дистанционным

Традиционным очным обучением мы называем такой формат, когда ученики и преподаватель приходят в учебную аудиторию. В последние годы, особенно в связи с пандемией, все чаще стали говорить об "очном онлайновом обучении". Вот один из примеров ("Новая форма обучения - очное обучение в формате онлайн"). Подразумевается, что присутствие в едином виртуальном пространстве эквивалентно присутствию в аудитории. В английском языке для такой формы обучения придумали специальный термин: синхронное дистанционное обучение. Дело в том, что дистанционное обучение может проводиться синхронно или асинхронно. До пандемии наиболее используемым и изученным методом обучения было асинхронное (Asynchronous) дистанционное обучение, при котором участникам предлагались записанные видео для просмотра в любое время. Синхронное (Synchronous) дистанционное обучение обеспечивает участникам интерактивное общение с преподавателем и друг с другом в реальном времени. 

Естественно, возник вопрос о сравнении традиционного очного обучения (ТОО) с синхронным дистанционным обучением (СДО). В начале 20-х годов за рубежом был проведен ряд оценок и оценочных исследований по этому поводу. Вот некоторые выводы:

• Результативность СДО оказалась примерно такой же, как в ТОО.
• В тех случаях, когда при проведении СДО использовались возможности для ответов на вопросы учащихся, выдачи ведущим индивидуальной «обратной связи» и групповых обсуждений с участием ведущего, значимой разницы в освоении материала по сравнению с ТОО не было обнаружено. 
• Степень удовлетворенности учащихся при СДО и ТОО оказалась примерно одинаковой. 
• Преимущества СДО: использование инновационных технологий для представления нового и интересного контента; сокращение времени/стоимости поездок на учебу; гибкий график; дополнительный доступ к материалам для повторения; интервальность обучения (паузы), способствующая лучшему усвоению материала; возможность лучше подстраиваться под индивидуальные потребности учащегося  (что может быть невозможно в условиях ТОО).
• Недостатки СДО: ограничения в доступе к интернету у отдельных категорий участников; неумение некоторых учащихся пользоваться современными компьютерными технологиями на должном уровне; снижение концентрации внимания участников, когда занятия оказываются более продолжительными; уменьшение возможностей взаимодействия между участниками, когда продолжительность занятий невелика. 

SURVEYMONKEY: доступ ограничен

Ровно 4 месяца назад я писал о сервисах для проведения онлайн-опросов. Тогда я рекомендовал SurveyMonkey как лучший, с нашей точки зрения, вариант платного сервиса, которым мы активно пользовались 8 лет. Единственной проблемой в последнее время была оплата в долларах США. В конце прошлой недели у российских пользователей SurveyMonkey возникла другая проблема: доступ к SurveyMonkey из РФ был заблокирован Amazon CloudFront: «403 ERROR. The request could not be satisfied. The Amazon CloudFront distribution is configured to block access from your country». Обойти эту блокировку, в принципе, можно, но при проведении анкетирования придется объяснять всем респондентам, как это сделать, что нереально. Посему мы переехали на российский Тестограф. Работает исправно. Если что, готов поделиться первыми впечатлениями, в том числе, по сравнению с SurveyMonkey. Обращайтесь! :)

Онлайновые инструменты для проведения совещаний

В силу известных обстоятельств возникла необходимость продолжить в онлайновом режиме серию очных совещаний, начатую в Москве. Надо работать с карточками: писать на них что-то, наклеивать на стену, соединять стрелками, перевешивать и т.д. Я это делал сотни раз, но не в онлайне. Позвонил коллеге в США. У них ассоциация фасилитаторов, давно работают в онлайне. Рекомендация такая: использовать ZOOM для конференц-связи и программу Linoit.com, которая "заточена" под работу с карточками. Коллеги в России тоже посоветовали ZOOM в сочетании с программой MIRO. Мне обе программы понравились. Но решил использовать более привычную VISIO в сочетании с ZOOM. Получилось хорошо.