четверг, 18 июля 2024 г.
Риск ошибки при интерпретации неполных данных
среда, 17 июля 2024 г.
Этика оценки: как правильно поступить?
Этика — это учение о нравственности. Нравственность или мораль – это принятые в обществе представления о хорошем и плохом, правильном и неправильном, добре и зле, а также совокупность норм поведения, вытекающих из этих представлений. Профессиональная этика предлагает нормы поведения, характерные для определенных видов профессиональной деятельности, например, для оценки программ и проектов социальной направленности.
Группа оценки ООН предложила такое определение этики оценки: «Согласованные ценности и принципы, которые определяют правильное поведение специалиста по оценке в конкретном культурном контексте, в котором заказывается или проводится оценка (проекта или программы - АК)». На всякий случай отмечу, что при переводе с английского я это определение слегка подредактировал 😊
Обсуждение этических вопросов, на мой взгляд, всегда получается эмоциональным, поскольку оно имеет прямое отношение к ценностям. А ценности – это не то, что мы склонны подвергать сомнению или легко менять. Заседание клуба в этом плане не стало исключением. В результате мы не успели обсудить всё, что запланировали. Предлагаю вашему вниманию следующую ситуацию из необсужденных (основана на реальных событиях).
Само-оценивание в НКО. Сотрудники собрали данные, которые, по их мнению, свидетельствуют об ошибочном решении руководителя. По мнению сотрудников, это решение надо отменить. Руководитель непосредственного участия в проведении само-оценивания не принимал.
Проблема в том, что такого рода рекомендация может вызвать негативную эмоциональную реакцию со стороны руководителя. Это может привести к внутриорганизационному конфликту и существенно ухудшить психологический климат в НКО.
Вопрос: как поступить команде, проводившей само-оценивание?
PS Проблема здесь в том, чтобы минимизировать негативные последствия оценки либо вовсе их избежать. При этом необходимо показать ситуацию как она есть, то есть и хорошее, и плохое.
пятница, 28 июня 2024 г.
Чем может быть полезен дайджест
Дайджест содержит много идей, которые могут быть полезны как в плане организационного развития самих НКО, так и в плане развития деятельности НКО и их воздействия на окружение. К дайджесту следует отнестись как к ресурсу, в котором какие-то мысли, модели, схемы могут оказаться созвучны тому, с чем имеет дело та или иная организация. Надо обращать внимание, в первую очередь, именно на то, что «откликается» сейчас. Ну и, конечно, взять на заметку то, что может пригодиться в перспективе. Дайджест по жанру ни в коем случае не претендует на сколько-нибудь развернутое описание. Он содержит лишь краткие обзоры либо основные положения значимых публикаций, связанных с системными изменениями в организациях вообще и в благотворительных организациях в частности. Соответственно, можно рассматривать дайджест и как некое собрание «точек входа», позволяющих перейти к более детальному изучению заинтересовавших читателя вопросов.
понедельник, 24 июня 2024 г.
Системные изменения и их оценка
«Воспринимаем ли мы свою НКО как цельную совокупность взаимодействующих элементов? Меняем ли именно систему — основные компоненты структуры и связи между ними? Или ограничиваемся содержанием программ и отдельными шагами бизнес-процесса? Как определить, какие изменения и почему нужны? На чьи модели опираться при планировании и внедрении? Как преодолевать внутреннее сопротивление, неизбежное при изменении системы? Какой опыт наработан в мире, в стране, в некоммерческом секторе?».
Материалы, включенные в дайджест, могут пригодиться всем, кто интересуется вопросами организационного развития НКО и оценкой социальных программ и проектов. Принципы и методы оценки системных изменений рассматриваются в заключительном разделе.
пятница, 21 июня 2024 г.
Оцените теорию вашего Дела
Дракер поясняет:
«Это представления, которые определяют поведение любой организации, принятие решений о том, что делать, а чего не делать, а также какие результаты считать значимыми. Эти представления касаются рынков. Они касаются определения клиентов и конкурентов, понимания их ценностей и поведения. Они о технологии и ее динамике, о сильных и слабых сторонах компании. Эти представления о том, за что компания получает деньги. Это то, что я называю теорией бизнеса компании». (Drucker, P. F. (1994). The Theory of the Business. Harward Business Review, September-October. )
Дракер приводит 4 ключевые характеристики «теории бизнеса», на основании которых можно сформулировать 4 важных вопроса для оценки вашего Дела. Подчеркну, что вопросы сформулированы на основании публикации Дракера, так что все претензии, если что, ко мне, а не к Питеру :). Исхожу из того, что идею Дракера можно применить к любому Делу, то есть и к деятельности НКО, в том числе.
Итак, 4 вопроса для оценки теории вашего Дела:
- В какой мере ваши представления об окружении, миссии вашей организации и её ключевых компетенциях соответствуют реальности?
- В какой мере ваши представления об окружении, миссии вашей организации и её ключевых компетенциях соответствуют друг другу?
- Насколько сотрудники вашей организации знакомы с этими представлениями и разделяют их?
- В какой мере вы открыты для того, чтобы корректировать эти представления? Насколько регулярно вы их проверяете?
понедельник, 10 июня 2024 г.
Дизайн (или план проведения) оценки
Так что, похоже, в случае с оценкой планируем, а в случае с исследованием – занимаемся дизайном. Или нет? Обсудим.
Регистрация на сайте клуба PROОЦЕНКУ (кнопка «Регистрация на ближайшее заседание»).
суббота, 11 мая 2024 г.
Новый номер журнала «Позитивные изменения»
Новый номер журнала здесь.
Наша статья здесь.
пятница, 3 мая 2024 г.
Политика организации в сфере оценки
Политика организации — это набор базовых правил которые регулируют поведение различных субъектов, связанных с организацией, таких как сотрудники, руководство, партнеры, поставщики и т.д. Каждая политика регламентирует определенную сферу деятельности организации. Например, учётная политика (УП) относится к тому, как ведётся бухгалтерский учет в конкретной организации. Точнее, УП - это «совокупность способов ведения бухгалтерского учёта — первичного наблюдения, стоимостного измерения, текущей группировки и итогового обобщения фактов хозяйственной деятельности».
Что именно должна содержать политика организации в сфере оценки? По мнению американского специалиста Билла Трочима, политика должна определять:
- Цели или предназначение оценки.
- Кто и как может и должен вовлекаться в процесс проведения оценки.
- Как организация развивает собственный потенциал в сфере оценки.
- Как осуществляется управление оценкой.
- Как распределяются роли и ответственность сотрудников в сфере оценки.
- Как должен быть организован процесс оценки и какие методы используются при ее проведении.
- Как используются результаты оценки.
- Как осуществляется мета-оценка, то есть оценивание оценки – системы, процесса и результатов.
Ссылка на источник: Trochim, W.M.K. (2009). Evaluation policy and evaluation practice. In W.M.K. Trochim, M. M. Mark, & L.J. Cooksy (Eds.), Evaluation policy and evaluation practice. New Directions for Evaluation, 123, 13–32.
среда, 24 апреля 2024 г.
Деколонизация оценки
В последние годы много говорят и пишут о деколонизации науки. При желании можно найти много публикаций на эту тему в рунете (например, здесь). Одна из основных целей деколонизации науки - признание и устранение неравенств, которые возникают в результате колониального наследия. Колониальная наука часто приводила к маргинализации знаний и практик коренных народов, подавлению альтернативных мировоззрений и установлению гегемонии западной науки. Деколонизация науки предполагает критический анализ научной методологии и признание в качестве научных традиционных способов познания и критериев доказательности. Деколонизация науки также ориентирована на диверсификацию академических сообществ.
Не остались в стороне и специалисты по оценке. В прошлом году вышел в свет специальный выпуск Журнала мультидисплинарной оценки (Journal of MultiDisciplinary Evaluation), посвященный деколонизации оценки. Деколонизация – одно из приоритетных направлений деятельности Международной академии оценки (International Evaluation Academy), которая приняла самое активное участие в подготовке этой публикации.
Общая направленность деколонизации оценки примерно такая же, как в науке. Оценка в том виде, как она сегодня есть, родилась и развивалась на западе при полном игнорировании традиций коренных народов. Это надо менять, считают сторонники деколонизации оценки, и бросают вызов широко известным и общепринятым подходам к проведению оценки – от постановки задачи и выбора методов получения знаний до представления результатов оценки и их визуализации.
Вначале я хотел озаглавить эту публикацию так: «Надо ли нам деколонизировать оценку в России?», но потом решил, что лучше закончить этим вопросом. Тут есть, о чем подумать.
среда, 17 апреля 2024 г.
Чек-лист для анкеты
- Связаны ли вопросы анкеты с вопросами задания? Понимаем ли мы, как будем использовать ответы на вопросы анкеты для ответа на вопросы задания?
- Нет ли в анкете вопросов, содержащих «два и более в одном»?
- Хорошо ли будут понятны респондентам формулировки вопросов?
- Нет ли в вопросах и вариантах ответов терминов, которые могут неоднозначно трактоваться респондентами?
- Нет ли в вариантах ответов шкал «от забора до обеда»? Являются ли варианты ответов рядоположенными? Нет ли среди вариантов ответов таких, которые относятся к другому вопросу?
- Если есть вопросы, предполагающие сравнение, понятны ли и корректны ли основания для сравнения?
- Не слишком ли много в анкете открытых вопросов?
- Четко ли мы для себя определили, о чем спрашиваем (например, о знаниях, о мнении или о живом опыте)?
- Хватит ли респондентам предложенных вариантов ответов?
- Следуем ли мы правилу «развернутый вопрос – компактный ответ» (варианты ответов должны быть по возможности компактными)?
среда, 10 апреля 2024 г.
Модель для диагностики организации
Эта модель (Six-Box Model) была разработана Марвином Вайсбордом в середине
70-х годов.
При её использовании нужно ответить на следующие вопросы:
- Цели. Почему вы существуете? Какие проблемы вы решаете для людей? Каков ваш целевой рынок? Каково ваше видение? Какова ваша миссия? Каковы ваши стратегические цели?
- Структура. Подходит ли существующая структура для того, чего вы пытаетесь достичь? Правильное ли соотношение количества руководителей и сотрудников? По какому принципу формируются подразделения? Насколько эффективны процессы внутри организации?
- Поощрения. Какова система оплаты? Какие схемы поощрения существуют помимо оплаты? Случается ли, что чьи-то достижения остаются незамеченными? Как вы ставите цели перед членами команды?
- Полезные механизмы. Какие системы и процессы сейчас используются в работе организации? Как часто проверяются системы на предмет их эффективности? Каковы отзывы членов команды о системах и процессах?
- Взаимоотношения. Как люди общаются? Как люди сотрудничают? Каковы ваши основные ценности? Как вы разрешаете конфликты?
- Лидерство. Как ведут себя менеджеры? Проявляются ли ценности компании в их взаимодействии между собой и с сотрудниками? Все ли менеджеры знают и понимают стратегию организации? Чувствуют ли сотрудники поддержку со стороны менеджеров?
Источник: Weisbord,
M. R. (1978). Organizational diagnosis: a workbook of theory and practice.
Addison-Wesley Pub. Co.
среда, 3 апреля 2024 г.
Рефрейминг организаций
В приведенной ниже таблице показано, как эти рамки работают.
четверг, 28 марта 2024 г.
Оценка и информированное согласие
В социальных науках у нас в стране эта тема возникла несколько позже. Но, можно считать, что процесс пошел. Информированное согласие на участие в исследовании содержит примерно такой текст: «Подписывая данную форму информированного согласия, я подтверждаю, что прочитал(а) и понял(а) цели, процедуру, методы и возможные неудобства участия в исследовании. Я был(а) проинформирован о продолжительности экспериментального воздействия и сроках проведения подобных исследований вообще. Я получил(а) информацию о действиях в случае непредвиденного влияния на мое здоровье. У меня была возможность задать все интересующие меня вопросы. Я получил(а) удовлетворительные ответы и уточнения по всем вопросам, интересовавшим меня в связи с данным исследованием. Данное согласие дается не под влиянием обмана, психического или физического насилия или в условиях несвободы. Мое согласие не вынуждено стечением тяжелых жизненных обстоятельств (недостатком материальных средств) и/или не обусловлено какой-либо зависимостью от экспериментатора (-ов). Я даю свое согласие на участие в исследовании».
При проведении оценки социально-ориентированных проектов и программ подписывать такого рода документ не принято. Это, в частности, связано с тем, что оценка является функцией управления, и реализация этой функции осуществляется вне зависимости от согласия участников программы. Ещё одно отличие оценки от исследования, между прочим... Однако получение устного информированного согласия от участников процесса оценки мне кажется все же очень важным шагом. Мы информируем людей о том, зачем проводится оценка, по каким правилам, как будут использованы результаты. Затем предлагаем задать вопросы. И только после этого переходим, например, к интервью. Такой подход помогает выстроить доверительные отношения с участниками программы и повышает качество оценки.
Но есть одна ситуация, в которой правильнее получить письменное информированное согласие о проведении оценки. Имею в виду проведение обучения, в ходе которого слушателям предлагается осуществить оценку реального проекта в качестве учебного задания. В этой ситуации оценку проводит человек, не имеющий необходимого опыта и квалификации. А проект настоящий! Поэтому логично попросить информированное согласие руководителя организации, реализующей данный проект.
Вот текст, который мы использовали в Школе оценки, которую проводим в партнерстве с новосибирским ИнаЦентром в рамках проекта #экосистема_оценки: «Настоящим письмом подтверждаю, что сотрудник нашей организации (ФИО) согласовал со мной техническое задание на проведение оценки нашего проекта (Название проекта) в качестве учебно-практического задания. Я даю согласие на использование результатов данной оценки в процессе обучения указанного выше специалиста в Школе оценки при условии, что эти результаты не будут опубликованы полностью либо частично без письменного разрешения со стороны нашей организации».
среда, 20 марта 2024 г.
Оценка влияния мероприятий на целевую аудиторию: все непросто
При этом отмечаются два недостатка:
- Невозможно оценить охват целевой аудитории из-за того, что в разных мероприятиях могут по несколько раз участвовать одни и те же люди. Регистрация уникальных участников (по аналогии с уникальными посетителями сайтов) не организована.
- «Государственное задание Центра и результаты федеральных проектов, в реализации которых он участвует, не содержат параметров, позволяющих оценивать влияние проводимых мероприятий на целевую аудиторию. В связи с этим отсутствует возможность оценки возникающих социальных эффектов, что в свою очередь не позволяет оценить обоснованность масштабов организации мероприятий в сфере молодежной политики».
Неоднократный учет одних и тех же участников – проблема, с которой сталкиваются и многие НКО. Скажем, в 5 мероприятиях участвует один и тот же человек. При определении общего числа участников мероприятий его учитывают 5 раз, т.к. подсчитывается общая сумма по спискам участников. При такой системе подсчета результаты могут быть парадоксальными: если группа из 5 человек соберётся 20 раз, то общее число участников мероприятий будет 100!
Оценка влияния программ патриотического воспитания на целевую аудиторию действительно представляется весьма сложной задачей. Тут одними индикаторами, скорее всего, не обойтись.
* ФГБУ «Российский центр гражданского и патриотического воспитания детей и молодежи» был создан в 2002 году для реализации полномочий государства в сфере молодежной политики. В его задачи входит организация мероприятий, направленных на гражданско-патриотическое воспитание молодежи, развитие ее гражданской активности, вовлечение в добровольческую деятельность, а также популяризацию волонтерства в России. Ежегодно в мероприятиях Центра участвуют около 5 млн человек. Ежегодный общий объем субсидий составляет около 1 млрд рублей.
пятница, 15 марта 2024 г.
Участники заседания клуба PROОЦЕНКУ голосуют за кодекс эксперта
Обсуждение на вчерашнем заседании клуба было оживленным и интересным (видеозапись, презентация). Судя по всему, тема оказалась актуальной. После обсуждения аргументов «за» и «против» разработки кодекса для эксперта грантовых конкурсов мы предложили участникам ответить на два вопроса. Результаты голосования – на диаграммах. Ответили 23 человека из 32 присутствовавших на заседании.
среда, 6 марта 2024 г.
Этический кодекс для эксперта
Можно с уверенностью сказать, что число специалистов, занимающихся экспертной оценкой заявок в нашей стране, существенно превышает число тех, кто проводит эмпирическую оценку проектов и программ социальной направленности. При этом принципы проведения эмпирической оценки были разработаны и приняты АСОПП (Ассоциация специалистов по оценке программ и политик) несколько лет тому назад. А вот для экспертов грантовых конкурсов ни принципы, ни этический кодекс пока не разработаны. Наверняка тому есть причины, которые мы обсудим через неделю на заседании клуба PROОЦЕНКУ. Одна из этих причин состоит в том, что, как правило, этические кодексы разрабатываются профессиональными объединениями. Профессионального объединения экспертов грантовых конкурсов у нас нет. Почему? Возможно, эта деятельность не является профессией? В таком случае и объединение, наверное, не нужно…
Хотя в других сферах деятельности этические кодексы для экспертов существуют. Вот три примера:
- Этический кодекс Уполномоченных Общественных Экспертов всероссийской сети представителей Общероссийской общественной организации инвалидов – больных рассеянным склерозом.
- Кодекс профессиональной этики эксперта - члена Гильдии экспертов в сфере профессионального образования
- Кодекс профессиональной этики экспертов в сфере государственной экспертизы проектной документации и результатов инженерных изысканий
В общем, здесь есть, над чем поразмышлять и что обсудить.
PS Регулярные публикации в блоге возобновляю. Перерыв пришлось сделать по независящим от меня причинам.