Глава 5

Сбор информации при проведении оценки, в том числе и при оценке эффективности обучения.

Часть данных, используемых для оценки, будет основана на мнениях, чувствах, наблюдениях и интерпретациях участников проекта, ведущих занятий , участников семинаров и пр. Оптимальный подход заключается в том, чтобы тщательно продумать процесс оценки и использовать несколько разных способов получения требуемой информации. По мнению опытных оценщиков, исключительно важно, хотя порой и сложно, сохранять непредвзятость на всем этапе сбора информации.

Не менее важно при сборе информации для оценки уметь задавать вопросы. Существуют два типа вопросов: открытые и закрытые.

Открытый вопрос

На такой вопрос нельзя ответить “Да” или “Нет”. Открытые вопросы помогают собрать более полную качественную информацию. Когда необходимо получить более подробные объяснения или уточнить что- либо , то задаются уточняющие вопросы. Уточняющие вопросы могут включать одно или несколько вопросительных слов: почему, где, как часто. Например, Что в ходе занятий заинтересовало Вас больше всего? Почему именно это?

Закрытый вопрос

Вопрос, на который можно ответить однозначно “Да” или “Нет”. Такие вопросы преобладают в анкетах для количественных исследований. Например, Заинтересовали ли Вас методы планирования рабочего времени руководителя?

Способы сбора информации.

Тестирование

Как правило, тест представляет собой серию «закрытых» вопросов, связанных с содержательными аспектами проекта или семинара. Полученные таким образом данные можно использовать при количественном анализе. Иногда в тесте присутствуют открытые вопросы, например «Как вы будете привлекать молодых инвалидов в группы взаимной поддержки?…» и при этом дается несколько вариантов ответа.

Тестирование можно комбинировать/сочетать с другими источниками получения информации.

Предварительный - заключительный тест

Участникам проекта или семинара предлагается один и тот же письменный тест до начала проекта или обучения и после их окончания. При оценке эффективности обучения этот тест предоставляет достаточно объективную количественную оценку усвоения предмета. Он также помогает определить, какие предметные области требуют повторения или закрепления.

Последующее Письменное тестирование

Проводится через некоторое время (1-2 года) после завершения проекта при проведении оценки после фактической реализации проекта. Такое тестирование можно использовать при оценке эффективности обучения для того, чтобы определить практическую ценность проведенного обучения выявить потребности для дальнейшего обучения.

Опросы, анкетирование

Для сбора информации можно применять устные или письменные опросы

Очень важно при устных опросах соблюдать логическую последовательность, помнить о том с какой целью проводится опрос. Помогает проведению устных опросов наличие заранее подготовленного письменного перечня вопросов. Опрашивающий должен иметь некоторые навыки, помогающие установить коммуникацию , получить ответ, который можно использовать при оценке.

При проведении опросов могут использоваться различные формулировки вопросов , в частности многовариантные вопросы . Вопрос, сочетающий черты открытого и закрытого, в нем человеку предлагается выбрать один или несколько вариантов из большого их числа. Например, Какие темы Вас больше всего заинтересовали в ходе занятий (отметьте две наиболее интересные для Вас темы)

способы планирования рабочего времени руководителя формулирование миссии организации способы делового общения

методы составления бюджета пути реализации Закона о социальной защите инвалидов правила написания пресс-релизов...

Оценочные анкеты: Если Вы используете такие анкеты, лучше объяснить тем, кто отвечает, что означает каждая из оценок. Например: « Оцените, пожалуйста, насколько, по Вашему мнению, были решены задачи семинара. Обведите вашу оценку»:

Не решена	Почти не решена	Решена только отчасти	Решена в целом	Вполне решена

• Обмен опытом самостоятельно проведенных занятий.

• Освоение технологии разработки учебных программ.

Информацию, полученную в результате применения оценочных анкет, можно довольно легко подвергнуть количественному анализу и статистической обработке. Довольно часто общественные организации используют данные анкеты для оценки семинара или мероприятия.

Иногда при опросах формулируют вопросы так, что они совмещают в себе черты многовариантного и оценочного вопросов. Опрашиваемые получают вопросы и наборы ответов к ним, из которых должны выбрать тот, который, по их мнению, больше подходит. Человек же, проводящий исследование, имеет специальный “ключ” к вопроснику, где указано цифровое выражение каждого из вариантов ответов.

«Кейс»

Это форма устного опроса с фиксацией, которая использовалась «Перспективой» при оценке влияния проекта на региональные команды молодых активистов. . Для проведения опроса были разработаны специальные бланки - анкеты. Выбранные в начале проекта участники региональной команды ( 2-3 человека из каждой команды ) персонально опрашивались несколько раз в течение проекта, причем при каждом опросе были включены вопросы по-разному сформулированные, но отражающие общий контекст .Например , вопрос « Какова ваша роль в проекте?» при последующем опросе был сформулирован «Чем Вы занимаетесь в проекте?» Таким образом, участники опроса выступили своеобразными «реперами», по которым можно было судить об изменениях роста молодого активиста

Опрос мнений

Применение данного способа помогает собрать нужную информацию при оценке проекта или программы обучения . Открытые вопросы, задаваемые непосредственно после завершения обучения, или периодически в ходе его, помогают выявить отношение к программе обучения или методам ведения . Данные , полученные в ходе такого опроса помогают понять как участники оценивают общий план обучения, адекватность программы по отношению к их потребностям, адекватность используемых методов ведения. Для оценки проекта подобный опрос можно проводить не только с основными участниками проекта, но и с получателями услуг проекта или партнерами. Полученные мнения помогут выявить проблемы, скорректировать действия проекта для их решения, сделать рекомендации по дальнейшему развитию проекта.

Наблюдение

Еще один инструмент сбора информации – наблюдение. Этот способ полезен для сбора информации о состоянии людей, которые участвуют в проекте. Наблюдение может проводиться в течение одного семинара, на разных семинарах в течение проекта или в течение всего проекта. При этом можно применять структурированное наблюдение, когда составляется список характеристик, которые будут отслеживаться и неструктурированное наблюдение, при котором наблюдатель основывается на том, что привлекло его внимание.

Например, при наблюдении за конкретными участниками проектов наблюдателя привлекло поведение молодого активиста , который брал на себя большую ответственность, уверенно говорил о том, чем он может помочь другим…

Однако, при «явной простоте метода, наблюдение имеет существенный минус- наблюдение требует значительного времени» ⁷

Прямое наблюдение в ходе обучения

Проводится непосредственно в ходе обучения. Наблюдение на семинарах лучше проводить специальному "наблюдателю", не ведущему. Это может быть организатор или сотрудник вашей организации, не занятый в семинаре. В случае отсутствия такого «наблюдателя» эту функцию берет на себя ведущий, который должен зафиксировать свои наблюдения сразу после завершения занятий. Специальный «наблюдатель» должен быть подготовлен к проведению наблюдения и должен уметь фиксировать увиденное. Наблюдателю удобнее работать, когда есть бланк наблюдения, кроме того это дает возможность сразу фиксировать увиденное. При отсутствии бланка все равно необходимо после мероприятия или семинара записывать свои мысли, наблюдения в свободной форме.

Например, в ходе семинара наблюдатель отмечает, что молодые инвалиды выступали на семинаре увереннее, чем на предыдущих; они сами предлагают новые способы проведения занятия.

Дополнительные способы сбора информации при оценке эффективности обучения.

Предлагаемые способы помогут ведущему занятий или команде тренеров провести оценку эффективности конкретного занятия или всего семинара в целом. Ведущий сможет определить реакцию участников и уровень приобретения ими знаний, определить эффективность учебного плана и способов проведения обучения; оценить степень вовлеченности участников. Этими способами могут воспользоваться и организаторы обучения для обсуждения организационных моментов, например удобства помещения, транспорта и пр. аспектов, которые важны для успеха семинара.

Групповая совместная оценка.

Ведущий разрабатывает специальное занятие для обсуждения и оценки учебной программы. Часть времени выделяется на проверку отдельных знаний. Часть времени отводится на то, чтобы участники могли обсудить самые ключевые моменты программы обучения или того, что, по их мнению, мешало ее успеху. Такая оценка может проводиться устно - например, в форме фокусированной (по заранее определенному списку вопросов) дискуссии, а может - письменно. Лучше, если количество вопросов будет не более 4-5 и в дискуссию вовлекается (будет вовлечена) практически вся группа.

Ниже приводятся краткие опросники, использовавшиеся на одном из наших семинаров для обсуждения результатов, полученных за предыдущие дни занятий. . Опросники сочетают в себе вопросы по оценке эффективности применяемых методов, позволяют понять, насколько участники усвоили тот или иной метод, а также содержат оценку участниками ведущего.

• Опросник для фокусированной дискуссии по оценке семинара.

Этапы фокусированной дискуссии	Примеры вопросов
Выявление фактов	Что мы делали? Какие были темы рассмотрены? Какие методы мы использовали?
Выявление эмоций, ощущений, отношения	Что вас особо задело, взволновало? Когда, в какие моменты вы ощущали дискомфорт?
Проведение оценки, сбор информации, проведение дискуссии.	Что было наиболее значимым? Насколько результативно проходил семинар? Что было важным для эмоционального настроя группы?
Выводы о практическом применении	Что дал этот семинар для практики? Какие занятия мы будем использовать в работе?

Практическое занятие после окончания обучения.

Способ применяется для определения степени приобретения навыков и новых знаний. Способ заключается в проведении практического занятия, в котором используются все навыки, приемы и знания, предложенные во время обучения, например, ролевая игра. Естественно это занятие должно быть специально разработано.

Например, семинар направлен на совершенствование навыков работы со СМИ, в этом случае в завершении занятий можно провести ролевую игру «Пресс –конференция».

Ежедневная оценка эффективности обучения.

Поскольку проводится ежедневно, то эта оценка должна быть краткой. Способ используется для мониторинга заинтересованности и активности участников в ходе занятий, оценки работы ведущих. Может быть устной (краткий опрос мнений участников), а может быть письменной. В последнем случае желательно заготовить специальные бланки. Если Вы используете количественную оценку, удобно составить график изменения средней оценки день ото дня. «Перспектива» на семинарах использует упражнение «Дерево» или «Небоскреб». Все очень просто. Участники оценивают свое состояние, свой уровень на данный момент и размещают свой рисунок-символ (это может быть крестик, человечек или иной символ) на соответствующей ветке, этаже и.т.п. Иногда мы совместно с участниками составляем плакат, на котором отмечаем, что было удачно, а что - не очень. Вот пример такой «оценочной» таблицы:

+	--
Очень подробно и понятно представлена тема… Было много упражнений, много двигались Никто из участников не спал	В зале было душно Не очень удобно располагались столы для работы в малых группах Остались вопросы по…

В заключении, мы хотим привести вопросы, которые ведущий может задать самому себе для оценки успешности обучающей программы , семинара, отдельного занятия.

• Соответствовали цели и ход занятий общему курсу обучения ?

• Выполнялось ли расписание? Насколько своевременно? Каков был общий порядок занятий?

• Были ли методы активными и использовались ли ресурсы (опыт) участников?

• Насколько хорошо были разработаны учебные занятия:

1. ясные и понятные задания

2. были ли включены упражнения на повторение материала?

3. применялось ли соответствующее вовлечение участников в процесс обучения?

4. были ли лекции-выступления ясными, четкими, полными?

• если использовались привлеченные эксперты, то насколько эффективным было их привлечение?

• были ли подготовлены и использованы должным образом наглядные пособия?

• Какой метод оценки обучения участниками использовался?

• Как участники оценили обучение?

• Какие новые знания, умения и убеждения приобрели или повторили участники?