- •Министерство российской федерации по делам гражданской обороны,
- •Содержание:
- •Раздел 1: Теоретические основы педагогического теста
- •Суммарное сравнение нормативно-ориентированного и критериально-ориентированного подходов (по н. Гронлунду)
- •Сравнительный анализ характерных особенностей нормативно-ориентированных и критериально-ориентированных тестов (по д. Вилфорду).
- •1.3 Конструирование тестовых заданий
- •1.3.1. Конструкция тестовых заданий
- •1.3.2.Типы и виды тестовых заданий
- •1.4. Требования к формулировке тестовых заданий и типичные ошибки при разработке тестовых заданий
- •2. Основная часть задания должна формулироваться в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки одного из ответов.
- •4. Основная часть задания должна освобождаться от всякого не относящегося к данной проблеме материала.
- •6. В основной части задания следует избегать отрицания, а также исключить двойное отрицание.
- •9. В основную часть задания следует включать как можно больше слов, оставляя для ответа не более 2-3 наиболее важных для данной проблемы слов.
- •10. Из ответов обязательно должны исключаться все повторяющиеся слова путем ввода их в основной текст заданий.
- •11. Из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки.
- •В формулировке основной части задания есть слово «избегание», которое является подсказкой к правильному варианту ответа. Его следует заменить, например, на слово «уклонение».
- •12. Все ответы к одному заданию должны быть приблизительно одинаковы по размеру (числу слов), либо правильный ответ может быть короче других, но не во всех заданиях теста.
- •Раздел 2: Процедура разработки педагогического теста
- •2.1 Организационный и содержательный этапы разработки педагогического теста
- •2.2 Подготовительный и исследовательский этапы разработки педагогического теста
- •2.3 Стандартизационный и интерпретационный этапы разработки педагогического теста
- •2.4. Типичные ошибки при разработке педагогического теста
- •Раздел 3: Работа с вопросниками множественного выбора в аис «Психолог»
- •3.1 Работа с вопросником множественного выбора
- •3.2 Работа с бланками вопросника множественного выбора
- •3.3 Просмотр результатов тестирования
- •3.4. Типичные затруднения при работе с вопросниками множественного выбора в аис «Психолог»
Раздел 2: Процедура разработки педагогического теста
Существует немало литературы, посвященной проблеме разработки педагогических тестов. Однако единого алгоритма разработки педагогических тестов не выработано. У различных авторов мнения о том, из каких этапов складывается создание педагогического теста, порой сильно расходятся. Анализ этих точек зрения позволил нам сформировать собственную схему разработки теста, согласно которой будет выстраиваться содержание этого раздела.
В первую очередь приведем полный перечень этапов разработки теста, а далее рассмотрим каждый из этапов в отдельности.
Этап I - организационный. На этом этапе важно решить следующие задачи:
Определение целей тестирования
Определение основных источников валидности
Определение ресурсных возможностей разработчиков
Этап II – содержательный. На этом этапе важно решить следующие задачи:
Отбор содержания учебного материала
Конструирование технологической матрицы
Составление спецификации теста
Этап III – подготовительный. На этом этапе важно решить следующие задачи:
Составление тестовых заданий
Экспертиза тестовых заданий
Построение выборки для апробации заданий и тестов
Компоновка заданий для апробации
Этап IV – исследовательский. На этом этапе важно решить следующие задачи:
Апробация тестовых заданий
Определение и расчет показателей качества тестовых заданий
Отбраковка заданий и составление теста
Апробация теста
Определение и расчет показателей качества теста
Составление окончательного варианта теста
Этап V – стандартизационный. На этом этапе важно решить следующие задачи:
Стандартизация теста и его нормирование
Этап VI – интерпретационный. На этом этапе важно решить следующие задачи:
Разработка схем интерпретации результатов тестирования
Представленная последовательность этапов и задач, которые решаются в рамках этих этапов отражает сложный процесс. Перечисленные задачи взаимосвязаны и вытекают одна из другой. Результат каждого этапа становится основой и условием успешности выполнения задач на последующих этапах. Если какой-то этап пропущен, или соответствующие ему задачи решены не в полной мере, то это снижает эффективность действий на последующих этапах и, в конечном итоге, влияет на качество инструмента в целом.
Сейчас, когда мы обозначили основные этапы создания теста, можно провести сравнительный анализ нормативно-ориентированного и критериально-ориентированного подходов на каждом из этапов создания теста. В параграфе 1.2 мы говорили о том, что эти подходы определяют разницу на большинстве этапов создания тестов. Данные сравнительного анализа представим в виде таблицы [5, с.146-147].
|
|
Нормативно-ориентированные тесты |
Критериально-ориентированные тесты | |
|
Организационный этап | |||
|
Определение целей тестирования |
Оценка обучающегося относительно другого обучающегося. Установление норм выполнения теста. |
Описание усвоенного или неусвоенного учебного материала. Оценка обучающегося относительно набора характеристик достаточного для достижения результата. | |
|
Определение основных источников валидности |
Соответствие содержания теста содержанию курса (содержательная валидность). |
Взаимосвязь тестовых результатов, полученных обучающимися за выполнение теста, с внешним критерием (критериальная валидность). | |
|
Определение ресурсных возможностей разработчиков (разница в необходимости привлечения разных специалистов) |
Ориентация на статистические методы оценивания. Специалисты необходимы для статистической обработки результатов. |
Ориентация на экспертное оценивание, проведение работ по определению перечня и объема учебных задач, критерия достижения необходимого уровня подготовки. Специалисты необходимы для экспертизы учебного материала. | |
|
Содержательный этап | |||
|
Отбор содержания учебного материала |
Может быть отобран широкий спектр материала. |
Отбирается материал, который касается ограниченной тематики. | |
|
Конструирование технологической матрицы |
Могут быть использованы сложные матрицы. |
Сложность матрицы ограничивается выбранным для оценки критерием. | |
|
Составление спецификации теста |
Существенно не отличаются. Отличаются диапазоном охвата материала, что отражено в технологической матрице. | ||
|
Подготовительный этап | |||
|
Составление тестовых заданий |
Требования к составу и качеству заданий существенно не различаются и определяются общими требованиями к тестовым заданиям. | ||
|
Экспертиза тестовых заданий |
Существенно не отличается. | ||
|
Построение выборки для апробации заданий и тестов |
Более жесткие требования к объему и балансу выборки, определяемые требованиями расчета статистических норм. |
Более мягкие требования к объему и балансу выборки, определяемые требованиями отработки качества тестовых заданий. | |
|
Компоновка заданий для апробации |
Требования к компоновке заданий для апробации существенно не отличаются. Определяются способом предъявления. | ||
|
Исследовательский этап | |||
|
Апробация тестовых заданий |
В том числе для определения трудности и дискриминативности. |
Для отработки содержания заданий. | |
|
Определение и расчет показателей тестовых заданий |
Существенно не отличаются. | ||
|
Отбраковка заданий и составление теста |
Отбираются задания с максимальной дискриминативностью. Слишком простые и слишком сложные задания исключаются. |
Отбираются задания, максимально Покрывающие исследуемую область критерия. Сложные и простые задания включаются в тест. | |
|
Апробация теста |
Существенно не отличается | ||
|
Определение и расчет показателей качества теста |
Существенно не отличаются | ||
|
Составление окончательного варианта теста |
Отличия определяются целями и особенностями разработанных технологических матриц. | ||
|
Стандартизационный этап | |||
|
Стандартизация теста |
Определяется уровнем использования теста | ||
|
Нормирование |
Статистические нормы, рассчитываемые для нормативной выборки, или определение места обучающегося относительно других обучающихся, принимавших участие в тестировании. |
Описание критерия достижения результата или описание тех учебных задач, с которыми обучающийся должен справиться. | |
|
Интерпретационный этап | |||
|
Разработка схем интерпретации результатов тестирования |
Определяется целями тестирования и особенностями оценочной схемы. | ||
Далее рассмотрим каждый из этапов создания теста подробнее.