- •Кондаков и.М., Романюк э.И., Сорокина о.Л., Шишлянникова л.М. Разработка тестовых заданий для анализа знаний студентов
- •Глава 1. Психодиагностика в свете когнитивных наук 3
- •Глава 2. Разработка заданий тестов достижений 21
- •Глава 3. Обзор основных понятий общей теории педагогических измерений. 29
- •Глава 4. Основные психометрические характеристики тестов 35
- •Глава 5. Обработка результатов тестирования с помощью статистического пакета spss for windows 47
- •Глава 1. Психодиагностика в свете когнитивных наук
- •1.1. Принципы объективного тестирования
- •Классы диагностических средств в образовании
- •Примеры объективных тестов
- •Пример ситуационного теста
- •1.2. Тесты интеллекта и современная когнитивная психология
- •Методика
- •1.3. Тесты способностей и современная когнитивная психология
- •Примеры тестов способностей
- •Методика
- •Методика
- •Методика
- •Методика
- •1.4. Тесты достижений и современная когнитивная психология
- •Пример теста достижений
- •1.5. Использование моделей когнитивной психологии в тестировании знаний
- •Литература к главе 1
- •Глава 2. Разработка заданий тестов достижений
- •2.1. Содержание тестовых заданий
- •2.2. Формы тестовых заданий
- •Примеры тестовых форм
- •2.3. Анализ заданий в тестах достижений
- •Глава 3. Обзор основных понятий общей теории педагогических измерений.
- •3.1. Основные принципы построения педагогического теста.
- •3.2. Основные понятия общей теории измерений.
- •3. Шкала как средство отображения истинных баллов. Типы шкал
- •3.3. Процедура построения теста. Классификация видов педагогических тестов.
- •3.4. История развития теорий педагогических измерений.
- •1. Классическая теория тестов.
- •IV. Классификация теорий педагогических измерений по в.С. Аванесову:
- •1. Общая теория педагогических измерений.
- •4. Специальные математические теории педагогического измерения (Item Analysis; Item Response Theory)
- •Глава 4. Основные психометрические характеристики тестов
- •4.1. Валидность
- •4.2. Надежность
- •Глава 5. Обработка результатов тестирования с помощью статистического пакета spss for windows 11.5.0
- •5.1. Частотный анализ
- •5.2. Тест хи-квадрат
- •5.3. Непараметрические тесты
- •3.1. Сравнение двух независимых выборок
- •3.2. Сравнение двух зависимых выборок
- •3.3. Сравнение более чем двух независимых выборок
- •3.4. Сравнение более чем двух зависимых выборок
- •3.5. Тест Колмогорова-Смирнова
- •3.6. Отдельный тест по критерию хи-квадрат
- •3.7. Биноминальный тест
- •3.8.Анализ последовательностей
- •4. Корреляции
- •4.1. Коэффициент корреляции по Пирсону
- •4.2. Ранговые коэффициенты корреляции по Спирмену и Кендалу
- •4.3. Частная корреляция
- •4.4. Мера расстояния и мера сходства
- •5.5. Факторный анализ
- •5.6. Анализ пригодности
- •6.1. Задания типа верно – не верно
- •1. Descriptives for (Дескриптивные (описательные) статистики для)
- •2. Summaries (Итоги, общие сведения)
- •3. Inter-Item (Между пунктами)
- •6.2. Задания со ступенчатыми ответами (шкала Лайкерта)
5.6. Анализ пригодности
Анализ пригодности (а также: анализ вопросов или анализ заданий) помогает подбирать вопросы (задания) для тестов. При помощи разнообразных критериев устанавливается, какие задания подходят для определённого теста, а какие нет.
Для этой цели некоторой совокупности (выборке) респондентов предлагают предварительный вариант теста со всеми предполагаемыми заданиями и проводят анализ этих заданий. При помощи этого анализа исключают неподходящие задания, а оставшиеся включают в итоговую форму теста. Тесты подразделяются в зависимости от вида исследуемого личностного признака, а именно выделяются тест уровня образованности, тест способностей и личностный тест. Тестовое задание состоит преимущественно из двух частей: проблемы или вопроса и варианта решения проблемы или ответа.
Следует понимать разницу между заданиями, для которых считается правильным только один ответ, а другие — неправильными, и заданиями со ступенчатым ответом. Примерами пунктов, построенными по принципу верно — не верно могут служить следующие пункты:
· Покупаете ли вы дорогую одежду (да — нет)?
· Является ли кит представителем семейства млекопитающих (верно — неверно)?
Возможны также и задания с множественными ответами:
· Кем по национальности был Альфред Нобель (немец — швейцарец — швед — австриец — датчанин)?
Задания со ступенчатым вариантом ответа построены иначе. Исследуемый личностный признак оценивается при помощи ответов, указывающих на силу проявления признака, к примеру:
· Я теряю самообладание (никогда — редко — иногда — часто).
Для оценки таких ответов каждому варианту ответа присваивается некоторый количественный показатель (как правило, 1, 2, 3 ...).
6.1. Задания типа верно – не верно
Для оценки пригодности отдельных пунктов следует применять индекс сложности и коэффициент избирательности.
Индекс сложности. В простейшем случае он представляет собой долю правильных ответов на данный вопрос, взятую в процентах от общего количества ответов. Для вопросов с несколькими возможными ответами и ступенчатыми ответами существуют модифицированные формулы. Для сложных вопросов индекс сложности принимает малые значения, а для лёгких большие. Вопросы с низким и высоким индексом сложности считаются не желательными.
Коэффициент избирательности. Коэффициентом избирательности, который является важным критерием для оценки применимости вопроса, служит корреляционный коэффициент между ответом на вопрос и суммарным показателем теста. В качестве суммарного показателя теста берётся сумма всех ответов. Это означает, что все правильные ответы должны иметь одинаковый знак! К сожалению, этому важному обстоятельству в справочниках уделяется не достаточно внимания.
Для определения корреляционного коэффициента SPSS использует коэффициенты Пирсона (см. раздел 4.1).
Непригодные для применения пункты обычно отбираются посредством сравнения индексов сложности и избирательности. Самым простым способом является отбор сначала тех вопросов, которые обладают индексом сложности ниже 20 или выше 80, а затем из списка оставшихся вопросов исключаются те, которые имеют самые низкие коэффициенты избирательности.
Коэффициент пригодности является важным критерием для оценки результата теста. Он является мерой точности, с которой проводится тестирование некоторого признака. SPSS предлагает для этой цели множество методов; по умолчанию устанавливается альфа Кронбаха (Cronbach's Alpha) со значением, модуль которого находится между 0 и 1.
Это можно сделать посредством выбора меню Transform (Трансформировать) Recode (Перекодировать) Into same Variables... (В те же переменные)
После перекодировки выберите в меню Analyze (Анализ) Scale (Масштабировать) Reliability Analysis... (Анализ пригодности) Откроется диалоговое окно Reliability Analysis (рис. 4.87).
Переменные a-am поместите в поле пунктов (Items:). Затем из числа предлагаемых методов расчёта коэффициентов пригодности необходимо выбрать подходящий:
· Alpha (Альфа): Альфа Кронбаха (при дихотомических пунктах используется формула Кудера-Ричардсона 20 (Kuder-Richardson- Formula 20))
· Split-half (Расщепление на две половины): Определение пригодности с расщеплением на две половины по Спирману-Брауну (Spearman-Brown)
· Guttman (Гуттман): Определение нижней границы пригодности Гуттмана
· Parallel (Парралельно): Оценка максимального правдоподобия пригодности теста при условии наличия одинаковых дисперсий пунктов
· Strict parallel (Строго параллельно): Оценка максимального правдоподобия пригодности теста при условии наличия одинаковых средних значений пунктов и одинаковых дисперсий пунктов.
Оставьте предварительную установку Alpha (Альфа) и щёлкните на выключателе Statistics...(Статистики). Откроется диалоговое окно Reliability AnalysisStatistics. Вы можете произвести следующие виды расчётов: