
- •Кондаков и.М., Романюк э.И., Сорокина о.Л., Шишлянникова л.М. Разработка тестовых заданий для анализа знаний студентов
- •Глава 1. Психодиагностика в свете когнитивных наук 3
- •Глава 2. Разработка заданий тестов достижений 21
- •Глава 3. Обзор основных понятий общей теории педагогических измерений. 29
- •Глава 4. Основные психометрические характеристики тестов 35
- •Глава 5. Обработка результатов тестирования с помощью статистического пакета spss for windows 47
- •Глава 1. Психодиагностика в свете когнитивных наук
- •1.1. Принципы объективного тестирования
- •Классы диагностических средств в образовании
- •Примеры объективных тестов
- •Пример ситуационного теста
- •1.2. Тесты интеллекта и современная когнитивная психология
- •Методика
- •1.3. Тесты способностей и современная когнитивная психология
- •Примеры тестов способностей
- •Методика
- •Методика
- •Методика
- •Методика
- •1.4. Тесты достижений и современная когнитивная психология
- •Пример теста достижений
- •1.5. Использование моделей когнитивной психологии в тестировании знаний
- •Литература к главе 1
- •Глава 2. Разработка заданий тестов достижений
- •2.1. Содержание тестовых заданий
- •2.2. Формы тестовых заданий
- •Примеры тестовых форм
- •2.3. Анализ заданий в тестах достижений
- •Глава 3. Обзор основных понятий общей теории педагогических измерений.
- •3.1. Основные принципы построения педагогического теста.
- •3.2. Основные понятия общей теории измерений.
- •3. Шкала как средство отображения истинных баллов. Типы шкал
- •3.3. Процедура построения теста. Классификация видов педагогических тестов.
- •3.4. История развития теорий педагогических измерений.
- •1. Классическая теория тестов.
- •IV. Классификация теорий педагогических измерений по в.С. Аванесову:
- •1. Общая теория педагогических измерений.
- •4. Специальные математические теории педагогического измерения (Item Analysis; Item Response Theory)
- •Глава 4. Основные психометрические характеристики тестов
- •4.1. Валидность
- •4.2. Надежность
- •Глава 5. Обработка результатов тестирования с помощью статистического пакета spss for windows 11.5.0
- •5.1. Частотный анализ
- •5.2. Тест хи-квадрат
- •5.3. Непараметрические тесты
- •3.1. Сравнение двух независимых выборок
- •3.2. Сравнение двух зависимых выборок
- •3.3. Сравнение более чем двух независимых выборок
- •3.4. Сравнение более чем двух зависимых выборок
- •3.5. Тест Колмогорова-Смирнова
- •3.6. Отдельный тест по критерию хи-квадрат
- •3.7. Биноминальный тест
- •3.8.Анализ последовательностей
- •4. Корреляции
- •4.1. Коэффициент корреляции по Пирсону
- •4.2. Ранговые коэффициенты корреляции по Спирмену и Кендалу
- •4.3. Частная корреляция
- •4.4. Мера расстояния и мера сходства
- •5.5. Факторный анализ
- •5.6. Анализ пригодности
- •6.1. Задания типа верно – не верно
- •1. Descriptives for (Дескриптивные (описательные) статистики для)
- •2. Summaries (Итоги, общие сведения)
- •3. Inter-Item (Между пунктами)
- •6.2. Задания со ступенчатыми ответами (шкала Лайкерта)
3. Шкала как средство отображения истинных баллов. Типы шкал
Исходным материалом для выявления истинного балла испытуемых являются сырые баллы испытуемых, полученные в результате тестирования. Процедуру интерпретации результатов тестирования должна предварять процедура выравнивания или перевода сырых баллов в одну из стандартных шкал, используемых в педагогических измерениях.
Шкала - средство фиксации результатов измерений путем упорядочения их в определенную систему чисел, в которой отношения между отдельными результатами выражены некоторыми числовыми значениями.
Традиционно существуют 4 типа шкал (две дискретные шкалы: номинальная и порядковая; 2 непрерывные шкалы: интервальная и шкала отношений)
В математической теории педагогических измерений IRT после обработки исходных сырых баллов тестируемых некоторой итерационной процедурой получают оценки уровней знаний испытуемых и трудностей заданий, выраженные значениями на одной и той же специальной шкале логитов, относящейся к типу шкалы отношений.
3.3. Процедура построения теста. Классификация видов педагогических тестов.
Выше было определено, что первым этапом оценки истинного балла ученика является выполнение им теста. Процесс построения правильного теста является довольно трудоемким. На первом этапе формируются задания в тестовой форме или предтестовые задания по данной дисциплине. Большое значение здесь играет правильный выбор содержательной части этих заданий. Обычно выбор содержания оценивается впоследствии независимыми экспертами.
Затем определенным образом оцениваются задания в тестовой форме и из этого множества формируется набор тестовых заданий. Затем формируется тест.
Рассмотрим подробнее все эти понятия и этапы формирования теста.
1. По форме все известные в теории и практике тестовые задания можно разделить на четыре основные группы.
Первую форму образуют задания с выбором одного или нескольких правильных ответов. Если к заданиям даются готовые ответы на выбор (обычно один правильный, остальные неправильные), то такие задания лучше называть заданиями с выбором одного правильного ответа. Задания с выбором нескольких правильных ответов труднее по содержанию. Этим заданиям предшествует инструкция — «Обвести кружком номера всех правильных ответов»
Вторую форму образуют задания, в которых правильный ответ надо дописать, обычно это одно слово или один знак. Заданиям этой формы предшествует стандартная инструкция — «Дополнить»
Третью форму образуют задания, состоящие из элементов двух столбцов. Таким заданиям предшествует инструкция — «Установить соответствие»
Четвертую форму образуют задания процессуального или алгоритмического толка. Каждому заданию предшествует инструкция — «Установить правильную последовательность». Испытуемый ставит цифры рангов в прямоугольниках, стоящих слева перед каждым элементом задания.
Cформировав набор тестовых заданий в одной или нескольких из этих форм, их проверяют на соответствие следующим требованиям:
- краткость;
- технологичность;
- правильность формы;
- логическая форма высказывания;
- одинаковость правил оценки ответов;
- наличие определённого места для ответов;
- правильность расположения элементов задания;
- одинаковость инструкции для всех испытуемых;
- адекватность инструкции форме и удержанию задания.
2. Затем из сформированного набора предтестовых заданий выбираются тестовые задания. Далеко не каждое предтестовое задание может быть тестовым. Предтестовое задание превращается в тестовое после доведения его характеристик до уровня, соответствующего определенным научно обоснованным критериям качества.
Тестовое задание — это составная единица теста, отвечающая перечисленным выше требованиям формы, содержания и, кроме того, статистическим требованиям:
1) известной трудности;
2) достаточной вариации тестовых баллов;
3) положительной корреляции баллов задания с баллами по всему тесту.
Таким образом, для формирования тестовых заданий необходимы многократные эмпирические проверки предтестовых заданий, сопровождаемые обработкой и интерпретацией эмпирических результатов, и их переработка до тех пор, пока они не обретут статус тестовых.
3. Наличие достаточного числа тестовых заданий, полученных в результате обязательной эмпирической апробации заданий в тестовой форме, позволяет перейти к разработке теста как системы, обладающей целостностью, составом и структурой.
Исследование системообразующих характеристик тестового задания проводится методами корреляционного, факторного и латентно-структурного анализа
Педагогический тест — это система тестовых заданий возрастающей трудности, специфической формы, определённого содержания, создаваемая с целью аргументированной оценки уровня и структуры подготовленности обучаемых
Уровень и структура знаний выявляются при анализе ответов каждого ученика на все задания теста. Чем больше правильных ответов, тем выше индивидуальный тестовый балл испытуемых Обычно этот тестовый балл ассоциируется с понятием «уровень знаний» и проходит процедуру уточнения на основе той или иной модели педагогического измерения.
Один и тот же уровень знаний может быть получен за счет ответов на различные задания. Например, в тесте из тридцати заданий испытуемый получил десять баллов. Можно предположить, что эти баллы, были получены за счет правильных ответов на первые десять сравнительно легких заданий. Полученную в этом случае последовательность единиц, а затем нулей называют правильным профилем знаний
Если же обнаруживается противоположная картина, когда испытуемый правильно отвечает на трудные задания и неправильно — на легкие, то это противоречит логике теста, и потому такой профиль знаний можно назвать инвертированным. Он встречается редко и чаще всего по причине ошибочности теста.