
- •Кондаков и.М., Романюк э.И., Сорокина о.Л., Шишлянникова л.М. Разработка тестовых заданий для анализа знаний студентов
- •Глава 1. Психодиагностика в свете когнитивных наук 3
- •Глава 2. Разработка заданий тестов достижений 21
- •Глава 3. Обзор основных понятий общей теории педагогических измерений. 29
- •Глава 4. Основные психометрические характеристики тестов 35
- •Глава 5. Обработка результатов тестирования с помощью статистического пакета spss for windows 47
- •Глава 1. Психодиагностика в свете когнитивных наук
- •1.1. Принципы объективного тестирования
- •Классы диагностических средств в образовании
- •Примеры объективных тестов
- •Пример ситуационного теста
- •1.2. Тесты интеллекта и современная когнитивная психология
- •Методика
- •1.3. Тесты способностей и современная когнитивная психология
- •Примеры тестов способностей
- •Методика
- •Методика
- •Методика
- •Методика
- •1.4. Тесты достижений и современная когнитивная психология
- •Пример теста достижений
- •1.5. Использование моделей когнитивной психологии в тестировании знаний
- •Литература к главе 1
- •Глава 2. Разработка заданий тестов достижений
- •2.1. Содержание тестовых заданий
- •2.2. Формы тестовых заданий
- •Примеры тестовых форм
- •2.3. Анализ заданий в тестах достижений
- •Глава 3. Обзор основных понятий общей теории педагогических измерений.
- •3.1. Основные принципы построения педагогического теста.
- •3.2. Основные понятия общей теории измерений.
- •3. Шкала как средство отображения истинных баллов. Типы шкал
- •3.3. Процедура построения теста. Классификация видов педагогических тестов.
- •3.4. История развития теорий педагогических измерений.
- •1. Классическая теория тестов.
- •IV. Классификация теорий педагогических измерений по в.С. Аванесову:
- •1. Общая теория педагогических измерений.
- •4. Специальные математические теории педагогического измерения (Item Analysis; Item Response Theory)
- •Глава 4. Основные психометрические характеристики тестов
- •4.1. Валидность
- •4.2. Надежность
- •Глава 5. Обработка результатов тестирования с помощью статистического пакета spss for windows 11.5.0
- •5.1. Частотный анализ
- •5.2. Тест хи-квадрат
- •5.3. Непараметрические тесты
- •3.1. Сравнение двух независимых выборок
- •3.2. Сравнение двух зависимых выборок
- •3.3. Сравнение более чем двух независимых выборок
- •3.4. Сравнение более чем двух зависимых выборок
- •3.5. Тест Колмогорова-Смирнова
- •3.6. Отдельный тест по критерию хи-квадрат
- •3.7. Биноминальный тест
- •3.8.Анализ последовательностей
- •4. Корреляции
- •4.1. Коэффициент корреляции по Пирсону
- •4.2. Ранговые коэффициенты корреляции по Спирмену и Кендалу
- •4.3. Частная корреляция
- •4.4. Мера расстояния и мера сходства
- •5.5. Факторный анализ
- •5.6. Анализ пригодности
- •6.1. Задания типа верно – не верно
- •1. Descriptives for (Дескриптивные (описательные) статистики для)
- •2. Summaries (Итоги, общие сведения)
- •3. Inter-Item (Между пунктами)
- •6.2. Задания со ступенчатыми ответами (шкала Лайкерта)
Примеры тестовых форм
1. Выберите правильный вариант ответа.
Зрительный анализатор - вид анализатора, работающий на основе превращения в зрительные ощущения энергии электромагнитного излучения светового диапазона в пределах от:
а) 30 до 100 нанометров, б) 100 до 300 нанометров, в) 300 до 1000 нанометров, г) 3000 до 10000 нанометров
Ответ: в
2. Выберите правильный вариант ответа.
«Метод зрительного предпочтения», основанный на предположении, что дети проявляют свой интерес в том, что рассматривают какой-то один какой-то признак дольше, чем другой, разработал.
а) Дж.Гибсон, б) Р.Франц, в) Ж.Пиаже, г) Р.Грегори
Ответ: б
3. Выберите правильный вариант ответа.
Вид анализатора, за счет работы которого осуществляется анализ и синтез сигналов, идущих от органов движения, называется:
а) кинестезическим, б) соместетическим, в) ноцицептивным, г) висцеральным
Ответ: а
При создании заданий такой формы следует руководствоваться следующими рекомендациями.
1. Задание должно быть записано настолько просто, насколько это возможно для его точного понимания. В тексте задания должна быть устранена всякая двусмысленность и неясность формулировок. Нежелательно чтобы на результаты оказывали влияние уровень словарного запаса испытуемого или его общие способности.
2. Основная часть задания формулируется кратко и включает, как правило, одно предложение из семи-восьми слов. В сравнении с вариантами ответов в сам вопрос следует включать как можно больше слов, оставляя для ответов не более двух-трех наиболее важных слов.
3. Только один вариант из предложенных выборов должен соответствовать правильному ответу.
4. Все ответы к одному заданию должны быть приблизительно одной длины. Из ответов исключаются все повторяющиеся слова путем ввода их в текст вопроса.
5. Частота выбора одного и того же порядкового номера для правильного ответа в различных заданиях теста должна быть примерно одинакова либо этот номер выбирается в случайном порядке. Все неверные варианты ответов (дистракторы) к каждому заданию должны быть равновероятно привлекательными для испытуемых, не знающих правильного ответа - в идеале каждый дистрактор должен в равной мере использоваться всеми испытуемыми, не выполнившими данное задание правильно. Ни один из дистракторов не должен являться частично правильным ответом, превращающимся при дополнительных условиях в правильный ответ.
6. Ответ на один вопрос не должен давать ключа к ответам на другие. В частности, не следует использовать дистракторы из одного задания в перечне других.
7. Следует как можно реже использовать отрицания в основной части вопроса, т.к. часто это приводит к противоречиям при чтении задания.
8. Использование выражений «ни один из перечисленных» или «все перечисленные» является нежелательным. В целом, в ответах не рекомендуется использовать слова «все», «ни одного», «никогда», «всегда» и т. п., так как иногда они способствуют угадыванию правильного ответа.
При увеличении числа дистракторов уменьшается вероятность угадывания правильного ответа. В силу трудности разработки их число редко бывает больше пяти, но чтобы снизить эффект угадывания рекомендуется использовать все же не менее четырех вариантов ответов. Один из методов получения правдоподобных дистракторов — предъявление группе испытуемых заданий в открытой форме и последующий анализ типичных ошибок учащихся в составленных ими ответах. Мера их привлекательности оценивается после первой эмпирической проверки на любой репрезентативной выборке с помощью подсчета долей учеников, выбравших каждый из дистракторов в качестве правильного ответа. Эти доли должны быть одинаковыми для каждого дикстрактора. Если на вопрос с пятью вариантами ответов 12 учащихся ответили неверно, то каждый из четырех дистракторов должны выбрать 3 ученика. При существенном смещении одной из долей в сторону уменьшения или увеличения задание теста подлежит переработке.
Случайное угадывание правильного ответа. Случайное угадывание искажает показатели по тесту. В таком случае требуется следующее:
1. Ввести требование угадывать ответы: «Не пропускайте ответы на вопросы. Если вы не знаете ответа или не уверены в его правильности, попытайтесь угадать правильное решение».
2. Перед подсчетом показателей по тесту тестолог может ответить на все пропущенные испытуемыми вопросы произвольным образом, что будет эквивалентно случайному угадыванию.
Если будут выполнены действия (1) и (2), все показатели будут искажены случайным угадыванием.
Преимущества. Задания с несколькими вариантами выбора являются наиболее широко используемым типом заданий в тестах достижений, поскольку, по сравнению с заданиями других типов имеют целый ряд преимуществ:
1. Каждое задание может быть сделано высоко надежным. Поскольку возможен только один правильный ответ, отсутствуют факторы снижения надежности, связанные с субъективными оценками лиц, проводящих обследование. Это свойство, по определению, присуще и другим объективным заданиям.
2. Для таких заданий очень легко вычислять показатели. Это очень важно, особенно в больших по размерам тестах, а величина тестов влияет на их надежность. Они не только более надежны, но в тестах достижений и способностей позволяют охватить большие области, чем тесты с небольшим количеством заданий.
Задания с двумя ответами, или альтернативные задания. Одним из подвидов заданий закрытой формы с множественным выбором являются задания с выбором из двух вариантов. Это форма задания, которое обычно содержит некоторое утверждение, которое испытуемый должен оценить как истинное или ложное («да» или «нет»). Однако в заданиях такого типа существует ряд сложностей, из-за чего их использование очень ограничено:
1. Вероятность случайного угадывания правильного ответа составляет 50%, что, конечно же, влияет на показатели по тесту, если этот тест не является предельно длинным.
2. Довольно трудно формулировать утверждения, на которые можно дать недвусмысленный ответ «да» или «нет».
3. То, что истинно или ложно, может оказаться тривиальным. Таким образом, задания, адекватные с точки зрения психометрии, могут оказаться содержательно слабыми.
В силу этого, альтернативные задания не представляются как полезные. Основной недостаток - случайное угадывание правильных ответов. Обычно могут быть сформулированы сравнимые с ними и более эффективные задания типа выбора вариантов. Однако, благодаря простоте, с которой данная форма заданий может быть применена для опроса понимания учебного материала, они засуживают использования в рамках самотестирования или экспресс-диагностики.
Задания открытой формы на дополнение. В заданиях на дополнение готовые ответы не даются, их должен ввести сам учащийся. К заданиям такого типа прилагается стандартная инструкция: «вставьте слово или словосочетание».
Два примера из «Общей психологии»:
Примеры тестовых форм
1. Вставьте пропущенное слово.
(…) периоды развития - возрастные интервалы индивидуального развития, при прохождении которых внутренние структуры наиболее чувствительны к специфическим влияниям окружающего мира.
Ответ: Сензитивные
2. Вставьте пропущенное слово.
(…) - воспроизведение спустя некоторое время после запоминания того, что при непосредственном воспроизведении было недоступно.
Ответ: реминисценция
Задания на дополнение бывают двух видов. Первый — с ограничениями, налагаемыми на ответы. Отличительная особенность заданий с ограничениями на дополняемые ответы заключается в том, что они должны порождать только один, запланированный разработчиком правильный ответ. Второй — задания со свободно конструируемыми ответами, в которых учащиеся должны составить развернутый ответ в виде полного решения задачи с пояснениями или дать ответ в виде микросочинения — эссе. В заданиях с ограничениями заранее определяется, что однозначно считается правильным ответом, и задается степень полноты представления ответа. Обычно он бывает достаточно кратким — одно слово, число, символ и т.д. При этом регламентированная краткость ответов выдвигает определенные требования к сфере применения, поэтому задания первого вида в основном используются для оценки достаточно узкого круга умений учеников. Обычно с их помощью проверяют умения воспроизводить и применять знания в знакомой ситуации, а также выявляют уровень понимания изученного материала.
Задания с множественным выбором на установление соответствия. Это третья категория заданий, в которой испытуемому предлагается восстановить соответствие между элементами двух списков. В заданиях на соответствие проверяется знания связей между элементами двух множеств. Слева обычно приводятся элементы задающего множества, содержащие постановку проблемы, справа — элементы, подлежащие выбору. К заданиям прилагается стандартная инструкция: «установите соответствие».
Два примера из «Общей психологии»:
Примеры тестовых форм
1. Установите соответствия между метрической шкалой и ее свойствами
1. Номинальная шкала |
а) допускает операции: установления равенства – неравенства, больше – меньше, равенства – неравенства интервалов и равенства – неравенства отношений |
2. Порядковая шкала |
б) элементы группируются в отдельные классы в соответствии с выраженностью признака, при этом используется единица измерения, в качестве точки отсчета рассматривается 0 |
3. Интервальная шкала |
в) допускает операции: установления равенства – неравенства, больше – меньше и равенства – неравенства интервалов |
4. Шкала отношений |
г) элементы группируются в отдельные классы, которые получают номера или названия, не имеющие количественного выражения |
|
д) допускает лишь операцию установления равенства – неравенства |
|
е) элементы группируются в отдельные классы в соответствии с выраженностью признака, при этом используется единица измерения, но точка отсчета выбирается достаточно произвольно |
|
ж) допускает операции: установления равенства – неравенства и больше – меньше, т.е. позволяет ранжировать элементы |
|
з) элементы группируются в отдельные классы в соответствии с выраженностью признака, но при этом не используется единица измерения |
Ответ: 1 г 1д 2з 2ж 3е 3в 4б 4а
2. Установите соответствия между теорией цветового зрения и ее особенностями
1. Теория Юнга и Г.Гельмгольца |
а) цветоразличение объяснялось процессами диссимиляции и ассимиляции, происходящими в трех типах клеток сетчатки, ответственных за восприятие трех качеств (красное-зеленое, желтое-синее, затем была добавлена оппозиция белое-черное) |
2. Теория Э.Геринга |
б) в ней предполагается, что в зрительной сетчатке существуют три вида рецепторов (колбочек), избирательно реагирующих или только на красный цвет, или только на зеленый, или только на синий |
|
в) трехкомпонентная теория |
|
г) теория оппонентских цветов |
Ответ: 1в 1б 2г 2а
Фактически данная форма заданий является модификацией задания закрытой формы с множественным выбором, где количество выборов сокращается по мере установления связей. При этом может быть использованы две системы оценивания правильности ответов на соответствия. В одном случае, оценивается каждая правильно установленная пара, в другом – лишь абсолютно правильно сделанное задание (когда все пары установлены правильно).
Задания на установление правильной последовательности. Тестовые задания четвертой формы предназначены для оценки уровня владения последовательностью действий, процессов и т.п. В заданиях приводятся в случайном порядке действия, процессы, элементы, связанные с определенной задачей. Ученик должен установить правильный порядок предложенных действий и указать его с помощью цифр в специально отведенном для этого месте. Стандартная инструкция к заданиям четвертой формы имеет вид: «Установите правильную последовательность».
Задания на установление правильной последовательности довольно специфичны — содержание большинства дисциплин поддается с трудом, а то и не поддается вовсе переводу в четвертую форму.
Рекомендации. Хотя в одном тесте достижений может быть собрано несколько различных форм заданий, лучше, когда в тесте используется лишь одна форма. Так, это желательно при итоговом контроле, когда на первый план выходят вопросы достижения точности и сопоставимости оценок. В противном случае приходится использовать специальные методы выравнивания вкладов заданий разных форм в итоговый балл учеников при подведении итогов по тесту.
При выборе формы заданий следует учитывать ряд моментов.
1. Специфические факторы. При принятии решения, какой тип задания использовать, следует помнить о влиянии специфических факторов. Если тест состоит из заданий одного типа, возникает опасность влияния некоторого специфического фактора, связанного с этой частной формой задания. Таким образом, разнообразие типов заданий желательно.
2. Утомление. Источником ошибок при тестировании часто является утомление, особенно в тестах, в работе с которыми необходимы усилия по концентрации, сосредоточению внимания. Разнообразие заданий, вероятно, сделает тест менее монотонным для испытуемых.
3. Эффективность заданий. Основные моменты в конструировании заданий могут быть сформулированы следующим образом:
а) Тип задания с вариантами выбора является стандартным заданием, которое подходит к большинству учебных дисциплин.
б) Для получения подробной фактической информации, связанной с содержанием заданий (когда интересует большое количество подробной информации), тест включает в себя задания на установление соответствия и альтернативные задания (да-нет).
в) Для тестирования понимания материала, представленного в вопросе, полезны альтернативные задания.
г) Имеет смысл разрабатывать тест с заданиями всех типов, хотя и нет необходимости иметь одинаковое количество заданий каждого типа.
4. Упорядочивание заданий теста. Есть несколько правил для упорядочения заданий при испытаниях теста.
а) Располагайте задания каждого типа вместе, чтобы дать возможность испытуемым приспособиться к данному типу заданий.
б) Располагайте задания в порядке трудности. Это предотвратит случаи, когда слишком старательный испытуемый тратит слишком много времени на задания, которые он не может решить и, таким образом, лишает себя возможности попытаться выполнить другие, по которым он мог бы получить баллы.
в) Располагайте материал настолько случайно, насколько это возможно. Это снижает монотонность и связанное с ней утомление.
г) Не комплектуйте вместе такое количество заданий, что среднему испытуемому для их выполнения потребуется более полутора часов (для взрослых). Для детей период сосредоточения в тестах способностей должен быть еще более ограниченным.