
- •Харьков «хаи» 2007
- •Введение
- •Тестовый метод контроля учебно-познавательной деятельности студентов
- •1.Формы представления компьютерных тестовых заданий
- •1.1.Закрытая форма тестовых заданий
- •1.2.Тестовые задания открытой формы
- •1.3.Тестовые задание на соответствие
- •1.4.Тестовые задания на установление последовательности
- •1.5.Выбор формы тестового задания
- •1.6.Требования к содержанию тестовых заданий
- •Этапы разработки педагогического теста
- •2.Определение целей тестирования
- •3.Проектирование структуры теста
- •4.Оценивание и учет результатов тестирования
- •4.1.Оценивание и учет результатов тестирования
- •4.2.Оценивание и учет результата тестирования в соответствии с уровнем усвоения деятельности
- •4.3.Расчет проходного балла методом Ангоффа
- •4.4.Расчет проходного балла методом Эбеля
- •4.5.Расчет проходного балла методом Хофсти
- •5.Спецификация тестового задания
- •6.Обработка и интерпретация результатов тестирования
- •6.1.Первичная экспертиза теста и тестовых заданий
- •3. Функциональные требования:
- •6.2.Формирование матрицы результатов тестирования
- •6.3.Разработка и анализ корреляционной матрицы
- •Упорядоченная матрица результатов тестирования
- •Корреляционная матрица
- •6.4.Трудность тестового задания
- •6.5.Вычисление распределительной способности тестового задания
- •6.6.Надежность теста
- •6.7.Валидность теста
- •Приложение а. Примеры тестовых заданий закрытой формы
- •Приложение б. Примеры тестовых заданий открытой формы
- •Приложение в. Примеры тестовых заданий на соответствие
- •Приложение д. Примеры тестовых заданий на установление последовательности
- •Приложение е. Примеры технических дефектов в тестовых заданиях
- •На открытый счет;
- •Против документа.
- •Приложение ж. Уровни усвоения деятельности
- •Приложение з. Примеры учебных целей
- •Приложение и. Примеры расчета коэффициента усвоения
- •Приложение к. Примеры перевода «сырых баллов» в стандартные шкалы
- •Библиографический список
- •Оглавление
- •1. Тестовый метод контроля учебно-познавательной 6
- •1. Этапы разработки педагогического теста 19
4.3.Расчет проходного балла методом Ангоффа
Метод 3. Расчет проходного балла методом Ангоффа [18] выполняется в соответствии с ожидаемым результатом по каждому тестовому заданию. Группа экспертов анализирует каждое тестовое задание и решает, с какой вероятностью маргинальный студент ответит правильно на это тестовое задание. Для тестовых заданий множественного выбора эта вероятность должна быть не менее вероятности угадывания правильного ответа (единица, деленная на количество вариантов ответов). Для облегчения вычисления вероятности эксперты образно представляют себе группу маргинальных тестируемых, состоящую из 100 студентов. Задача экспертов ‑ определить, сколько студентов из этой группы ответили бы правильно на тестовое задание. Сначала каждый эксперт работает самостоятельно, вынося определенное решение. Затем происходит краткое обсуждение каждого тестового задания в группе экспертов. Если результаты разных экспертов колеблются в пределах 10…15%, то переходят к обсуждению следующего тестового задания. Результаты разных экспертов усредняются. В случае если эксперты не единодушны в своем решении, заслушивают по одному обоснованию для высокой и низкой вероятности правильного ответа на тестовое задание, если они обоснованы, вносят поправки и переходят к обсуждению следующего тестового задания.
Если тестовое задание оценивается без поправки на угадывание, то вероятность, с которой студент ответит правильно на тестовое задание, и будет ожидаемым проходным баллом для этого тестового задания. Этот метод можно использовать для нахождения проходного балла тестовых заданий разной сложности.
4.4.Расчет проходного балла методом Эбеля
Метод 4. По методике Эбеля [21] эксперты сначала классифицируют все тестовые задания по группам, а затем выносят предположение о вероятности правильного ответа для каждой группы тестовых заданий. Классифицируются тестовые задания по двум категориям: сложности и значимости. Эбель предложил три уровня сложности: «легкий», «средний», «сложный» и четыре уровня значимости для тестовых заданий: «значимое», «важное», «приемлемое» и «сомнительное».
После классификации тестовых заданий эксперты должны определить возможную вероятность правильных ответов маргинального студента в любой из 12 групп (3•4) тестовых заданий.
Пример классификации тестовых заданий по группам приведен в табл. 2.9.
Таблица 2.9
Классификация тестовых заданий
Значимость ТЗ |
Сложность ТЗ |
||
Легкое |
Среднее |
Сложное |
|
Значимое |
ТЗ: 1, 4, 7, 8, 13 Предположение: 95% правильных ответов |
ТЗ: 11,15, 22 Предположение: 95% правильных ответов |
ТЗ: 21 Предположение: 80% правильных ответов |
Важное |
ТЗ: 2, 6, 9 Предположение: 90% правильных ответов |
ТЗ:10, 14, 20 Предположение: 75% правильных ответов |
ТЗ:16,25 Предположение: 60% правильных ответов |
Приемлемое |
ТЗ: 5 Предположение: 80% правильных ответов |
ТЗ: 12, 18 Предположение: 55% правильных ответов |
ТЗ:19, 23 Предположение: 35% правильных ответов |
Сомнительное |
ТЗ:3 Предположение: 50% правильных ответов |
ТЗ -‑ не определено
|
ТЗ: 17, 24 Предположение: 20% правильных ответов |
После формирования предположений о вероятности правильных ответов для каждой группы заданий эксперты обсуждают полученные результаты. В случае если эксперты не единодушны в своем решении, заслушивают по одному обоснованию за и против рассматриваемого результата. Если они обоснованы, вносят поправки и переходят к обсуждению следующего тестового задания.
Для расчета проходного балла необходимо вероятность правильного ответа для каждой группы тестовых заданий умножить на количество заданий в этой группе и просуммировать полученные результаты для всех 12 групп. Пример расчета проходного балла приведен в табл. 2.10.
Таблица 2.10
Пример вычисления проходного балла
Группы ТЗ |
Процент правильных ответов |
Количество ТЗ |
Ожидаемый зачетный балл для группы ТЗ |
Значимое |
|
|
|
Легкое |
95 |
5 |
0.95·5=4.75 |
Среднее |
85 |
3 |
0.85·3=2.55 |
Сложное |
80 |
1 |
0.8·1=0.8 |
Важное |
|
|
|
Легкое |
90 |
3 |
0.9·3=2.7 |
Среднее |
75 |
3 |
0.75·3=2.25 |
Сложное |
60 |
2 |
0.6·2=1.20 |
Приемлемое |
|
|
|
Легкое |
80 |
1 |
0.8·1=0.8 |
Среднее |
55 |
2 |
0.55·2=1.1 |
Сложное |
35 |
2 |
0.35·2=0.70 |
Сомнительное |
|
|
|
Легкое |
50 |
1 |
0.5·1=0.5 |
Среднее |
- |
0 |
0 |
Сложное |
20 |
2 |
0.2·2=0.4 |
Ожидаемый проходной балл |
17.75 |