Белобородов Надежност тестов 2012
.pdf
Видно, что погрешность отсчета может превосходить погрешность показания при небольшом количестве заданий.
Рис. 2.6. Зависимость погрешности измерения от способности испытуемого, n = 100
Для повышения точности определения способности отдельного испытуемого следует создавать индивидуально подобранные последовательности заданий с трудностями, близкими к искомой способности. На этом принципе может быть основано компьютерное адаптивное тестирование, использование которого сокращает количество предъявляемых заданий и время тестирования при увеличении точности результата.
ПРИЛОЖЕНИЯ
Приложение 1
В справочнике [4] имеются дополнительные к рассмотренным формулы для расчета надежности тестов в рамках классической теории надежности. Приводятся ссылки на следующих авторов: Дж. Наннелли, П. Клайн, Р. Кэттелл, Дж. Гилфорд и др.
Вот некоторые формулы, приведенные в справочнике [4].
1. Надежность длинного теста из надежности коротких тестов (уточнение формулы Спирмена–Брауна):
31
|
|
|
|
|
4σ |
x |
σ |
x |
|
r |
′ |
|
|
|
|
|
|
|
|
|
|
|||
|
|
rt = σ 2 +σ |
|
|
|
|
t |
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
2 |
+2σ σ r′ , |
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
1 |
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x |
|
|
x |
2 |
|
|
|
|
|
|
x |
x |
t |
|
|
|
|
|||
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
1 |
|
2 |
|
|
|
|
|
|
||
r′ |
– надежность «короткого» теста. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
t |
2. Формула Кристофа (для малых выборок): |
|
|
|||||||||||||||||||||
|
|
|
||||||||||||||||||||||
|
|
2 |
+ n −3 |
|
|
|
|
|
|
|
|
4σ |
σ |
x2 |
r′ |
|
|
|
|
|||||
|
r = |
|
|
|
|
|
|
|
|
|
|
|
x1 |
|
t |
|
|
|
. |
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
t |
n −1 n −1 σ |
|
2 |
+ |
σ |
|
|
2 |
+2σ |
|
σ |
r′ |
|
||||||||||
|
|
|
x |
|
x |
|
||||||||||||||||||
|
|
|
|
|
|
|
|
x |
|
|
|
|
2 |
|
|
|
|
|
|
x t |
|
|||
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
1 |
|
2 |
|
|
3. Формула Рюлона (другая):
rt =1− σ2 ,
σ2x
где σ2 – дисперсия разностей между результатами каждого испы-
туемого по двум половинам теста.
4. Кудер–Ричардсон (альтернативная формула):
r = |
σ2x −∑pq |
+ |
∑rpb2 pq |
+ |
σ2x −∑pq |
|
, |
|
2 |
2 |
|||||||
t |
|
2 |
|
|
|
|||
|
2σx |
|
σx |
|
2σx |
|
|
где rpb – точечно-бисериальный коэффициент дискриминативно-
сти (point biserial) задания. Он равен коэффициенту корреляции балла за задание и балла за весь тест.
5. Формула Галиксена для дихотомических заданий:
|
k |
|
|
∑pq |
|
rt = |
|
− |
|
||
|
1 |
|
. |
||
k −1 |
(∑rpb pq )2 |
||||
|
|
|
|
|
|
6. Надежность факторно-дисперсионная. Полная дисперсия теста равна сумме дисперсий для общих, специфических и единичных факторов плюс дисперсия погрешности:
σt2 = σ2a +σb2 +... +σ2n +σ2e ,
где σt2 – дисперсия теста; σt2 , …, σ2n – дисперсия общих, групповых и единичных факторов; σe2 – дисперсия погрешности. Разделим равенство на σt2 :
32
σ2 |
= |
σ2 |
+σ2 |
+... |
+σ2 |
+σ2 |
+b2 |
+...+e2 |
, |
t |
a |
b |
σt2 |
n |
e =1 = a2 |
||||
σt2 |
|
|
|
|
x |
x |
x |
|
где ax2 – доля дисперсии, выраженная общим фактором a и т.д. Таким образом, коэффициент надежности теста равен
rt =1−ex2 = ax2 +bx2 +... +nx2 .
Приложение 2
Приведем пример расчета корреляций и надежности диагностического вступительного теста по физике для студентов первого курса. Вычисления проведены в электронной таблице Excel по формулам Спирмена–Брауна и Кронбаха (табл. П.2.1 и П.2.2).
Таблица П.2.1
Оценки поточного тестирования по десяти задачам одного варианта
№ |
Балл ЕГЭ |
|
|
|
|
|
|
|
|
|
|
|
Школь- |
Нечет- |
Чет- |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
Сумма |
ная |
||||
|
(физика) |
|
|
|
|
|
|
|
|
|
|
|
оценка |
ные |
ные |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
66 |
10 |
3 |
3 |
10 |
10 |
7 |
0 |
0 |
0 |
7 |
50 |
5 |
23 |
27 |
2 |
61 |
10 |
10 |
10 |
10 |
10 |
0 |
10 |
0 |
10 |
3 |
73 |
5 |
50 |
23 |
3 |
60 |
10 |
0 |
0 |
0 |
10 |
0 |
10 |
10 |
10 |
7 |
57 |
4 |
40 |
17 |
4 |
63 |
0 |
0 |
10 |
0 |
10 |
0 |
10 |
10 |
3 |
3 |
46 |
4 |
33 |
13 |
5 |
66 |
0 |
0 |
0 |
0 |
10 |
3 |
10 |
10 |
0 |
10 |
43 |
4 |
20 |
23 |
6 |
72 |
10 |
0 |
10 |
3 |
10 |
10 |
0 |
10 |
10 |
10 |
73 |
5 |
40 |
33 |
7 |
45 |
3 |
3 |
3 |
10 |
0 |
0 |
0 |
0 |
0 |
0 |
19 |
4 |
6 |
13 |
8 |
67 |
7 |
10 |
0 |
10 |
10 |
10 |
10 |
10 |
10 |
3 |
80 |
5 |
37 |
43 |
9 |
72 |
3 |
10 |
10 |
10 |
10 |
7 |
10 |
10 |
10 |
3 |
83 |
4 |
43 |
40 |
10 |
73 |
10 |
10 |
10 |
10 |
10 |
10 |
10 |
10 |
7 |
10 |
97 |
4 |
47 |
50 |
11 |
45 |
10 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
3 |
13 |
4 |
10 |
3 |
12 |
50 |
10 |
0 |
0 |
0 |
0 |
3 |
10 |
0 |
10 |
0 |
33 |
4 |
30 |
3 |
13 |
77 |
10 |
10 |
10 |
0 |
3 |
0 |
10 |
0 |
10 |
0 |
53 |
4 |
43 |
10 |
33
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Окончание табл. П.2.1 |
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
№ |
Балл ЕГЭ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Школь- |
Нечет- |
Чет- |
|||
|
|
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
|
10 |
|
Сумма |
ная |
||||||||||
|
|
(физика) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
оценка |
|
ные |
ные |
|
|
14 |
80 |
|
|
10 |
10 |
3 |
10 |
3 |
10 |
10 |
10 |
10 |
|
7 |
83 |
|
4 |
36 |
47 |
|||||
|
15 |
62 |
|
|
0 |
0 |
0 |
0 |
10 |
10 |
0 |
10 |
0 |
|
10 |
40 |
|
5 |
10 |
30 |
|||||
|
16 |
68 |
|
|
10 |
7 |
10 |
10 |
10 |
10 |
0 |
0 |
10 |
|
3 |
70 |
|
5 |
40 |
30 |
|||||
|
17 |
100 |
|
|
10 |
7 |
10 |
10 |
10 |
10 |
10 |
10 |
10 |
|
10 |
97 |
|
5 |
50 |
47 |
|||||
|
18 |
62 |
|
|
10 |
3 |
3 |
0 |
0 |
0 |
0 |
0 |
0 |
|
0 |
16 |
|
4 |
13 |
3 |
|||||
|
19 |
77 |
|
|
0 |
0 |
0 |
10 |
10 |
10 |
10 |
10 |
10 |
|
3 |
63 |
|
5 |
30 |
33 |
|||||
|
20 |
67 |
|
|
0 |
0 |
10 |
0 |
0 |
0 |
0 |
0 |
10 |
|
3 |
|
23 |
|
4 |
20 |
3 |
||||
|
|
Дисперсии 20 |
20 |
21 |
25 |
20 |
21 |
25 |
26 |
21 |
14 |
696 |
|
|
|
|
|||||||||
|
|
Сумма по |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
заданиям 217 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Таблица П.2.2 |
||
|
|
|
|
Корреляция диагностики, ЕГЭ и школьной оценки |
|
|
|
||||||||||||||||||
|
|
|
|
Надеж- |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
Корреляция |
|
|
|
|
|
|
Стандарт- |
|
Ошибка |
Корреляция с |
|
|
||||||||||||
|
ность по |
|
|
Альфа |
|
ное откло- |
|
Корреляция |
|||||||||||||||||
|
половин |
Спирмену– |
Кронбаха |
нение ди- |
|
диагно- |
школьной |
|
с ЕГЭ |
||||||||||||||||
|
|
теста |
|
|
стики |
оценкой |
|
||||||||||||||||||
|
|
|
|
Брауну |
|
|
|
|
|
агностика |
|
|
|
|
|
|
|
|
|
|
|||||
|
|
0,55 |
|
0,71 |
|
|
0,76 |
|
|
26 |
|
|
14 |
0,40 |
|
0,74 |
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Вывод 1. Вариант пригоден для диагностических целей (надежность выше 0,7).
Вывод 2. Корреляция диагностики и ЕГЭ выше, чем диагностики и школьной оценки (0,74 > 0,40). Этого следовало ожидать, так как школьная оценка выставляется по шкале, которая определяется объемом и глубиной изучения предмета в конкретной школе.
34
ЛИТЕРАТУРА
1.Robert L. Ebel. Measuring Educational Achievment. PrenticeHall, New Jersey, 1965.
2.Челышкова М.Б. Теория и практика конструирования педагогических тестов. М.: Логос, 2000.
3.In Linn 1989. Educational measurement. Feldt.
4.Бурлачук Л.Ф., Морозов С.М. Словарь-справочник по психодиагностике. СПб.: Питер, 2002
5.Гласс Дж., Стэнли Дж. Статистические методы в педагогике
ипсихологии. М.: Прогресс, 1976.
6.Frank B.Baker, Seock-Ho Kim. Item Response Theory. M.Dekker, NY, 2004.
7.Линда Крокер, Джеймс Алгина. Введение в классическую и современную теорию тестов. М.: Логос, 2010.
35
Владимир Николаевич Белобородов
Надежность тестов
Учебно-методическое пособие
Редактор М.В. Макарова Оригинал-макет изготовлен В.Н. Белобородовым
Подписано в печать 15.11. 2011. Формат 60х84 1/16
Уч.-изд. л. 3,0. Печ. л. 2,25. Тираж 300 экз.
Изд. № 2/49. Заказ № 37.
Национальный исследовательский ядерный университет «МИФИ». 115409, Москва, Каширское шоссе, 31.
ООО «Полиграфический комплекс «Курчатовский». 144000, Московская область, г. Электросталь, ул. Красная, 42
