Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

Белобородов Надежност тестов 2012

.pdf
Скачиваний:
3
Добавлен:
12.11.2022
Размер:
583.9 Кб
Скачать

Видно, что погрешность отсчета может превосходить погрешность показания при небольшом количестве заданий.

Рис. 2.6. Зависимость погрешности измерения от способности испытуемого, n = 100

Для повышения точности определения способности отдельного испытуемого следует создавать индивидуально подобранные последовательности заданий с трудностями, близкими к искомой способности. На этом принципе может быть основано компьютерное адаптивное тестирование, использование которого сокращает количество предъявляемых заданий и время тестирования при увеличении точности результата.

ПРИЛОЖЕНИЯ

Приложение 1

В справочнике [4] имеются дополнительные к рассмотренным формулы для расчета надежности тестов в рамках классической теории надежности. Приводятся ссылки на следующих авторов: Дж. Наннелли, П. Клайн, Р. Кэттелл, Дж. Гилфорд и др.

Вот некоторые формулы, приведенные в справочнике [4].

1. Надежность длинного теста из надежности коротких тестов (уточнение формулы Спирмена–Брауна):

31

 

 

 

 

 

x

σ

x

 

r

 

 

 

 

 

 

 

 

 

 

 

 

rt = σ 2 +σ

 

 

 

 

t

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

+2σ σ r,

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x

 

 

x

2

 

 

 

 

 

 

x

x

t

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

1

 

2

 

 

 

 

 

 

r

– надежность «короткого» теста.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

t

2. Формула Кристофа (для малых выборок):

 

 

 

 

 

 

 

2

+ n 3

 

 

 

 

 

 

 

 

σ

x2

r

 

 

 

 

 

r =

 

 

 

 

 

 

 

 

 

 

 

x1

 

t

 

 

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

t

n 1 n 1 σ

 

2

+

σ

 

 

2

+

 

σ

r

 

 

 

 

x

 

x

 

 

 

 

 

 

 

 

 

x

 

 

 

 

2

 

 

 

 

 

 

x t

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

1

 

2

 

3. Формула Рюлона (другая):

rt =1σ2 ,

σ2x

где σ2 – дисперсия разностей между результатами каждого испы-

туемого по двум половинам теста.

4. Кудер–Ричардсон (альтернативная формула):

r =

σ2x pq

+

rpb2 pq

+

σ2x pq

 

,

2

2

t

 

2

 

 

 

 

x

 

σx

 

x

 

 

где rpb – точечно-бисериальный коэффициент дискриминативно-

сти (point biserial) задания. Он равен коэффициенту корреляции балла за задание и балла за весь тест.

5. Формула Галиксена для дихотомических заданий:

 

k

 

 

pq

 

rt =

 

 

 

1

 

.

k 1

(rpb pq )2

 

 

 

 

 

 

6. Надежность факторно-дисперсионная. Полная дисперсия теста равна сумме дисперсий для общих, специфических и единичных факторов плюс дисперсия погрешности:

σt2 = σ2a +σb2 +... +σ2n +σ2e ,

где σt2 – дисперсия теста; σt2 , …, σ2n – дисперсия общих, групповых и единичных факторов; σe2 – дисперсия погрешности. Разделим равенство на σt2 :

32

σ2

=

σ2

+σ2

+...

+σ2

+σ2

+b2

+...+e2

,

t

a

b

σt2

n

e =1 = a2

σt2

 

 

 

 

x

x

x

 

где ax2 – доля дисперсии, выраженная общим фактором a и т.д. Таким образом, коэффициент надежности теста равен

rt =1ex2 = ax2 +bx2 +... +nx2 .

Приложение 2

Приведем пример расчета корреляций и надежности диагностического вступительного теста по физике для студентов первого курса. Вычисления проведены в электронной таблице Excel по формулам Спирмена–Брауна и Кронбаха (табл. П.2.1 и П.2.2).

Таблица П.2.1

Оценки поточного тестирования по десяти задачам одного варианта

Балл ЕГЭ

 

 

 

 

 

 

 

 

 

 

 

Школь-

Нечет-

Чет-

1

2

3

4

5

6

7

8

9

10

Сумма

ная

 

(физика)

 

 

 

 

 

 

 

 

 

 

 

оценка

ные

ные

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

66

10

3

3

10

10

7

0

0

0

7

50

5

23

27

2

61

10

10

10

10

10

0

10

0

10

3

73

5

50

23

3

60

10

0

0

0

10

0

10

10

10

7

57

4

40

17

4

63

0

0

10

0

10

0

10

10

3

3

46

4

33

13

5

66

0

0

0

0

10

3

10

10

0

10

43

4

20

23

6

72

10

0

10

3

10

10

0

10

10

10

73

5

40

33

7

45

3

3

3

10

0

0

0

0

0

0

19

4

6

13

8

67

7

10

0

10

10

10

10

10

10

3

80

5

37

43

9

72

3

10

10

10

10

7

10

10

10

3

83

4

43

40

10

73

10

10

10

10

10

10

10

10

7

10

97

4

47

50

11

45

10

0

0

0

0

0

0

0

0

3

13

4

10

3

12

50

10

0

0

0

0

3

10

0

10

0

33

4

30

3

13

77

10

10

10

0

3

0

10

0

10

0

53

4

43

10

33

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Окончание табл. П.2.1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Балл ЕГЭ

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Школь-

Нечет-

Чет-

 

 

1

2

3

4

5

6

7

8

9

 

10

 

Сумма

ная

 

 

(физика)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

оценка

 

ные

ные

 

14

80

 

 

10

10

3

10

3

10

10

10

10

 

7

83

 

4

36

47

 

15

62

 

 

0

0

0

0

10

10

0

10

0

 

10

40

 

5

10

30

 

16

68

 

 

10

7

10

10

10

10

0

0

10

 

3

70

 

5

40

30

 

17

100

 

 

10

7

10

10

10

10

10

10

10

 

10

97

 

5

50

47

 

18

62

 

 

10

3

3

0

0

0

0

0

0

 

0

16

 

4

13

3

 

19

77

 

 

0

0

0

10

10

10

10

10

10

 

3

63

 

5

30

33

 

20

67

 

 

0

0

10

0

0

0

0

0

10

 

3

 

23

 

4

20

3

 

 

Дисперсии 20

20

21

25

20

21

25

26

21

14

696

 

 

 

 

 

 

Сумма по

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

заданиям 217

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Таблица П.2.2

 

 

 

 

Корреляция диагностики, ЕГЭ и школьной оценки

 

 

 

 

 

 

 

Надеж-

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Корреляция

 

 

 

 

 

 

Стандарт-

 

Ошибка

Корреляция с

 

 

 

ность по

 

 

Альфа

 

ное откло-

 

Корреляция

 

половин

Спирмену–

Кронбаха

нение ди-

 

диагно-

школьной

 

с ЕГЭ

 

 

теста

 

 

стики

оценкой

 

 

 

 

 

Брауну

 

 

 

 

 

агностика

 

 

 

 

 

 

 

 

 

 

 

 

0,55

 

0,71

 

 

0,76

 

 

26

 

 

14

0,40

 

0,74

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Вывод 1. Вариант пригоден для диагностических целей (надежность выше 0,7).

Вывод 2. Корреляция диагностики и ЕГЭ выше, чем диагностики и школьной оценки (0,74 > 0,40). Этого следовало ожидать, так как школьная оценка выставляется по шкале, которая определяется объемом и глубиной изучения предмета в конкретной школе.

34

ЛИТЕРАТУРА

1.Robert L. Ebel. Measuring Educational Achievment. PrenticeHall, New Jersey, 1965.

2.Челышкова М.Б. Теория и практика конструирования педагогических тестов. М.: Логос, 2000.

3.In Linn 1989. Educational measurement. Feldt.

4.Бурлачук Л.Ф., Морозов С.М. Словарь-справочник по психодиагностике. СПб.: Питер, 2002

5.Гласс Дж., Стэнли Дж. Статистические методы в педагогике

ипсихологии. М.: Прогресс, 1976.

6.Frank B.Baker, Seock-Ho Kim. Item Response Theory. M.Dekker, NY, 2004.

7.Линда Крокер, Джеймс Алгина. Введение в классическую и современную теорию тестов. М.: Логос, 2010.

35

Владимир Николаевич Белобородов

Надежность тестов

Учебно-методическое пособие

Редактор М.В. Макарова Оригинал-макет изготовлен В.Н. Белобородовым

Подписано в печать 15.11. 2011. Формат 60х84 1/16

Уч.-изд. л. 3,0. Печ. л. 2,25. Тираж 300 экз.

Изд. № 2/49. Заказ № 37.

Национальный исследовательский ядерный университет «МИФИ». 115409, Москва, Каширское шоссе, 31.

ООО «Полиграфический комплекс «Курчатовский». 144000, Московская область, г. Электросталь, ул. Красная, 42