4.2. Стабильность теста

Под стабильностью теста понимают воспроизводимость результатов при его повторении через определенное время в одинаковых условиях. Повторное тестирование обычно называют ретестом. Схема оценки стабильности теста такова:

ВРЕМЕННОЙ

ТЕСТ РЕТЕСТ

ИНТЕРВАЛ

Степень надежности тестов определяется с помощью коэффициентов взаимосвязи, полученных из корреляционного или дисперсионного анализа.

Выбор коэффициента взаимосвязи зависит от типа применяемой шкалы измерений, от числа выполненных попыток (попыткой считается, например, исходное или повторное тестирование) и количества факторов, влияние которых надо исследовать.

Если изучается влияние только одного фактора и при этом количество попыток не более двух, то надежность теста может быть приближенно оценена с помощью коэффициента корреляции между тестом и ретестом. В остальных случаях рекомендуется использовать дисперсионный анализ.

Стабильность теста зависит от:

1. вида теста;

2. контингента испытуемых;

3. временного интервала между тестом и ретестом.

Например, морфологические характеристики при небольших временных интервалах весьма стабильны; наименьшую стабильность имеют тесты на точность движений (например, броски в цель).

У взрослых результаты тестирования более стабильны, чем у детей; у спортсменов – более стабильны, чем у не занимающихся спортом.

С увеличением временного интервала между тестом и ретестом стабильность теста снижается (табл. 3.1).

Таблица 3.1.

Стабильность теста (коэффициент корреляции) при разных временных интервалах (120 испытуемых студентов).

Тест	Ретест сразу по окончании теста	Ретест через 1 месяц
Бег 1000 м	0,94	0,76
Прыжок в длину с места	0,93	0,82

4.3. Согласованность теста

Согласованность характеризуется независимостью результатов тестирования от личных качеств лица, проводящего или оценивающего тест. Согласованность определяется по степени совпадения результатов, полученных на одних и тех же испытуемых разными экспериментаторами, судьями, экспертами. При этом возможны два варианта:

1) лицо, проводящее тест, только оценивает его результаты, не влияя на них. Например, одну и ту же письменную работу разные экзаменаторы могут оценивать по-разному. Нередко различаются оценки судей в гимнастике, фигурном катании на коньках, боксе, показатели ручного хронометрирования, оценка электрокардиограммы или рентгенограммы разными врачами и т.п.;

2) лицо, проводящее тест, влияет на его результаты. Например, некоторые экспериментаторы более настойчивы и требовательны, чем другие, лучше мотивируют испытуемых. Это сказывается на результатах (которые сами по себе могут измеряться вполне объективно).

Согласованность теста – это, по существу, надежность оценки его результатов при проведении теста разными людьми.

Особенно актуальна задача оценки согласованности при количественном определении качественных показателей. Для этого разработаны специальные методы.

4.4. Эквивалентность теста.

Нередко тест выбирают из определенного числа однотипных тестов. Например, броски в баскетбольную корзину можно выполнять с разных точек; спринтерский бег может проводиться на дистанции, скажем, 50, 60 или 100 м; подтягивания можно выполнять на кольцах или перекладине, хватом сверху или снизу и т.п. В таких случаях может использоваться так называемый метод параллельных форм, когда испытуемым предлагают выполнить две разновидности одного и того же теста и затем оценивают степень совпадения результатов. Схема тестирования здесь следующая:

МИНИМАЛЬНЫЙ

ФОРМА АФОРМА Б

ВРЕМЕННОЙ ИНТЕРВАЛ

Рассчитанный между результатами тестирования коэффициент корреляции называют коэффициентом эквивалентности. Отношение к эквивалентности тестов зависит от конкретной ситуации. С одной стороны, если два или больше тестов эквивалентны, их совместное применение повышает надежность оценок; с другой – может оказаться полезным применять только один эквивалентный тест: это упростит тестирование и лишь незначительно снизит информативность батареи тестов. Решение этого вопроса зависит от таких причин, как сложность и громоздкость тестов, степень необходимой точности тестирования и т.п.

Если же тесты, входящие в какой-либо комплекс тестов, высокоэквивалентны, он называется гомогенным. Весь этот комплекс измеряет одно какое-то свойство моторики человека. Скажем, комплекс, состоящий из прыжков с места в длину, вверх и тройного, вероятно, будет гомогенным. Наоборот, если в комплексе нет эквивалентных тестов, то все тесты, входящие в него, измеряют разные свойства. Такой комплекс называется гетерогенным. Пример гетерогенной батареи тестов: подтягивание на перекладине, наклон вперед (для проверки гибкости), бег на 1500 м.

5. Пути повышения надежности теста.

Надежность тестов может быть повышена до определенной степени путем:

а) более строгой стандартизации тестирования;

б) увеличения числа попыток;

в) увеличения числа оценщиков (судей, экспертов) и повышения согласованности их мнений;

г) увеличения числа эквивалентных тестов;

д) лучшей мотивации испытуемых.

Среди упомянутых путей следует выделить, отличающееся высокой эффективностью, повышение надежности путем увеличения длины теста. Удлинение теста достигается увеличением числа попыток, числа испытуемых и того и другого вместе.

При увеличении длины теста в m раз надежность теста r_tt возрастает до величины r⁰_tt, приближенно равной:

m * r_tt

r⁰_tt = – – – – – – .

1 + (m - 1) r_tt

Из этой формулы можно определить, во сколько раз нужно увеличить тест, чтобы получить желаемую надежность r⁰_tt:

r⁰_tt (1 - r_tt)

m = – – – – – .

r_tt (1 - r⁰_tt)

Очевидно, что целесообразно повышать длину теста лишь при не слишком больших величинах m. При значениях m, трудно реализуемых практически, лучше ненадежный тест заменить другим, более надежным.

Образец отчета на III этапе игры

ОТЧЕТ

о работе на III этапе игры

Тема: Оценка надежности теста для контроля за развитием скоростных качеств.

Цели:

1. Ознакомиться с основами теории корреляции.

2. Ознакомиться с основами теории проверки статистических гипотез.

3. Ознакомиться с основами теории надежности тестов.

4. Приобрести навыки вычисления показателя надежности (стабильности) теста.

Краткие теоретические сведения.

Примечание: В этом разделе отчета студент, внимательно прочитав теоретические сведения, в письменной форме отвечает на следующие вопросы:

1. Основы теории корреляции:

1. Функциональная зависимость.

2. Статистическая зависимость.

3. Основные задачи теории корреляции.

4. Корреляционное поле.

5. Формы корреляционной зависимости.

6. Коэффициент корреляции.

7. Направленность корреляционной взаимосвязи.

8. Коэффициент корреляции Бравэ-Пирсона.

2. Статистические гипотезы.

3. Критерии проверки статистических гипотез.

4. Уровень значимости.

5. Надежность тестов.

6. Стабильность тестов.

7. Согласованность тестов.

8. Эквивалентность тестов.

9. Пути повышения надежности тестов.

Работа на III этапе игры.

Так как результаты тестирования измерены в шкале отношений, а число попыток (исходное и повторное тестирования) равно двум, для оценки надежности (стабильности) теста выберем парный коэффициент корреляции Бравэ-Пирсона r_АБ, рассчитываемый по формуле:

(t_i^А - t^А) (t_i^Б - t^Б)

r_АБ = – – – – – – – – – – – – .

(t_i^А - t^А)² (t_i^Б - t^Б)²

Пользуясь данными, полученными на I и II этапах игры, составим таблицу 3.1 для расчета показателя надежности (стабильности) теста.

Таблица 3.1. Расчет показателя надежности теста.

№ п/п	тест А, tiА, мс	Ретест Б, tiБ, мс	tiА-tА, мс	(tiА - tА)2, мс2	tiБ - tБ, мс	(tiБ - tБ)2, мс2	(tiА - tА) * * (tiБ - tБ), мс2
1	200	230	-4	16	57	3249	-228
2	200	240	-4	16	67	4489	-268
3	200	160	-4	16	-13	169	52
4	190	170	-14	196	-3	9	42
5	210	140	6	36	-33	1089	-198
6	200	160	-4	16	-13	169	42
7	200	180	-4	16	7	49	-28
8	210	180	6	36	7	49	42
9	220	140	16	256	-33	1089	-528
10	210	130	6	36	-43	1849	-258
	=2040	=1730		=640		=12210	=-1330

Подсчитаем величину показателя надежности (стабильности):

(t_i^А - t^А) (t_i^Б - t^Б)

r_АБ = – – – – – – – – – – – – =

(t_i^А - t^А)² (t_i^Б - t^Б)²

-1330

= – – – – – = -0,47

640*12210

Найденную величину r_АБ проверим с помощью расчетов на программируемом калькуляторе МК-56, пользуясь следующей программой:

Стандартная программа для вычисления коэффициента корреляции

1. Перейдем в режим «Программирование» нажатием кнопок F, ПРГ.

2. Занести в память микроЭВМ программу:

Адрес	Команда	Код	Адрес	Команда	Код	Адрес	Команда	Код
1	2	3	1	2	3	1	2	3
00	Сx	0Г	22	+	10	44	37	37
01	xП, 1	41	23	xП, 5	45	45	Пx, 2	62
02	xП, 3	43	24	Пx, 7	67	46	Пx, 3	63
03	xП, 4	44	25	F, x2	22	47	x	12
04	xП, 5	45	26	Пx, 4	64	48	-	11
05	xП, 6	46	27	+	10	49	Пx, 4	64
06	xП, 2	42	28	xП, 4	44	50	Пx, 2	62
07	с/п	50	29	К,Пx,6	Г6	51	F, x2	22
08	xП, 8	48	30	Пx, 7	67	52	-	11
09		14	31	Пx, 2	62	53	xП, 4	44
10	xП, 7	47	32	+	10	54	Пx, 5	65
11	X	12	33	БП	51	55	Пx, 3	63
12	Пx, 1	61	34	06	06	56	F, x2	22
13	+	10	35	5	05	57	-	11
14	xП, 1	41	36	xП, 0	40	58	xП, 5	45
15	Пx, 8	68	37	Пx, 0	60	59	х	12
16	Пx, 3	62	38	xП,В	4Е	60	F, 	21
17	+	10	39	К,Пx,В	ГЕ	61		13
18	xП, 3	43	40	Пx, 6	66	62	xП, 0	40
19	Пx, 8	68	41		13	63	с/п	50
20	F, x2	22	42	К,xП,В	LE
21	Пx, 5	65	43	F, L0	5Г

3. Перейти в автоматический режим нажатием кнопок F, АВТ.

4. Нажать кнопки в/о, с/п.

5. Занести пару чисел t_i^А и t_i^Б, разбив их командой В, нажать кнопку с/п.

6. После занесения всех десяти пар чисел нажать кнопки БП, 35, с/п и вычислить коэффициент корреляции r_АБ.

Для оценки надежности теста воспользуемся таблицей 3.2.

Таблица 3.2. Качество надежности теста.

Величина показателя надежности коэффициента корреляции	0,99 – 0,95	0,94 – 0,90	0,89 – 0,80	0,79 – 0,70	0,69 и ниже
Надежность	Отлич-ная	Хоро-шая	Удовлет-воритель-ная	Сомни-тельная	Плохая

Вывод: Так как r_АБ < 0,69, надежность (стабильность) теста плохая.

Оценим статистическую достоверность показателя надежности. Для этого сравним наблюдаемое и критическое значения коэффициента корреляции. Последнее найдем в таблице 3.3.

Таблица 3.3. Критические точки распределения коэффициента корреляции для односторонней критической области при  = 0,05

n	3	4	5	6	7	8	9	10
rкрит	0,988	0,900	0,805	0,729	0,669	0,621	0,582	0,549

Таблица односторонней критической области используется потому, что нулевой гипотезе H₀: r_ген = 0, естественно противопоставить конкурирующую гипотезу H₁: r_ген>0, так как предположение об отрицательной надежности (r_ген<0) противоречит здравому смыслу.

Итак, для нашего случая r_крит = 0,549.

Вывод: Так как r_набл (0,47) < r_крит (0,549), показатель надежности (стабильности) теста для данной группы «стрелков» статистически недостоверен с вероятностью более 0,95.

Тест с плохой надежностью недопустимо использовать для контроля за развитием у спортсменов скоростных качеств. Поэтому повысим надежность теста до удовлетворительного уровня (r_АБ = 0,80) путем его удлинения.

Определим, во сколько раз надо увеличить число испытуемых или число попыток при тестировании:

r⁰_АБ (1 - r_АБ) 0,80 (1 - 0,47) 1,176

m = – – – – – – – = – – – – – – – = – – – = 1,39.

r _АБ(1 - r⁰ _АБ) 0,47 (1 - 0,80) 0,846

Требуемое число испытуемых равно m * n = 1,39 * 10 = 13,9  14.

Требуемое число попыток получим m * k = 1,39 * 2 = 2,78  3.

В обоих последних случаях округление производится всегда только в большую сторону, т.к. при округлении в меньшую сторону получится недостаточное количество испытуемых или попыток.

Примечание: Если у «тренера» надежность r _АБ получится не ниже удовлетворительного уровня без удлинения теста, он может сразу переходить к выполнению работ IV этапа игры.

IV этап деловой игры вынесен на самостоятельную работу. Для его выполнения и оформления отчета необходимо пользоваться специальным методическим пособием для самостоятельной работы.