Надежность тестов*

* См.: Анастази А., Урбина С. Психологическое тестирование. — СПб., 2001. — С. 103-132.

Надежность — это характеристика психодиагностической методики, отражающая точность психодиагностических изме­рений, а также устойчивость (стабильность) результатов теста к действию посторонних случайных факторов. Надежность и валидность являются важнейшими характеристиками методики как инструмента психологического исследования.

Наибольшая стабильность результатов наблюдается при применении графических и графологических тестов, показате­ли которых меняются крайне медленно. Медленно изменяется почерк, практически неизменными остаются качество линий рисунков и их композиция.

Наибольшая динамичность показателей наблюдается у ин­теллектуальных тестов, которые напрямую зависят от способ­ности человека накапливать и перерабатывать информацию.

На устойчивость (стабильность) показателей теста влияют следующие факторы:

• состояние и настроение обследуемых;

• мотивация испытуемых к тестированию;

• эргономические факторы (освещенность, температура в помещении, вибрация, шумы и пр.);

• характеристика деятельности (монотонность-динамич­ность, помехи и др.);

• степень обучаемости (или натренированности) испытуе­мых и др.

Надежность результатов тестирования зависит также от а) изменчивости инструмента психологического измерения и б) факторов стабильности самой процедуры измерения. Таким образом, надежность есть степень согласованности результа­тов тестирования, получаемых при первом и последующих измерениях.

На практике наиболее широко применяются шесть типов надежности: надежность ретестовая (тест-ретест надежность); надежность параллельных форм; надежность частей теста (на­дежность как гомогенность тестов); надежность по Кудеру -Ричардсону; надежность интерпретатора («оценщика») и стан­дартная ошибка измерений.

Определение коэффициента надежности в первых двух слу­чаях вычисляется по формулам расчетов коэффициентов кор­реляции (в зависимости от шкалы, в которой измерены дан­ные) между первым и последующим измерениями или между параллельными формами теста.

Расчет коэффициента надежности при исследовании го­могенности теста осуществляется путем разбиения теста на равные субтесты и расчета корреляции между этими частя­ми. Для определения общей надежности теста полученные коэффициенты корреляции вводятся в формулу Спирмена -Брауна:

где R — корреляция «половин» теста.

Если части теста являются отдельными дихотомическими заданиями, например вопросами, на которые может быть два ответа (да или нет), или заданиями с оценкой результата как правильного, так и неправильного, используется формула:

где р_i— доля 1-го варианта ответа на i-й вопрос;

q_i — доля 2-го варианта на i-й вопрос.

Надежность частей теста может также рассчитываться по формуле Кудера — Ричардсона:

где К — количество равных частей теста;

δ_xi² - дисперсия i-й части теста;

δ_х² — дисперсия целого теста.

При работе с клиническими опросниками, тестами креатив­ности и проективными технологиями надежность методик опре­деляется путем сравнения интерпретаций результатов двумя или более экспертами-психологами. Высокие коэффициенты корре­ляции между ними показывают надежность тестовой оценки.

Коэффициенты надежности психологических измерений представляют собой величину дисперсии показателей, которая вычисляется путем возведения коэффициента корреляции в квад­рат. Интерпретируется он следующим образом. Например, коэф­фициент корреляции между параллельными формами теста равен 0.75. Коэффициент надежности рассчитывается так: 0.75²= 0.56. Это означает, что 56% дисперсии исследуемых тестовых данных зависят от истинной дисперсии признаков (данных параллельно­го теста), а 44% — от ошибок или случайных переменных.

Разберем гипотетический пример определения надежности двух форм теста* в ходе исследования креативности 100 школь­ников. В результате коэффициент надежности взаимозаменяе­мых форм с интервалом ретестирования две недели составил 0.7. Была вычислена надежность-гомогенность тестов при по­мощи формулы Спирмена — Брауна, которая составила 0.8. Надежность интерпретации («оценщика») с привлечением вто­рого специалиста-психолога была равна 0.92. Анализ источни­ков дисперсии ошибок показан в таблице.

* См. Анастази А., Урбина С. Психологическое тестирование. — СПб., 2001. — С. 120-121.

Анализ источников дисперсии ошибок в исследуемом тесте
По надежности взаимозаменяемых форм (с временным интервалом две недели)	1 — 0.7 = 0.3 (ошибка ретеста + ошибка гомогенности)
По надежности эквивалентных половин теста (формула Спирмена — Брауна)	1 — 0.8 = 0.2 (ошибка гомогенности)
Разность	0.3 — 0.2 = 0. 1 (ошибка ретеста)
По надежности интерпретации («оценщика»)	1 — 0.92 = 0.08 (различия между интерпретациями)
Суммарная оценка дисперсии ошибок 0.2 + 0.1 + 0.08 = 0.38
Истинная дисперсия 1 — 0.38 = 0.62

Результаты исследования надежности теста креативности можно представить схематично в процентном распределении дисперсии показателей теста.

«Истинная» дисперсия: 62%	Дисперсия ошибок: 38%
Временная устойчивость; согласованность форм; независимость от различий между интерпретациями («оценщиками»).	Ошибка гомогенности: 20%	Ошибка ретеста: 10%	Различия между интерпретациями; 8%

Надежность теста можно выразить посредством расчета стандартной ошибки измерений — SEM (стандартная ошибка показателя)*. Она рассчитывается по формуле [33].

где δ_x — стандартное отклонение показателей теста;

R_xx — значение коэффициента надежности.

* См.: Анастази А., Урбина С. Психологическое тестирование. — СПб., 2001. — С. 127-131.

Физический смысл SEM заключается в определении дис­персии показателей конкретного теста вокруг «истинного по­казателя», которая характеризуется плотностью нормального распределения данных. Если, например, 68% всех случаев нор­мального распределения психологических данных попадает в интервал М_х ± δ_x, то примерно два шанса против одного (68 : 32), что ошибка измерений будет «колебаться» в пределах ± 1 SEM. При увеличении плотности распределения данных, например –М_x± 3 SEM, увеличивается и вероятность предсказания (99.7:0.3) при соответствующем росте интервала ошибки в обе стороны.

Пример: рассчитаем стандартную ошибку измерений при помощи тестов CFIT и Равена. Интеркорреляция между пока­зателями тестов составляет 0.81. Стандартное отклонение — 15. Результирующий показатель исследуемой методики CFIT ра­вен, допустим, 110 IQ-баллов.

Это означает, что при определении «истинного» IQ и соотно­шении шансов удачного предсказания истины 2 : 1 (или 68 : 32) ошибка будет колебаться в интервале ±1.5 IQ-баллов. И «ис­тинный» показатель теста находится в пределах от 103.5 до 116.5.

При увеличении вероятности прогноза до соотношения 99.7 : 0.3 (3 ± δ_x) ошибка возрастает до ± 19.5, а «истинный» показа­тель займет место между 90.5 и 129.5.

Таким образом, надежность, валидность и прогностичность эмпирических данных дают возможность измерять психологические переменные на соответствующем уровне достоверности, который диктуется практикой социальных исследований.