Тема 5. Психометрические требования к методикам психологической диагностики. Надежность, дискриминативность, валидность (4 часа)

Вопросы:

1. Надежность теста

2. Дискриминативность

3. Валидность

Литература: 1; 2; 26; 41

1. Надежность теста

Надежность понимается как характеристика методики, отражающая точность измерений и их устойчивость к действию посторонних (случайных) факторов. Иначе говоря, тест называется надежным, если он дает одни и те же оценки для каждого испытуемого при повторном тестировании. Тест называется надежным, или внутренне согласованным, если отдельные части теста дают достаточно согласованные между собой оценки. Надежность определяется через а) устойчивость и б) согласованность результатов теста.

В теоретическом плане надежность выступает как средняя величина корреляции одного теста или задания со всеми тестами или заданиями из генеральной совокупности. Квадратный корень из коэффициента надежности является корреляцией данного теста или задания с истинным показателем:

Здесь – это корреляция задания с истинным показателем t (индекс надежности), – средняя корреляция i-го задания с другими заданиями.

Стандартная ошибка оценки (или стандартная погрешность измерения)

где S_x – стандартное отклонение по тесту, – индекс надежности, а r – коэффициент надежности.

Надежность по внутренней согласованности.

Чтобы тест измерял некоторое свойство необходимо, чтобы все его задания были направлены на измерение именно этого свойства. Задания, которые не дают согласованных с большинством других заданий оценок скорее всего измеряют посторонние (случайные) признаки. Согласованность заданий теста называют внутренней согласованностью или надежностью по внутренней согласованности. Некоторые авторы (например, А. Анастази) рассматривают внутреннюю согласованность теста как показатель внутренней валидности.

Хотя в теории вопрос о значении надежности по внутренней согласованности остается дискуссионным, по справедливому замечанию П. Клайна, на практике валидные тесты являются в высокой степени согласованными. Высокая внутренняя согласованность является важнейшей предпосылкой валидности теста. Таким образом, надежность по внутренней согласованности является важной характеристикой теста как измерительного инструмента.

Высокая надежность по внутренней согласованности обеспечивается специальными процедурами анализа заданий при разработке теста. Для отбора согласованных заданий рассчитывают коэффициент корреляции между каждым вопросом и итоговым баллом по тесту (или шкалы теста, если в него входит несколько шкал). Выбираются задания, которые показывают достаточно высокую (по крайней мере, статистически значимую) корреляцию. После исключения заданий, показавших низкую корреляцию, тест снова проводится на некоторой выборке и рассчитываются показатели надежности по внутренней согласованности.

Наиболее простой показатель надежности по внутренней согласованности – коэффициент надежности по методу расщепления. Все вопросы теста разделяют на две части, в одну из которых входят все четные задания, а в другую – нечетные. Для каждой части в соответствии с ключом рассчитывается общий показатель. Между результатами испытуемых по каждой из частей вычисляют коэффициент корреляции. Полученный коэффициент подставляется в формулу Спирмена-Брауна:

где r’ – коэффициент корреляции между двумя частями теста, r – коэффициент надежности всего теста. Особенностью приведенной формулы является то, что коэффициент надежности по внутренней согласованности всегда превышает коэффициент корреляции между двумя частями теста.

Делить тест на части можно разными способами, и каждый раз получаются разные коэффициенты. Существует способ оценки надежности, который соответствует разбиению теста на отдельные задания. Это – коэффициент  (альфа) Кронбаха, который рассчитывается по формуле:

,

где S² – дисперсия результатов теста, S_k² – дисперсия результатов k-того задания , n – число заданий.

Если задания теста предполагают ответы в дихотомической шкале (например, «да» - «нет» или «согласен» - «несогласен»), то используется модификация коэффициента Кронбаха, которая называется коэффициентом Кьюдера-Ричардсона:

,

где S² - дисперсия результатов теста, p_i - доля испытуемых, давших ключевые ответы на вопрос, q_i = 1 - p_i , n - количество вопросов.

Общепринятым требованием к надежности психологических тестов является значение коэффициентов надежности не менее 0,7. Коэффициент надежности, превышающий 0,95, говорит об очень высокой надежности.

Ретестовая надежность.

Надежный тест должен давать приблизительно одинаковый результат при повторном тестировании одних и тех же испытуемых. Надежность в этом смысле связана с устойчивостью, стабильностью результатов теста.

Устойчивость результатов зависит разных факторов, среди которых наиболее важными являются: стабильности самого исследуемого признака и влияние личности экспериментатора.

Абсолютно стабильных психологических признаков не существует, однако вряд ли есть смысл в диагностике признака, колебания которого имеют непредсказуемый характер. Стабильность изучаемого признака определяется с помощью повторного тестирования выборки, при постоянстве всех существенных условий (один и тот же экспериментатор, то же самое время дня и те же обстоятельства проведения теста). Между результатами первого и второго тестирования рассчитывается коэффициент корреляции (например, коэффициент ранговой корреляции Спирмена), который должен быть не менее 0,7-0,8. Полученный показатель называется коэффициентом стабильности.

Особой проблемой является выбор временного промежутка между первым и повторным обследованием. Чем короче этот срок, тем больше вероятность того, что выявленный уровень свойства не изменится. При исследовании стабильности признака также следует учитывать возможность воспроизведения по памяти прошлых ответов, если выбран слишком короткий промежуток. Если тест предназначен для взрослых, интервал времени может быть от нескольких недель до полугода. При обследовании детей дошкольного возраста используются интервалы в несколько недель.

В некоторых случаях существуют основания предполагать, что на результаты теста оказывает влияние личность экспериментатора. Для проверки устойчивости теста по отношению к данному фактору необходимо определить коэффициент константности. Для его получения следует рассчитать коэффициент корреляции между результатами двух опытов, проведенных в относительно сходных условиях на одной и той же выборке, но разными экспериментаторами. Его значение также должно быть не менее 0,7.