34.Психометрические критерии научности методов психодиагностики - надежность, валидность, достоверность диагностических методик. Тестовые нормы. Стандартизированные и нестандартизированные методики.

(см. вопросы 14-15)

Надежность – одно из трех главных психометрических свойств любой измерительной психодиагностической методики (теста). «Под надежностью понимается согласованность результатов теста, получаемых при повторном его применении к тому же обследуемому в различные моменты времени, с использованием разных наборов эквивалентных заданий или при изменении других условий обследования... В самом широком смысле надежность теста показывает, в какой степени индивидуальные различия в тестовых результатах оказываются «истинными», а в какой мере могут быть приписаны случайным ошибкам» (А. Анастази, 1982. С. 97).

Надежность – это помехоустойчивость теста, независимость его результатов от действия всевозможных случайных факторов. К числу таких факторов следует отнести:

- разнообразие внешних материальных условий тестирования, меняющихся от одного испытуемого к другому (время суток, освещенность, температура в помещении, наличие посторонних звуков, отвлекающих внимание и т. п.),

- динамичные внутренние факторы, по-разному действующие на разных испытуемых в ходе тестирования (время так называемой «врабатываемости» выхода на стабильные показатели темпа и точности действий после начала тестирования, скорость утомления и т. п.),

- информационно-социальные обстоятельства (различная динамика в установлении контакта с психологом или лаборантом, проводящим тестирование; возможное наличие других людей в помещении; наличие предыдущего опыта знакомства с данным тестом; наличие какого-то знания и отношения к тестам вообще и т. п.).

Разнообразие и изменчивость всех этих факторов так велики, что они обусловливают появление у каждого испытуемого непрогнозируемого по размерам и направлению отклонения измеренного тестового балла от истинного тестового балла (который можно было бы в принципе получать в идеальных условиях). Средняя относительная величина этого отклонения определяется как «стандартная ошибка измерения». Величина ошибки измерения указывает на уровень неточности или ненадежности тестовой шкалы.

Показатель ошибки измерения важен для пользователя тестом.

На практике, как правило, пользуются доверительными интервалами для так называемых 5 и 1-процентного уровня значимости. Доверительный интервал для 5-процентного уровня значимости (как, например, указанный выше для теста Векслера) означает: существует вероятность, не превышающая 5%, что истинный результат обследуемого выходит за его пределы, т.е. возможна ошибка в 5 случаях из 100. Доверительный интервал для 1-процентного уровня значимости указывает на вероятность того, что истинный результат выходит за его пределы, не превышает 1% — вероятность ошибки в одном случае из 100, чем можно пренебречь (для невербальной шкалы теста Векслера такой интервал равен 10,24). На практике как минимальный используется доверительный интервал для 5-процентного уровня значимости, в более ответственных случаях – для 1-процентного и выше.

Если тест дает количественную характеристику диагностируемого показателя, он обязательно должен снабжаться указанием на доверительные интервалы разных уровней значимости.

При использовании теста проверяются критерии его надежности: 1) ретестовая надежность (тест-ретест, т.е. повторное тестирование; 2) надежность как согласованность содержания; 3) надежность субъективных оценок.

Для получения показателя надежности высчитывается так называемый коэффициент корреляции (соотношение). Коэффициент корреляции показывает, существует ли связь между двумя попарно связанными рядами данных. Коэффициент корреляции вычисляется с помощью специальных математических процедур и может колебаться в пределах от —1,00 до 1,00. Коэффициент корреляции, равный 1,00, говорит о том, что между факторами существует абсолютная прямая зависимость. Коэффициент корреляции, равный 0,00, показывает, что между факторами не существует вообще никакой связи. Отрицательная корреляция говорит об обратной зависимости.

Минимальный приемлемый коэффициент для большинства тестов должен превышать 0,70. Как правило, у серьезных тестов он существенно выше: 0,8 и даже 0,9.

На практике для определения надежности применяют корреляционные методы.

1) метод перетестирования (тест-ретест) или метод измерения «ретестовой надежности». На одной и той же выборке испытуемых (не менее 30 человек, участвующих в пилотажном психометрическом экспериментальном исследовании) проводят первое тестирование X, а затем повторное тестирование У. Интервал, как правило, две недели, что гарантирует забывание вопросов теста. Затем для двух рядов значений X и У подсчитывается коэффициент корреляции. Низкая корреляция результатов теста между первым и повторным тестированием говорит о том, что случайные факторы существенно искажают результаты теста. Это значит, что тест не обладает необходимой помехоустойчивостью, и его нельзя использовать как измерительный инструмент.

Метод измерения «ретестовой надежности» пригоден только для психических свойств, стабильных во времени. Надежность тестов на психические состояния и динамичные установки личности нельзя проверить таким образом. В этом случае применяют различные методы «расщепления» теста на отдельные пункты.

2) Надежность как согласованность содержания

Разработчики любого теста стремятся добиться, чтобы результат как можно меньше зависел от того, какой именно конкретный набор заданий использован в тесте, какие именно задания выбрал и успел выполнить обследуемый. Иными словами, задания должны быть максимально унифицированы по содержанию и не давать каких-либо преимуществ отдельным обследуемым.

Наиболее распространены два основных способа определения коэффициента надежности как согласованности содержания: 1) метод расщепления; 2) метод взаимозаменяемых форм.

1. Надежность методом расщепления. В этом случае сопоставляются результаты по двум половинкам одного теста (как правило, используются четные и нечетные номера заданий). Если тест полностью однороден, то показатели по этим двум наборам заданий должны быть одинаковыми, точнее между ними должен быть высокий коэффициент корреляции; расхождения свидетельствуют о том, что они не вполне аналогичны.

2. Надежность взаимозаменяемых форм. В этом случае разрабатываются две формы (например, А и В) одного и того же теста с использованием единых принципов отбора заданий. Результаты по ним сопоставляются друг с другом. В этом случае коэффициент надежности есть не что иное, как коэффициент корреляции между двумя формами теста.

3) Надежность субъективных оценок

Показывает, насколько получаемые обследуемым результаты зависят от субъекта, который их оценивает. Коэффициент надежности субъективных оценок есть не что иное, как коэффициент корреляции между оценкой результатов выполнения теста двумя или несколькими экспертами.

В некоторых тестах (рисуночных, тестах творческих способностей и т.п.), в которых получаемые результаты особенно зависят от интерпретации данных экспериментатором, этот показатель надежности особенно важен. В большинстве же тестов процедура оценки того или иного результата максимально стандартизирована и сводит влияние субъективных качеств экспериментатора к нулю: в методиках, в которых результаты оцениваются как «результативные» («правильные») или «нерезультативные» («неправильные») с помощью специального «ключа», коэффициент надежности субъективных оценок равен 1,00.