17 Надежность(точность) теста и его основания. Надежность целого теста и его отдельных пунктов.

надежность — это помехоустойчивость теста, независимость его результатов от действия всевозможных случайных факторов. К числу таких факторов следует отнести:

—разнообразие внешних материальных условий тестирования, меняющихся от одного испытуемого к другому

—динамичные внутренние факторы, по-разному действующие на разных испытуемых в ходе тестирования (время так называемой врабатываемости.)

— информационно-социальные обстоятельства (различная динамика в установлении контакта с психологом; возможное наличие других людей в помещении; наличие предыдущего опыта знакомства с данным тестом...)

Эти факторы обусловливают появление у каждого испытуемого отклонения измеренного тестового балла от истинного тестового балла (который можно было бы в принципе получать в идеальных условиях). Средняя относительная величина этого отклонения определяется как стандартная ошибка измерения ( Se ). Величина ошибки измерения указывает на уровень неточности или ненадежности тестовой шкалы

ОШИБКА ИЗМЕРЕНИЯ ( Se ) и надежность измерения ( R ), согласно общепринятой психометрической теории, связаны следующей формулой:

R = 1 – Se2 / Sx2, (1), где S — дисперсия тестовых показателей X .

Эта формула является чисто теоретической, и на ее основе нельзя подсчитать надежность теста, так как величина Se оказывается также неизвестной величиной. Поэтому на практике применяют корреляционные методы. Самый известный из них — метод перетестирования (тест-ретест) или метод измерения РЕТЕСТОВОЙ НАДЕЖНОСТИ.

На одной и той же выборке испытуемых (не менее 30 человек, участвующих в пилотажном психометрическом экспериментальном исследовании) проводят первое тестирование X , а затем повторное тестирование Y . Интервал, как правило, — две недели, что гарантирует забывание вопросов теста.

Затем для двух рядов значений X и Y подсчитывается, например, линейный коэффициент корреляции (возможный и нередко более корректный вариант — подсчитывать ранговый коэффициент корреляции):

где Sx , S — стандартные отклонения X и Y , Cov ( X , Y ) — ковариация двух переменных X и Y .

для сути теории надежности тестов, так это возможность определить ошибку измерения после того, как подсчитана корреляция тест-ретест по формуле (3), полученной путем простого преобразования формулы (1): Se = Sx × V1 – R. (3)

Таким образом, если стандартное отклонение в тесте составило 10 очков (среднее отклонение, которое в среднем допускают испытуемые от среднего балла для выборки), а корреляция тест-ретест оказалась равной лишь 0,5, то ошибка измерения оказывается очень большой: Se = 10 × V1-0,5 ~ 7.1.

Таким образом, низкая корреляция результатов теста между первым и повторным тестированием говорит о том, что случайные факторы существенно искажают результаты теста. Это значит, что тест не обладает необходимой помехоустойчивостью, и его нельзя использовать как измерительный инструмент.

Показатель надежности R , который принято считать достаточно высоким, равен или превышает 0,95. Хотя в личностных тестах часто пользуются значительно менее надежными тестами с показателями 0,8 — 0,9.

Метод измерения ретестовой надежности пригоден только для психических свойств, стабильных во времени. Надежность тестов на психические состояния и динамичные установки личности нельзя проверить таким образом. В этом случае применяют различные методы расщепления теста на отдельные пункты, освещение которых выходит за пределы настоящего пособия.

В самом широком смысле надежность теста – это характеристика того, в какой степени выявленные у испытуемых различия по тестовым результатам являются отражением действительных различий в измеряемых свойствах и в какой мере они могут быть приписаны случайным ошибкам.

В методическом смысле под надежностью понимают степень согласованности результатов теста, получаемых при первичном и вторичном его применении у одних и тех же испытуемых в различные моменты времени с использованием разных наборов тестовых заданий или при других изменениях условий обследования.

Под надёжностью теста понимается степень точности, с которой тест измеряет определённое свойство или способ поведения личности. Надёжность теста – это характеристика точности его как измерительного инструмента, его устойчивости к действию помех (как внешних, так и внутренних). Эмпирическое определение надёжности теста является обязательным условием его допуска для использования в практической деятельности психолога.

В психометрике обоснование получили три метода оценки надёжности тестов:

1. метод повторного тестирования (метод тест-ретест);

2. метод тестирования параллельной, или эквивалентной, формой теста;

3. метод деления, или расщепления теста на части. Оценка надёжности по методу повторного тестирования требует, чтобы тест дважды предъявлялся одной и той же выборке испытуемых через какое-то время. Длительность временного промежутка определяется содержанием и характером задач теста.

Второй метод оценки надёжности теста требует наличия параллельной, то есть эквивалентной, формы теста, например формы "А" и "Б". Репрезентативную выборку испытуемых, на которой проверяется надёжность теста, случайным образом делят на две примерно равночисленные группы. Затем первой группе предъявляются задачи формы "А", а второй группе – задачи формы "Б". Через некоторое время (не более одной недели) задачи формы "Б" решает первая группа, а формы "А" - вторая. После этого для всей репрезентативной выборки испытуемых отдельно вычисляются первичные результаты для форм "А" и "Б", которые затем подвергаются корреляции.

Общим недостатком первых двух методов оценки надёжности теста является то, что они зачастую дают заниженные или завышенные коэффициенты надёжности. Дело в том, что дисперсия результатов, на основе которой рассчитывается коэффициент корреляции, неоднородна по своему составу. Наряду с дисперсией действительных индивидуальных различий в неё входят частные дисперсии, обусловленные влиянием как внутренних, психологических, причин (колебания внимания, усталость и др.), так и внешних (уличный шум, поведение и высказывания исследователя и т. п.). При этом сила и сочетание этих причин в первом и во втором тестировании могут быть различными, и оценить их влияние или полностью их нейтрализовать оказывается невозможным.

Поэтому, особенно при проверке надёжности тестов мощности (например, интеллектуальных тестов) и достижений, предпочтение следует отдавать третьему методу, поскольку он предполагает лишь однократное тестирование. Третий метод оценки надёжности включает два различных приёма расчёта: разделение тестовых задач на две части, например по принципу "чётные и нечётные", и расчёт коэффициента консистентности задач теста.