Тема 6. Надежность тестовых методик

1. Определение. Факторы, влияющие на надежность методики. Стандартная ошибка измерения. Надежность измерения.

2. Понятие о методе измерения ретестовой надежности. Стандартизация процедуры обследования. Взаи­мосвязь надежности и валидности Надежность параллельных форм. Сущность, до­стоинства и недостатки.

3. Надежность частей теста, ее определение мето­дом расщепления. Уравнение Спирмена-Брауна.

Надежность – одно из трех главных психометриче­ских свойств любой измерительной психодиагностиче­ской методики (теста). Надежность – это устойчивость процедуры тестирования относительно объектов исследования. Надежность – это помехоустой­чивость теста, независимость его результата от действия всевозможных случайных факторов. К числу таких фак­торов относятся:

• разнообразие внешних материальных условий тести­рования, меняющихся от одного испытуемого к дру­гому (время суток, освещенность, температура б по­мещении, наличие посторонних звуков, отвлекающих внимание, и т. п.);

• динамичные внутренние факторы, по-разному дей­ствующие на разных испытуемых в ходе тестирования (время так называемой «врабатываемости» – выхода на стабильные показатели темпа и точности действий после начала тестирования, скорость наступления утомления и т. п.);

• информационно-социальные обстоятельства (раз­личная динамика в установлении контакта с психоло­гом или лаборантом, проводящим тестирование; воз­можное наличие других людей в помещении; наличие предыдущего опыта знакомства с данным тестом; на­личие какого-то знания и отношения к тестам вообще и т. п.).

Разнообразие и изменчивость этих факторов так ве­лики, что они обусловливают появление у каждого испы­туемого непрогнозируемого по размерам и направлению отклонения измеренного тестового балла от истинного тестового балла. Средняя относительная величина этого отклонения определяется как «стандартная ошибка измерения» (Sе). Величина ошибки измерения указывает на уровень неточности или ненадежности тестовой шкалы.

Низкая корреляция результатов теста между первым и повторным тестированием говорит о том, что случайные факторы существенно искажают результаты теста. Это значит, что тест не обладает необходимой помехоустойчивостью и его нельзя использовать как измерительный инструмент.

Показатель надежности R, который принято считать достаточно высоким, равен или превышает 0,95. Однако в личностных тестах часто пользуются значительно менее надежными тестами с показателями 0,8 – 0,9.

Важнейшим средством повышения надежности теста является стандартизация процедуры обследования. При строгой регламентации процедуры обследования (обстановка и условия работы/учебы испытуемого, характер инструкции, временные ограничения, способы и особенности контакта с испытуемым, порядок предъявления элементов методики, получения первичных оценок и т.д.) существенно уменьшается дисперсия ошибки и повышается надежность теста.

Очевидно, что при небольшом количестве сопутствующих факторов, влияющих на ре­зультат исследования, а значит, при их незначительном воздействии на результат теста достоверность тестовых оценок будет выше. Еще в большей степени достовер­ность данных теста определяется набором измеряемых свойств, их значимостью для осуществления диагности­руемой сложной деятельности, полнотой и существенностью отражения в материале теста предмета измере­ния. Так, чтобы удовлетворить требованиям надежности и валидности, диагностическая методика, предназначенная для профот­бора, должна включать анализ широкого круга нередко различных по своей природе показателей, наиболее важ­ных для достижения успеха в данной профессии (уровень внимания, особенности памяти, психомоторика, эмоцио­нальная устойчивость, интересы, склонности и т. д.).

Про­ведение теста интеллекта у нормально развивающихся детей и их сверстников с нарушениями в интеллектуаль­ном развитии может выявить глубокие количественные и качественные различия в выполнении заданий сравни­ваемыми группами. Степень надежности дифференциа­ции детей первой и второй групп по данным теста будет характеристикой диагностической валидности оценки умственного развития, получаемой с помощью данной методики.

Про­ведение теста интеллекта у нормально развивающихся детей и их сверстников с нарушениями в интеллектуаль­ном развитии может выявить глубокие количественные и качественные различия в выполнении заданий сравни­ваемыми группами. Степень надежности дифференциа­ции детей первой и второй групп по данным теста будет характеристикой диагностической валидности оценки умственного развития, получаемой с помощью данной методики.

Сведения, характеризующие степени обоснованности и статистической надежности развития исследуемой пси­хологической особенности в будущем, составляют прогно­стическую валидность методики. Заключение об этом типе валидности может быть получено, например, путем срав­нения тестовых оценок в одной и той же группе испыту­емых спустя определенное время. Основой прогностиче­ской валидности является определение того, насколько важен исследуемый признак с точки зрения деятельности испытуемого в будущем с учетом закономерно изменяю­щихся обстоятельств, перехода на другой уровень разви­тия.

Большинство методик, особенно тестов способностей и интеллекта, исследуется на предмет диагностической и прогностической валидности. Два этих типа валидности нередко объединяют в понятие эмпирической валидности. Здесь подчеркивается общность подхода к их определе­нию, который осуществляется путем статистического коррелирования баллов (оценок) по тесту и показателей по внешнему параметру, избранному в качестве валидизации критерия (см. Валидность критериальная). Критерий валидности выступает в качестве меры, показателя исследуемых психологических особенностей. Так, тесты специ­альных способностей проверяются путем сопоставления с результатами обучения по другим предметам, достиже­ниями в музыке, рисовании и т. д. Тесты общих интел­лектуальных способностей валидизируются сравнени­ем с еще более широкими характеристиками школьных достижений (общая успеваемость, овладение сложными системами знаний и навыков). Критерий валидности яв­ляется независимым от теста показателем, обладающим непосредственной ценностью для определенных областей практической деятельности. Например, в области педа­гогической психологии это «успеваемость», в психологии труда — «производительность», в медицинской психоло­гии — «состояние здоровья» и т. д. В качестве непосред­ственных критериев часто используются экспертные оценки и характеристики лиц, обследованных с помощью валидизируемого теста, данные педагогами, сотрудника­ми, руководителями.

Во многих случаях бывает сложно или невозможно подобрать адекватный критерий валидизации. При этом особую важность приобретает комплекс характеристик, входящих в тип теоретической валидности. При разработ­ке и использовании теста может быть сформулирован ряд гипотез о том, как будет коррелировать исследуемый тест с другим тестом, измеряющим родственные или противо­положные психологические характеристики испытуемых. Эти гипотезы выдвигаются на основании теоретических представлений об измеряемых свойствах как о психоло­гическом конструкте. Подтверждение гипотез свидетель­ствует о теоретической обоснованности методики, т. е. о степени ее конструктной валидности. Этот тип валид­ности является наиболее сложным и комплексным.