Глава 2. Виды валидности. Проблемы расчета валидности

2.1 Виды валидности

Внутренняя валидность включает в себя по крайней мере пять элементов:

1) Концептуальная (теоретическая) валидность — теоретическое обоснование возможности измерения исследуемого свойства данным психодиагностическим средством;

2) Содержательная валидность — степень репрезентативности содержания заданий теста измеряемой области психических свойств, т.е. характеризует тест по степени его соответствия предметной области;

Согласно А.Анастази, содержательная валидность означает систематическую проверку содержания теста, с тем чтобы установить, соответствует ли оно репрезентативной выборке измеряемой области поведения. Такая процедура валидизации обычно применяется для тестов достижений.

Содержательная валидность необязятельно означает полноту отображения изучаемой дисциплины. Например, для нормативно-ориентированного теста, полнота охвата всех тем может быть меньше, чем для критериально-ориентированного. Здесь важнее глубина проработки отдельных подтем, вопросов. Это позволит с большей эффективностью дифференцировать обучаемых. Под содержанием понимается не только совокупность фактов, понятий, терминов, но и умение применять имеющиеся знания, оценивать информацию, выполнять действия, соответствующие верхним уровням таксономии Блума.

Для обеспечения содержательной валидности необходим детальный анализ учебных программ, на основании чего составляется спецификация теста. Спецификация содержит перечень учебных тем, их важность, количество и тип тестовых заданий. Оценка содержательной валидности выполняется экспертом в данной предметной области.

Согласно П.Клайну содержательная валидность определяется следующим образом:

1) указать категорию лиц, для которой предназначен тест;

2) составить список знаний, умений, навыков, подлежащих тестированию;

3) выполнить внешнюю экспертизу полученного списка на предмет его полноты и обоснованности;

4) на основе списка составить перечень заданий;

5) выполнить внешнюю экспертизу полученных заданий;

6) после проверки преобразовать их в задания в тестовой форме. В дальнейшем, на этой основе создать тестовые задания, образующие тест, который будет содержательно валидным.

3) Конструктная валидность — степень репрезентативности исследуемого психологического конструкта в результатах теста ("...на сколько результаты теста рассматриваются в качестве меры исследуемого психологического конструкта — фактора, свойства" – А. Анастази).

Конструктная валидность, обоснованная Л.Кронбахом в 1955г., характеризуется способностью теста к измерению такой черты, которая была обоснована теоретически (как теоретический конструкт). Когда сложно найти адекватный прагматический критерий, может быть выбрана ориентация на гипотезы, сформулированные на основе теоретических предположений об измеряемом свойстве. Подтверждение этих гипотез свидетельствует о теоретической обоснованности методики. Сначала необходимо, насколько возможно полно, содержательно описать конструкт, для измерения которого предназначен тест. Это достигается за счет формулирования гипотез о нем, предписывающих, с чем данный конструкт должен коррелировать, а с чем не должен. После чего данные гипотезы проверяются. Это наиболее эффективный способ валидизации для личностных опросников, для которых установление единственного критерия их обоснованности является затруднительным.

Конструктная валидность является наиболее комплексным и сложным видом валидности. Вместо одного результата (прежде всего прагматического) необходимо учитывать множество (чаще всего собственно психологических). Конструктная валидность имеет отношение к попыткам обозначения любых аспектов эксперимента. Опасности нарушения конструктной валидности заключаются в неправильном обозначении причины и эффекта с помощью абстрактных терминов, терминов, взятых из обыденного языка или формальной теории.

4) Операциональная валидность — степень репрезентативности в конкретных экспериментальных операциях реальных операциональных условий психической деятельности;

Операциональная валидность — частный случай внутренней валидности, степень соответствия методики и плана эксперимента проверяемой гипотезе.

Операциональная валидность определяет степень соответствия используемой экспериментальной методики (экспериментальных утверждений) теоретическим положениям, которые положены в основу организации и проведения данного эксперимента.

Частью операциональной валидности можно считать конструктную валидность [11].

5) Эмпирическая валидность — совокупность характеристик валидности теста, полученная сравнительным статистическим способом оценивания, среди них очевидная и критериальная виды валидности.

Идея эмпирической валидности заключается в определении способности теста служить индикатором или предсказателем строго определенной психической особенности или формы поведения человека. Для измерения эмпирической валидности теста вычисляется коэффициент корреляции тестового результата с внешним критерием — R(X,T).

Очевидная валидность — это представление о тесте, сфере его применения, результативности и прогностической ценности, которое возникает у испытуемого и другого лица, не располагающего специальными сведениями о характере использования и целях методики.

Она означает то впечатление о предмете измерения, которое формируется у испытуемого при знакомстве с инструкцией и материалом теста. Очевидная валидность играет важную роль в процессе тестирования, поскольку именно она в первую очередь определяет отношение испытуемых к обследованию. В.А. Аванесов приводит пример отказа от выполнения теста испытуемыми из-за отсутствия у теста очевидной валидности. Во время социологического опроса моряков рыболовного флота он столкнулся со случаем отказа заполнять анкету под предлогом того, что анкета составлена "не для моряков", в ней нет вопросов, относящихся к морякам, "на морские темы". Если бы опросник содержал "морские термины", то он бы казался "своим" и вызывал больше доверия у испытуемых. Именно в силу этого обстоятельства очевидную валидность иногда называют также доверительной валидностью.

Критериальная валидность — комплекс характеристик, включающий текущую и прогностическую валидности методики и отражающий соответствие диагноза и прогноза определенному кругу критериев развития измеряемого свойства. Критериальная валидность оценивается величиной связи, корреляции показателя теста с "внешним критерием".

Текущая (диагностическая или конкурентная) валидность — мера способности теста дифференцировать испытуемых по изучаемому признаку. Текущая валидность теста определяется исходя из его "трудности" и меры изменчивости измеряемого признака.

Определяется с помощью внешнего критерия, по которому информация собирается одновременно с экспериментами по проверяемой методике. Другими словами, собираются данные, относящиеся к настоящему времени успеваемость в период испытания, производительность в этот же период и т д. С ним коррелируют результаты успешности по тесту.

Трудностью теста называется отношение количества решенных и нерешенных заданий методики [12]. Уровень трудности характеризуется коэффициентом трудности (ТТ), который вычисляется по формуле:

ТТ = (NP / NH) 100%; (1)

где NP – количество решенных заданий теста; NH – количество нерешенных заданий теста.

Оптимальная «трудность теста» должна колебаться в пределах 50%, однако, как признают многие психологи, достичь такого положения крайне затруднительно. Трудность всей тестовой батареи должна колебаться в пределах 50%, а трудность входящих в неё тестов – находится в пределах «умеренного разброса». Видимо этот «умеренный разброс» будет равен d, т.е. 16 %. (Следует также учитывать 5% ошибку вычислений).

Т_Т = 13 + 4d, (2)

где d - стандартное отклонение, которое вычисляется по формуле:

d = Ö (S xi²) / N.

Трудность теста, рассчитанного по формуле (2), находится в пределах от 1 до 25 (цифры 13 и 4 выбраны экспериментально в целях исключения отрицательных и дробных показателей и удобства расчетов). Средняя трудность теста имеет значение 13.

Нормальность распределения данных определяет численную характеристику дифференциации испытуемых. Она вычисляется при помощи критерия Х² Пирсона, а также с использованием коэффициентов асимметрии и эксцесса распределения переменных.

Ширина полосы разброса данных по шкале измерений от min до max - характеристика вариации признаков. Простейшими измерителями вариации признаков являются размах вариации R - это разность между наибольшим и наименьшим значениями признаков, то есть R = x_max — x_min).

Дискриминативность заданий (субтестов) теста - способность отдельных пунктов (заданий) теста дифференцировать обследуемых относительно "максимального" или "минимального" результата теста [13]. Мерой соответствия успешности выполнения одного субтеста всей методике является показатель дискриминативности заданий теста, который называется коэффициентом дискриминации (индексом дискриминативности). Индекс дискриминативности теста рассчитывается в процессе разработки тестов и тестовой батареи. Он вычисляется при помощи а) точечно-биссериального коэффициента корреляции (Rpb) и б) метода контрастных групп в виде разности между долей лиц, правильно решивших задание из "высокопродуктивной" и "низкопродуктивной" групп (D).

D = (N_{n max} / N_max ) — (N_{n min} / N_min).

Наибольший интерес представляет характер группировки значений признака вокруг их средней. Мерой ее определения являются дисперсия (среднеквадратическое отклонение) и коэффициент вариации (V), который определяется как отношение дисперсии (d_х) к среднему (М_х), выраженное в процентах:

V = (d_х / М_х) 100%.

Между характеристиками распределения и вариативностью переменных имеется связь, которая предопределяет оптимальное сочетание формы распределения с вариативностью. Большая вариативность признаков говорит о том, что распределение ненормально, асимметрично и сильно скошено. Малая вариативность показывает, что тест не дифференцирует испытуемых по измеряемому признаку (испытуемые отвечают или решают задание одинаково). При анализе трудности, нормальности распределения и вариативности показателей тестов необходимо соблюдать меру, которая вырабатывается в процессе накопления опыта диагностической работы и статистической обработки данных.

Прогностическая валидность («предсказывающая») является элементом содержания достоверности тестов и определяется как степень точности и обоснованности суждения о диагностируемом психическом свойстве по его результату спустя определенное время после измерения.

Определяется также по достаточно надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-нибудь оценках способность человека к тому виду деятельности, для которой он отбирался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик - предсказанию будущей успешности, применять его очень трудно. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

Показателем прогностичности теста является степень регрессии тестовых данных к объективным критериям. Регрессия представляет собой функцию f (x₁, x₂ х₃, ... x _n ), описывающую зависимость среднего показателя теста, измеряющего данное свойство от заданных фиксированных значений реального проявления этого свойства (внешнего критерия — y). Эта функция может носить линейный и нелинейный характер (линейная регрессия: y = b + ax; параболическая зависимость: y = b + ax + cx²; гиперболическая зависимость: y = b + a/x; показательная функция: y = b + a^x).

В практической психодиагностике для прогноза развития или проявления измеренного свойства чаще применяют линейную или множественную линейную регрессию (y = b + a₁ x₁ +a₂ x_2... +a_n x_n). Физический смысл ее заключается в приравнивании зависимой и независимой переменных. Изменение зависимой переменной прямо определяет изменение независимой переменной. Коэффициент а показывает угол наклона оси регрессии, а свободный член b — отстояние начала оси регрессии от начала координат. Коэффициент корреляции показывает уровень прогностичности функции, а R² — уровень объясняемой дисперсии y за счет изменения х. При использовании тестовой батареи прогноз измеряемого свойства осуществляется посредством связанных между собой нескольких зависимых переменных (x₁, x₂ х₃, ... x_n ), которые и формируют множественную линейную регрессию. При использовании множественной линейной функции при прогнозе развития измеряемого свойства повышается уровень прогностичности тестирования и его достоверность за счет перекрытия разными методиками различных сторон измеряемого свойства.