3. Надежность и валидностъ

Прежде чем психодиагностические методики могут быть использованы для практических целей, они должны прой­ти проверку по ряду формальных критериев, доказываю­щих их высокое качество и эффективность. Эти требования в психодиагностике складывались годами в процессе работы над тестами и над их совершенствованием. В результате по­явилась возможность оградить психологию от всевозмож­ных безграмотных подделок, претендующих на то, чтобы называться диагностическими методиками.

К числу основных критериев оценки качества психоди­агностических методик относятся надежность и валидностъ. Большой вклад в разработку этих понятий внесли зарубеж­ные психологи А. Анастази, Е. Гизелл, Дж. Гилфорд, Л. Кронбах, Р. Торндайк и Е. Хаген и другие. Они разработали фор­мально-логический и математико-статистический аппараты (прежде всего корреляционный метод и факторный анализ) обоснования степени соответствия методик отмеченным критериям.

3.1. Надежность

Под надежностью понимается устойчивость или согласованность результатов теста, получаемых при повторном его применении к тем же испытуемым в различные моменты времени, при использовании разных наборов эквивалентых заданий или же при изменении других условий обследования. Такое понимание надежности лежит в основе вычисления ошибки измерения отдельного показателя, благодаря чему можно предсказывать диапазон случайных колебаний тестового балла у конкретного человека, возникающих под действием посторонних или неизвестных факторов.

В традиционной тестологии термин «надежность» озна­чает относительное постоянство, устойчивость результатов теста при первичном и повторном его применении на одних и тех же испытуемых. Если измерение IQ ребенка при первом тестировании дает коэффициент интеллекта, равный 110, а при повторном тестировании, равный 80, то очевидно, что ни к одной оценке нельзя отнестись с доверием. Повторное применение надежных ме­тодик дает сходные оценки. При этом в определенной мере могут совпадать как сами результаты, так и порядковое место (ранг), занимаемое испытуемым в группе. И в том и в другом случае при повторении эксперимента возможны некоторые расхождения, но важно, чтобы они были не­значительными.

Таким образом, можно сказать, что надежность методи­ки — это такой критерии, который говорит о точности пси­хологических измерений, т. е. позволяет судить о том, на­сколько внушают доверие полученные результаты.

Проверка психодиагностических методик на надежность идет по трем направлениям: ]) проверяется надежность самого измерительного инструмента; 2) проверяется ста­бильность измеряемого признака, свойства; 3) проверяет­ся константность, т. е. относительная независимость резуль­татов от личности экспериментатора и незначительных из­менений в условиях эксперимента. Во всех этих случаях высчитывается коэффициент корреляции, который и яв­ляется показателем надежности. Надежность тем выше, чем ближе полученный коэффициент корреляции к единице.

1. Надежность эквивалентных половин теста. Для проверки надежности измерительного инструмента, говорящего о его однородности (или гомогенности), исполь­зуется так называемый метод «расщепления» теста на две равноценные половины. При таком способе каждый испытуемый получает два показателя. Тест можно делить многими способами. В большинстве тестов первая и вторая половины оказались бы неэквивалентными из-за различий в характере и уровне трудности заданий, а также в связи с особенностями вхождения в работу, практики, утомления, скуки и других факторов, воздействие которых нарастает от начала к концу теста. Поэтому зада­ния теста делятся на четные и нечетные. Практически эквивалентные показатели обеих половин можно получить, если задания теста изначально располагаются в порядке возрастания трудности. Если тест содержит группу взаимосвязанных заданий, то каждая такая группа должна быть целиком отнесена либо к одной, либо к другой половине.

Полученные показатели обраба­тываются отдельно по каждой половине, а затем результаты двух полученных рядов коррелируют между собой. Если методика однородна, то боль­шой разницы в успешности решения по таким половинкам не будет и, следовательно, коэффициент корреляции будет достаточно высоким (он должен быть не ниже +0,75),

2. Ретестовая надежность. Для проверки стабильности диагностируемого призна­ка, свойства используется прием повторного тестирования, известный под названием «тест-ретест». Он заключается в повторном обследовании испытуемых с помощью той же методики спустя какое-то время (обычно от 2 нед. до полу­года). Отклонения соответствуют случайным колебаниям в выполнении заданий от одного сеанса тестирования к другому. Эти колебания могут быть результатом неконтролируемых условий тестирования: резкие изменения погоды, внезапные шумы и другие отвлекающие факторы. В какой – то степени они могут быть вызваны и изменениями в состоянии в самих испытуемых, например, болезнью, утомлением, эмоциональным напряжением, беспокойством, недавними приятными или неприятными переживаниями. Ретестовая надежность показывает, в какой степени результаты теста можно распространить на различные случаи его применения. Чем выше надежность, тем менее чувствительны тестовые показатели к случайным изменениям состояния тестируемых и обстановки тестирования.

О стабильности признака судят по коэффициенту корреляции между результатами первого и второго обсле­дования. Он должен быть порядка +0,70.

Несмотря на простоту процедуры повторного тестирования, возникают трудности при ее применении. При повторном тестировании может иметь место улучшение показателей. Если промежуток времени между первым и вторым тестированием мал, испытуемые могут вспомнить свои прежние ответы, как правильных, так и неправильных. Также повторное проведение может изменить саму сущность теста. В первую очередь это относится к задачам, требующих логических рассуждений или сообразительности. Испытуемый, однажды ухватив принцип решения или построив всю цепь рассуждений, в дальнейшем может воспроизводить правильный ответ, минуя промежуточные ступени. Методика повторного тестирования применима только к тем тестам, на которые их повторное проведение на одних и тех же испытуемых не оказывает заметного влияния (это моторные тесты и тесты сенсорного различения).

3. Константность методики определяется путем корреля­ции результатов двух экспериментов, проведенных в отно­сительно одинаковых условиях на одной и той же выборке испытуемых, но разными экспериментаторами. Коэффи­циент корреляции должен быть порядка +0,80.

Очень важно точно указывать тип надежности и способ ее определения, поскольку один и тот же тест может изменяться при этом в различных аспектах. Кроме того, следует сообщать сведения о величине и характере выборки, на которой проверялась надежность теста. Такая информация дает возможность пользователям теста предсказывать, будет ли данный тест столь же надежен для той группы, в которой они собираются его применить, или же им следует ожидать снижения – повышения его фактической надежности по сравнению с номинальной.