Надежность

Наиболее широко употребляемое определение надежности основывается на выявле­нии связи между дисперсией серии измерений, полученных в результате наблюде­ний, и дисперсией безошибочных измерений (Nunnally, 1978). К сожалению, безоши­бочные измерения — это теоретическая концепция; на практике они неизвестны, по­этому техническое определение надежности довольно трудно для понимания большинства людей.

Дисперсия — см. стр. 64.

Заал и Найт (Saal & Knight, 1988) предлагают другую полезную формулировку технического определения надежности: «надежные измерения относительно свобод­ны от случайных ошибок или погрешностей, то есть ошибок, в появлении которых не удается выявить какой-либо паттерн» (стр. 139). Как можно узнать, что измерение относительно свободно от этих ошибок? Последуйте совету плотника и измерьте хотя бы дважды, а отрежьте один раз. Если результаты ваших измерений совпадут, то мо­жете уверенно резать. Если исправный карманный калькулятор при повторном тро­екратном сложении колонки показывает ту же сумму, то полученный ответ, вероят­но, является правильным.

Как показывают примеры, в практическом смысле под надежностью понимают постоянство или устойчивость результатов измерений. Если определенный измери­тельный инструмент надежен, то при повторных измерениях, проводимых тем же или другим человеком, результат не изменится. И наоборот, ненадежные измеритель­ные инструменты дают различные результаты измерений, зависящие от обстоятельств.

Надежность — это общее требование, предъявляемое к измерениям любого типа при любых условиях. В организациях многие измерения проводятся в форме тестов, таких как отборочные тесты при приеме на работу, тесты способностей с целью определения потребностей в обучении и тесты компетентности для определения пригодности человека к повышению по службе. В результате индустриально-организационные психологи, занимающиеся практической работой, часто сталкиваются с вопросами надежности тестов.

Существует несколько способов оценки того, насколько надежные результаты из- мерений дает данный тест. В индустриально-организационной психологии чаще всего используются три метода. Все они являются коррелируемыми процедурами, но, тем не менее, часто дают различные результаты, потому что в каждом расчете присутствуют свои источники ошибок. Поэтому оценки надежности, как и сами результаты тестов, следует рассматривать только как оценки существующего положения дел. На практике исследователь предпочитает один метод оценки надежности теста другому, учитывая ряд факторов, в том числе и то, какой источник ошибок наиболее приемлем с точки зрения конкретной поставленной цели. Этот выбор в какой-то степени определяется также практическими соображениями, вытекающими из процедурных требований, о которых мы поговорим при рассмотрении каждого метода.

Корреляция — см. стр. 60.

Оценка надежности теста методом повторного тестирования (test-retest)

Одним из наиболее часто используемых операциональных определений надежности теста является процедураповторного тестирования (ретест). С помощью этой проце­дуры вычисляется коэффициент корреляции между двумя переменными — результа­тами измерений, полученными при двукратном тестировании одних и тех же людей с использованием одного и того же теста, но в разное время. Полученный в результате коэффициент обозначается буквой г, как и все прочие коэффициенты корреляции, но его называют коэффициентом устойчивости. Чем ближе его значение к 1,00, тем больше уверенность в надежности результатов теста.

Операциональное определение — см. стр. 45.

Переменные — см. стр. 44.

С точки зрения исследователя, процедура повторного тестирования проста и зани­мает немного времени. Испытуемым она, вероятно, нравится меньше, поскольку им приходится проходить тест дважды. Как подчеркивают Смит и Джордж (Smith & George, 1994), важным аспектом тестирования является мотивация испытуемых хорошо справиться с тестом: Возможно, что при повторном тестировании испытуемые чувствуют нетерпение или скуку, за счет чего в результаты вносится дополнительная погрешность. Многие исследователи также сообщают, что сталкиваются с проблемой отсева испытуемых: некоторые из них после первого тестирования просто исчезают и не участвуют во втором.

При исследовании надежности теста методом повторного тестирования в проме­жутке между первым и вторым тестированием могут произойти также и другие собы­тия. Если это слишком короткое время, то на коэффициент устойчивости могут по-

влиять такие факторы, как запоминание вопросов теста или полученный при первом тестировании опыт, а также снижение интереса испытуемых к тесту. Если между пер­вым и вторым тестированием проходит слишком много времени, то испытуемые могут измениться в каком-либо релевантном тесту отношении (они могут подготовиться, накопить опыт, изучить материал и так далее).

Если бы полученный при первом тестировании опыт влиял на всех испытуемых совершенно одинаково или с ними произошли бы одни и те же изменения, то при исследовании надежности теста не возникало бы серьезных проблем. Однако это чрез­вычайно маловероятно. У одних испытуемых хорошая память, а у других — плохая. У некоторых испытуемых тест вызовет любопытство, и они изучат данную тему, чтобы найти ответы на все вопросы (даже если не знают, что им снова будет предложен этот тест); другие не будут тратить на это время.

Неодинаковые реакции испытуемых на первое тестирование вносят дополнитель­ную ошибку в оценку надежности теста. По этой причине данный метод наиболее поле­зен для оценки надежности тестов, предназначенных для оценки умений, которые не имеют отношения к памяти и вряд ли улучшатся в результате непродолжительной практики во время первого тестирования. В качестве примеров таких тестов можно привести тесты на остроту слуха, на умение решать проблемы и на тонкую моторику (finger manipulation dexterity).