8.2. Оценка надежности

1. Ретестовая надежность. Самый простой способ определения этого вида надежности – проведение двух обследований с помощью методики на одной и той же выборке испытуемых через определенный интервал времени. В этом случае коэффициент надежности (г_я) просто равен корреляции между двумя рядами тестовых показателей.

По существу, коэффициент корреляции (г) выражает степень соответствия или связи между двумя множествами показателей. Вычисляемые по реальным данным коэффициенты корреляции попадают между граничными значениями (-1 и +1) и обычно отличаются от нуля, но практически всегда оказываются меньше единицы (по абсолютному значению). Коэффициенты корреляции можно вычислять разными способами, в зависимо­сти от природы данных. Наибольшее распространение получил коэффициент корреля­ции Пирсона.

, (16)

где xi и yi – тестовые оценки i испытуемого по двум замерам, и - средние значения, соответственно, по первому и второму замеру на выборке испытуемых, и - среднеквадратические отклонения по первому и второму замеру на выборке испытуемых, n – количество пар значений.

Этот коэффициент учитывает не только поло­жение индивида в группе, но и степень его отклонения в ту или иную сторону от среднего уровня выборки.

Если коэффициент корреляции между двумя тестовыми замерами составляет от +0,7 до +0,9 (на уров­не р<0,01), то ретестовая надежность считается высокой, а если более + 0,9, то – очень высокой. Чем больше объем выборки, на которой производилась оценка ретестовой надежности, тем о более высокой надежности свидетельствуют одни и те же значения коэффициента корреляции. Например, коэффициент г=0,81, полученный по методике на выборке N=270, свидетельствует о более высокой надежности, чем если бы такое значение корреляции было получено на выборке N=120.

Надо иметь в виду, что значения коэффициентов корреляции при оценке надежности шкал субъективного типа будут снижаться при следующих условиях:

- оценка многомерных методик по сравнению с одномерными тестами;

- использование трех- и пятиальтернативных вариантов ответов по тестовым заданиям, особенно с развернутой формулировкой;

- наличие тестовых заданий, обладающих средней диагностической силой.

Возникает противоречивая ситуация, когда повышение надежности-согласованности сопровождается ухудшением других характеристик методики и наоборот.

В описании процедуры и результатов оценки методики всегда следует указы­вать, в каком интервале времени измерена ретестовая надежность. Поскольку корреляции постепенно снижаются по мере увеличения этого интервала, для любого теста суще­ствует не один, а бесконечное множество ретестовых коэффициентов надежности. Желательно также давать некоторые сведения о событиях, происшедших за время между двумя сеансами тестирования с теми, на ком измерялась надежность теста. Также хорошо было бы знать, какими соображениями руководствовался разработчик при выборе именно этого интерва­ла.

2. Надежность параллельных форм. Одних и тех же испы­туемых тестируют в первый раз с помощью одной формы, а второй раз – посредством другой, эквивалентной формы. Корреляция между показателями, полу­ченными по двум формам теста, представляет его коэффициент надежности. Заме­тим, что такой коэффициент надежности служит мерой как временной устойчивости, так и согласованности ответов на различные выборки заданий (или формы теста). Таким образом, этот коэффициент служит смешанной характеристикой двух типов надежности. Однако поскольку оба ее типа важны для большинства целей тестирова­ния, надежность взаимозаменяемых форм оказывается полезной мерой для оценки многих тестов.

Как и в случае ретестовой надежности, сведения о надежности параллельных форм всегда должны сопровождаться указанием длительности временного интервала между двумя предъявлениями теста, а также характеристикой релевантных событий, происшедших за это время в жизни испытуемых. Если обе формы применяются не­посредственно одна за другой, то полученная корреляция показывает только надежность параллельных форм, но ничего не говорит о надежности как временной устойчивости. Дисперсия ошибок в этом случае обусловлена колебаниями результатов при переходе от одного набора заданий к другому, а не временными флуктуациями показателей.

3. Надежность-согласованность. Этот вид надежности можно определить посредством деления теста либо на две равноценные половины, либо на столько частей, сколько содержится в нём заданий, с оценкой связи между частями теста.

3.1. Надежность эквивалентных половин теста. При таком способе каждый испытуемый получает два показателя благодаря разделе­нию теста на две эквивалентные части.

Первая проблема, с которой приходится сталкиваться при применении метода расщепле­ния, связана с тем, как разделить тест, чтобы добиться максимальной эквивалентно­сти его половин. Всякий тест можно членить многими способами. В большинстве тестов первая и вторая половины оказались бы неэквивалентными вследствие разли­чий в характере и уровне трудности заданий, а также в связи с кумулятивными эф­фектами вхождения в работу, утомления и любых других факторов, воздействие которых нарастает от начала к концу теста. Подходящий для большин­ства целей метод состоит в вычислении показателей отдельно по четным и нечетным заданиям теста.

Полученные показатели по двум частям теста коррелируются обычным методом. Однако эта корреляция показывает на­дежность лишь половины теста. Например, если весь тест состоит из 24 заданий, то корреляция вычисляется между двумя множествами показателей, каждый из кото­рых основан только на выполнении 12 заданий. В отличие от надежности этого типа, при расчете ретестовой надежности и надежности параллельных форм, каж­дый показатель основывается на полном наборе заданий теста.

Поэтому применительно к расчетам надежности эквивалентных частей теста используется формула Спирмена – Брауна, предполагающая удвое­ние числа заданий теста:

, (17)

где rhh – коэффициент корреляции эквивалентных половин теста.

При прочих равных условиях, чем больше заданий содержит тест, тем выше его надежность. Вполне оправданно ожидать, что чем обширнее выборка поведения, тем адекватнее и согласованнее получаемые единицы измерения.

Альтернативный метод вычисления надежности эквивалентных половин теста разработан Рюлоном:

, (18)

где - дисперсия разностей между показателями каждого испытуемого по обеим половинам теста, - дис­персия показателей по полному тесту.

Любая разность между показателями испытуемого по двум половинам теста от­ражает постороннее влияние или дисперсию ошибок. Дисперсия таких разностей, поделенная на дисперсию показателей по всему тесту, дает долю дисперсии ошибок в этих показателях. Вычитая эту дисперсию ошибок из единицы, мы получаем долю «истинной» дисперсии для установленного применения теста, которая равна его ко­эффициенту надежности.

3.2. Надежность совокупности тестовых заданий. Этот метод оп­ределения надежности, также использующий однократное предъявление единствен­ной формы теста, основан на оценке согласованности ответов по всем заданиям теста. На эту внутреннюю согласованность влияют два источника дисперсии ошибок: а) выборочная представленность содержания (как в случае надежности параллельных форм и экви­валентных половин теста); б) неоднородность содержания тестовых заданий. Чем однороднее задания, тем выше внутренняя согласованность. Например, если один тест включает только задания на умножение, а другой — на сложение, вычитание, умножение и деление, то первый тест, вероятно, покажет более высокую внутреннюю согласованность, чем второй. Во втором, более разнородном тесте один испытуемый может лучше справиться с вычитанием, чем с другими арифметическими действия­ми, другой покажет относительно высокий результат в делении, но хуже проявит себя в сложении, вычитании и умножении и т д.

Существует несколько способов оценки этой разновидности надежности-согласованности.

Коэффициент надежности Кьюдера – Ричардсона. Внутренняя согласованность находится по данным однократного проведе­ния единственной формы теста, но вместо использования показателей по двум экви­валентным половинам теста эта методика опирается на результаты выполнения каж­дого задания. Из различных формул шире других применяется так называемая формула КR-20:

, (19)

где rtt – коэффициент надежности полного теста, п – число заданий в тесте,

– стандартное отклонение суммарных показателей теста, p и q – доля испытуемых, соответственно справившихся (р) и не справившихся (q) с каждым заданием.

Чтобы вычислить , нужно для каждого задания найти произведение p х q, а затем сло­жить эти произведения по всем заданиям.

Коэффициент альфа Кронбаха. Формула Кьюдера – Ричардсона применима лишь к тем тестам, в которых выпол­нение заданий оценивается по принципу «А – не-А» (альтернативные признаки), т.е. «да» или «нет», «верно» или «не верно». В некоторых тестах, однако, практикуется более дифференциро­ванная форма представления результатов заданий. Например, в личност­ном опроснике испытуемый может получить различные числовые показатели по любому конкретному пункту опросника в зависимости от того, на какой из готовых категорий ответов он остановил свой выбор: например, «да», «пожалуй, да», «нечто среднее», «пожалуй, нет», «нет». Для таких тестов была выведена обобщенная формула, известная как коэффициент альфа. В этой формуле заме­нена на - сумму дисперсий балльных оценок по каждому заданию теста. Про­цедура вычислений состоит в нахождении дисперсии всех индивидуальных балльных оценок по каждому заданию с последующим суммированием этих дисперсий по всем заданиям. Полная формула коэффициента альфа выглядит следующим образом:

(20).

Кластерный анализ Горбатенко. Его суть состоит в применении математической процедуры «распознавания образа». Она позволяет «без учителя» выделять таксоны (кластеры), заpанее не задавая пpедполагаемое их количество и состав. Таксон включает в себя ряд тестовых заданий, которые фактически можно рассматривать как обладающие внутренним сходством, а значит, характеризующиеся надежностью-согласованностью.

Алгоритм данного метода предполагает:

а) составление «матрицы описания», которая характеризует конкретное состояние группируемых переменных (пунктов методики);

б) установление по определенным критериям численных значений связей (сходства) между всеми группируемыми переменными (пунктами методики) и построение «матрицы коэффициентов сходства»; в качестве меры «сходства» описаний i-го и j-го членов группы используется величина:

, (21)

где - число совпадений выборов в i-ом и j-ом столбцах, - число несовпадений выборов в i-ом и j-ом столбцах, - суммарное число выборов в i-ом и j-ом столбцах.

в) группировка переменных (пунктов) в таксоны и определение коэффициента плотности, характеризующего качество данной группировки; для того чтобы определить качество (плотность) полученных таксонов, используется мера D, которая вычисляется по формуле:

D= , (22)

где - число пунктов методики, - мера сходства между «центральным» и наиболее «удаленным» (несходным с центральным) пунктом.

г) в случае, если группировка производилась неоптимальным образом или качество группировки не удовлетворяет определенным критериям, производится перегруппировка переменных.

Для проведения расчетов используется специально разработанная компьютерная программа.

По методике (или каждой шкале многомерного теста) в программу дважды вводятся ответы всех испытуемых выборки по каждому заданию:

• ответы по совпадению с ключом (значимым вариантам ответов), которые индексируются «1»;

• ответы по несовпадению с ключом, которые индексируются «0».

По каждому способу обработки во внимание принимаются:

• количество таксонов и «доминирующий» (по численности и плотности) из них;

• не вошедшие ни в один таксон тестовые задания.

В окончательном варианте стимульного материала оставляют только те задания, которые входят в «главный» таксон каждого способа ввода данных (могут быть задания, которые одновременно входят в один и другой таксон).