Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Теория измерений в социологии. Учебное пособие
.pdf
сомнительности предикативной валидности предложенного инструментария.
Конструктивная валидность связывает предлагаемый инструмент измерения со структурой теории. Схема рассуждений следующая46:
1. Предполагается, что инструментарий измеряет определенное
свойство.
2. Данное предположение проходит интерпретацию в терминах
теории.
3. Определяются свойства, связанные или не связанные с инстру-
ментарием.
4. Ищется эмпирическое подтверждение предполагаемых отно-
шений.
Если предсказание подтверждается эмпирическими данными,
инструмент считается валидным.
Полнота предполагает, что шкала должна учитывать все возможные значения.
Пример. Вопрос из анкеты социологического исследования, по-
священного изучению молодежных общественных объединений.
Откуда Вы узнали о существовании данного молодежного обще-
ственного объединения?
1. Из сообщений телевидения
2. Из сообщений радио
3. Из прессы
4. Затрудняюсь ответить
Очевидно, что эта шкала не может являться полной, так как не
учитывает таких источников информации, как школьные педагоги, родители, друзья и т. д.
Надежность шкалы – характеристика шкалы, отражающая вероятность отклонения приписываемого измеряемому объекту значения от
его истинного значения. Надежность шкалы является интегральной характеристикой, включающей правильность, точность, устойчивость и
валидность.
46
Батыгин Г. С. Указ. соч. С. 106.
41
Для оценки уровня надежности шкалы используются три техники
так называемого косвенного оценивания47:
– «тест-ретест»;
– параллельные измерения;
– деление шкалы.
Техника «тест-ретест» позволяет установить вероятность возникновения различных результатов при нескольких (чаще всего двух) замерах одного и того же объекта одинаковым инструментом. Техника
имеет существенный недостаток: не дает никаких сведений об источнике ошибок. Так, при повторном замере-интервьюировании очень велика вероятность того, что предыдущий замер будет влиять на последующие замеры, что приведет к завышенной надежности инструмента.
От недостатков, присущих технике «тест-ретест», избавлена техника параллельных измерений, или параллельных данных, о которой
уже упоминалось. Напомним, что суть техники в том, что для измерения одного и того же объекта используются несколько форм инструмента (чаще всего две), что позволяет получить несколько рядов (по количеству инструментов) данных. Наличие корреляции между рядами
данных позволяет заключить, что выбранный инструмент надежен.
В то же время довольно сложно определить, какой из разработанных
инструментов лучше использовать, и приходится делать этот выбор
произвольно. Другой фактор, затрудняющий использование метода, заключается в том, что разработка двух параллельных инструментариев –
достаточно трудоемкая задача, которая себя зачастую не оправдывает.
Третья технология оценки уровня надежности шкалы – деление
шкалы. Данная технология заключается в том, что разработанный измерительный инструмент особым образом делится на две части, каждая
из которых независимо друг от друга используется при измерении объекта. Так, например, разработав методику для измерения какой-либо социальной характеристики, являющейся набором вопросов, мы можем
все эти вопросы разделить на две части – вопросы с четными номерами
и вопросы с нечетными номерами. Каждую из полученных частей
можно использовать для измерения объекта. По полученным результатам измерений рассчитываются средние значения переменной, а затем
рассчитывается коэффициент корреляции, который в данном случае и
будет выступать в качестве меры надежности инструмента измерения.
47
Батыгин Г. С. Указ. соч. С. 102–103.
42
Рассмотрим некоторые ситуации, связанные с надежностью ин-
Значение
шкалы
+5
+4
+3
+2
+1 0 -1
-2
-3
-4
-5
Частота
125
45
30
28
10
10 2 5
05,0=
струментария.
При проведении измерений довольно часто обнаруживается, что
работает лишь часть разработанной исследователем шкалы. Такие ситуации, например, часто возникают, когда респондентам предлагаются
для оценивания какие-либо заведомо положительные ситуации, и, таким образом, возникновение отрицательной оценки со стороны респондента становится маловероятным. Для исследователя подобные ситуации принципиально важны, так как вычисление относительной ошибки
измерения требует знания метрики, используемой респондентом (использует ли при измерении он все шкалу или только её часть). Разберем
ситуацию на конкретном примере.
Пример. При проведении социологического исследования иссле-
дователи используют шкалу, имеющую 11 градаций (крайние полюса
шкалы соответствуют значениям +5 и –5, среднее значение по шкале
равно 0). Полученные замеры (общее число равно 255) приведены в
табл. 5.2.
Таблица 5.2
По полученным данным мы видим, что значения меньше нуля использовались в незначительном числе случаев – в 2,75 % случаев. Таким образом, необходимо выявить, работает ли отрицательная часть
шкалы.
Определим, что если вероятность p попадания ответа респондента в конец шкалы не превышает 5 % при достаточно малом уровне
значимости (
), то наблюдаемые попадания ответов являются
случайными, и соответствующая часть шкалы является нерабочей. Для
этого необходимо сверить значения границ доверительного интервала,
построенного по имеющейся частоте для вероятности попадания в конец шкалы, со значением 5 %. Если значение 5 % оказывается выше
границ этого интервала, то следует сделать заключение о том, что часть
шкалы является нерабочей.
43
Границы доверительного интервала рассчитываются по форму-
( )
2
2
2
22
2
2
1
4
1
1
2
1
+
+−−+
=
Zn
ZnmmZZmn
p
( )
2
2
2
22
2
2
2
4
1
1
2
1
+
+−++
=
Zn
ZnmmZZmn
p
2
Z
1
p
2
p
1
p
2
p
99,01 −
лам48
,
,
где m – доля попаданий в проверяемую часть шкалы; n – объем выборочной совокупности данных; Z – коэффициент доверия, соответствующий
.
В нашем примере m = 0,0275, n = 255,
=1,96 для =0,05. Рас-
четы дают для границ доверительного интервала следующие значения:
=0,0134,
=0,0556 или в процентах
=1,34 %,
=5,56 %. Так как
значение 5 % принадлежит полученному интервалу, то отрицательная
часть шкалы все же является рабочей.
Для вопросов, имеющих качественные градации, подобное требование может быть применимо в отношении каждого пункта используемой шкалы. Пункты анализируемой с помощью этого требования
шкалы должны набирать не менее 5 % ответов, иначе эти пункты следует считать неработающими49.
Еще одной ситуацией, часто возникающей при измерениях (особенно по упорядоченным шкалам со словесными описаниями), является выпадение отдельного пункта градации, хотя соседние градации
шкалы имеют значительное наполнение. Подобная же ситуация складывается, когда респонденту предлагают шкалы с большой дробностью.
В первом случае, очевидно, происходит захват ответов из неудачно
сформулированного пункта. Во втором случае респондент не в состоянии оперировать всеми предложенными градациями и вынужден выбрать только несколько базовых.
«Рабочая книга социолога» в этом случае рекомендует воспользоваться следующим правилом50: для достаточно большой доверительной вероятности (
) наполнение каждого значения не должно
существенно отличаться от среднего для соседних наполнений.
48
Рабочая книга социолога. С. 254.
49
Там же. С. 254.
50
Там же. С. 255.
44
Соответствующий статистический критерий таков
( ) ( )
( )( )
iiii
ii
nnnnn
nnn
~
2
~
12
~
2
2
−−+
−−
=
i
n
i
n
~
2
~
11 +−
+
=
ii
i
nn
n
1=df
Значение шкалы
+5
+4
+3
+2
+1 0 -1
-2
-3
-4
Частота
125
10
30
28
10
10 8 6 2 1
10
4=+
n
5,77
2
30125
~
4
=
+
=
+
n
2
( ) ( )
( )( )
17,64
75,32593
5,2091433
5,3725,87
4595,4556
5,771023025,7710
123025,7710
2
2
=
=
−−+
−−
=
635,617,64
2
кр
2
==
01,0=
,
где i – номер значения анализируемого признака;
стота для этого значения;
– ожидаемая частота, равная средней двух
– наблюдаемая ча-
соседних:
.
Величина статистического критерия имеет хи-квадрат распределения с одной степенью свободы (
).
Пример. При проведении социологического исследования иссле-
дователи используют шкалу из 10 градаций. Полученные замеры (общее число равно 230) приведены в табл. 5.3. Поскольку предполагается,
что шкала должна работать равномерно, необходимо убедиться, удовлетворяет ли этому условию пункт шкалы +4.
Таблица 5.3
Проведем соответствующую оценку. Наблюдаемая частота равна
. Ожидаемая частота равна
.
Подставим полученные значения в приведенную формулу для
расчета
и получим расчетную величину этого коэффициента.
В нашем случае имеем
.
Поскольку
(
), то различие между
наблюдаемой и ожидаемой частотами значимо, а частота 10 слишком
мала по сравнению с соседними частотами. Необходимо изменение
шкалы, а именно уменьшение числа пунктов.
В заключение остановимся на одном из важных элементов
надежности шкалы – устойчивости51.
51
Рабочая книга социолога. С. 257–264.
45
Устойчивость – характеристика шкалы, отражающая воспроиз-
Опрос №2
1
i
n
1
х
...
j
х
...
Опрос №1
1
х
11
n
...
jn1
...
kn1
1
1
n
...
...
...
...
i
х
1i
n
...
ij
n
...
ik
n
1
i
n
...
...
...
...
...
...
k
х
1k
n
...
kj
n
...
kk
n
1
k
n
2
j
n
2
1
n
...
2
j
n
...
2
k
n
n
1
a
x
2
a
x
k
х
водимость результатов при осуществлении многократных измерений.
Устойчивость проверяется на одной и той же выборке исследуемых
объектов путем проведения двух последовательных измерений, осуществляемых через определенный период времени. Временной интервал между измерениями не должен быть слишком большим, иначе может произойти изменение объекта, и в то же время временной промежуток не должен быть слишком малым, так как необходимо исключить
ситуации, когда респондент «припоминает» свои предыдущие ответы.
Как правило, рекомендуется выбирать промежуток, равный двум-трем
неделям, и ограничиваться двумя измерениями52.
Полученные результаты опросов n респондентов заносятся в
специальную таблицу (табл. 5.3), используемую для дальнейшего изучения устойчивости шкалы.
Таблица 5.3
Результаты двух повторных измерений
В табл. 5.3 x – изучаемый на устойчивость признак, имеющий
отдельный значения x1, x2, x3, …, xk. Каждый респондент a (a =1,…, n)
при первом и втором опросах получает некую оценку по изучаемому
признаку –
и
соответственно. В построенной таблице nij – число
респондентов, давших в первом опросе ответ xi, но заменивших его в
втором опросе на xj.
На основе полученной таблицы рассчитывают показатель абсолютной устойчивости шкалы:
52
Рабочая книга социолога. С. 257.
46
n
n
W
k
ji
ij
===1
.
=
−=
n
i
aa
xx
n
1
12
1
1
a
x
2
a
x
a
( )
=
−=
n
i
aax
xx
n
S
1
2
12
2
1
Опрос №2
1 2 3 4 5
Опрос №1
1 7 5 3
15
2 1 11 4 4
2
22 3 3 12 5 2
22 4 1 4
12
1
18 5 2 6 15
23
8
20
25
27
20
100
78,0
100
5515...313215117
=
−++−+−+−
=
Для описания устойчивости количественных признаков данного
показателя недостаточно, поэтому необходимо использовать такие показатели, как средняя арифметическая ошибка и средняя квадратическая оценка.
Средняя арифметическая ошибка – показатель среднего сдвига в
ответах в расчете на одну пару последовательных наблюдений:
,
где
и
– ответы по анализируемому вопросу
-го респондента в
первом и втором замерах соответственно.
Аналогично рассчитывается и средняя квадратическая оценка:
.
Пример. Пусть ответы на вопросы, заданные 100 респондентам,
в серии из двух замеров по пятибалльной шкале распределились так,
как показано в табл. 5.4.
Таблица 5.4
Ошибка такого соотношения ответов:
.
Данный показатель интерпретируется как средний сдвиг в ответах одного респондента.
47
Средняя квадратическая ошибка:
( )
22222
01516...231507
200
1
+++++=
x
S
max
=
отн
max
minmaxmax
xx −=
max
x
min
x
1
max
−= k
1−
=
k
отн
k
1
max
−
=
=
k
отн
1−
=
k
S
S
отн
.
Кроме абсолютных показателей ошибок измерения, используются и относительные показатели ошибок измерения. Самым простым
таким показателем является относительная ошибка измерения, в самом
общем случае имеющая вид
,
где ,
– средняя и максимально возможная ошибки, которые
можно использовать в качестве показателя для нормирования абсолютной ошибки.
Максимально возможная ошибка:
,
где
,
– крайние значения шкалы. Если число значений шкалы
равно k, то максимально возможная ошибка составляет
.
В этом случае относительная ошибка:
.
Если шкала не используется по всей ее протяженности, то нужно
рассчитывать относительные ошибки, относящиеся только к работающей части шкалы. Если число градаций в работающей части шкалы
равно
, то относительная ошибка:
.
В принципе, в качестве абсолютной ошибки можно использовать
и среднюю квадратическую ошибку S. Тогда можно рассчитывать показатель относительной ошибки:
.
Вопросы для самоконтроля
1. Какими свойствами обладают шкалы?
2. В чем состоит свойство релевантности шкалы?
48
3. В чем суть выяснения релевантности на основе конструирования типологии в соответствии с целями исследования на базе нескольких признаков?
4. В чем суть выяснения релевантности на основе использования
параллельных данных?
5. В чем суть выяснения релевантности на основе экспертных
процедур?
6. В чем состоит свойство валидности шкалы?
7. В чем состоит свойство полноты шкалы?
8. В чем состоит свойство надежности шкалы?
49
Глава 6. МЕТОД ТЕРСТОУНА ИЗМЕРЕНИЯ УСТАНОВКИ
Методы одномерного шкалирования фактически представляют
собой методы измерения одномерных латентных переменных. Схема
данного процесса предельно проста. Строится некая модель, которая
позволяет переводить наблюдаемые данные в значения латентной переменной.
При разработке методов одномерного шкалирования разработчики ставили перед собой задачу достичь определенных целей. Можно
указать по крайней мере две такие цели53:
1) Значения латентной переменной, получаемой с помощью разрабатываемого метода, должны отвечать двум требованиям – требованию адекватного отражения мнения респондента и требованию простоты получения значений латентной переменной. Первое требование
заключается в том, что в рамках предложенного метода необходимо
знать, как интерпретировать полученные значения, и быть уверенным в
адекватности этой интерпретации. Требование простоты получения
значений латентной переменной заключается в том, что предлагаемый
метод должен быть достаточно прост, чтобы его можно применять для
выявления мнений достаточно большого числа респондентов, использовать репрезентативную выборку и получать в конечном итоге статистически надежные выводы.
2) Предлагаемый метод должен обеспечить достаточно высокий
уровень измерения. Обеспечить возможность применения к шкальным
значениям, полученным с помощью этого метода, традиционных числовых методов, позволяющих выявлять существующие статистические
закономерности и осуществлять перенос результатов с исследуемой
выборочной совокупности на генеральную.
Значительные успехи в разработке данных методов принадлежат
американскому психологу Луису Леону Терстоуну. Л. Терстоун при создании своего метода опирался на результаты, которые были достигнуты им при разработке субъективных шкал (отвечающих индивидуальному восприятию каждым респондентом значений некоторого
вполне объективно существующего признака) для психофизических исследований. Построение установочной шкалы Терстоуна происходит в
несколько этапов54.
53
Толстова Ю. Н. Указ. соч. С. 40–41.
54
Там же. С. 43–52.
50
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]