Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Проблемы оптимизации выборочных данных с неполнотой в диапазоне. Монография
.pdf
I. Неполный диапазон данных в эмпирических социологических исследованиях...
1) относительная доля выборки, от единиц которой не были
получены данные;
2) то, насколько структура (свойства) по соответствующим
характеристикам ответивших респондентов отличается от структуры неответивших.
При этом не имеет значения, отсутствуют ли данные потому, что респондент отказался участвовать в опросе, или потому, что по разным причинам не дал ответа на отдельные вопросы.
Поэтому неполученные ответы в основном имеют два негативных последствия для качества оценок выборочного исследования.
Во-первых, можно уменьшить количество случаев, из которых получаются данные. В результате оценки будут менее точными с ростом случайной ошибки оценки. Во многих исследованиях,
например, объем выборки был зафиксирован, а потери нарушали
предназначение выборки.
Во-вторых, что более важно, возникает значительная системная ошибка. Вывод относится к тем случаям, когда неответившие респонденты отличаются по соответствующим характеристикам от ответивших. Как правило, именно этот случай
наблюдается на практике. В конце концов выборка перестает
быть репрезентативной, хотя она была таковой запланирована.
Ошибки потери данных не могут быть исправлены путем добавления дополнительных единиц в выборку (так называемых дополнений).
Подчеркнем, что сокращение объема выборки как следствие
наличия неответивших респондентов напрямую влияет на распределение выборочных оценок. Уровень целостной потери данных (неответивших лиц) выше, чем в ситуации, когда не отвечают
только на отдельные вопросы. При уменьшении размеров выборки эффекты обоих типов потери данных объединяются.
31
Глава первая. Проблемы при неполном диапазоне данных в эмпирических исследованиях...
В табл. 11 показана аналогичная ситуация1. Известно, что
степень, в которой могут быть получены некорректные результаты, зависит от:
1) различий, если таковые существуют, между характеристиками распределений исследуемых и неисследованных частей выборки;
2) полноты – относительной доли единиц выборки, которые
мы смогли исследовать.
2
Таблица 11
Влияние потери данных на объем выборки и стандартные ошибки оценок
Планируемая
выборка
n
1000 1,0 1,0 1000 0,0158
1000 0,9 0,9 810 0,0176
1000 0,9 0,8 720 0,0186
1000 0,8 0,9 720 0,0186
1000 0,8 0,8 640 0,0198
1000 0,7 0,9 630 0,0199
1000 0,7 0,8 560 0,0211
1000 0,6 0,9 540 0,0215
1000 0,6 0,8 480 0,0228
Степень
полного
ответа
Степень
частичного
ответа
Фактическая
выборка
n
для P = 50 %
С. О.
оценки
2
1
Если была определена 1000 респондентов и ответов не было получено, стандартная ошибка со средним значением 50 % будет 0,0158. Если общий уровень
потери данных составляет 70 %, а частичная потеря – 90 %, у нас будет только
630 полностью полученных ответов по отдельной переменной, со стандартной
ошибкой 0,0199, т. е. ее рост на 26 %. Если частичная потеря информации упадет
до 80 %, стандартная ошибка для той же переменной будет выше – 0,0211, она
фактически возрастет на 33,6 % от неответов. Таким образом, оба типа потери
информации способствуют более высокой стандартной ошибке, которая заключается в снижении точности оценок, полученных в результате исследования.
2
С. О. – стандартная ошибка оценки (Standard Error of an Estimate).
32
I. Неполный диапазон данных в эмпирических социологических исследованиях...
Последнее может быть установлено путем проведения соответствующей методической регистрации в процессе исследования. Влияние первого фактора лучше всего оценивать с помощью
исследований, проводимых специально для этой цели.
Опыт показывает, что слишком часто неполученные данные
отличаются от полученных достаточно отчетливо. Их генерализация, даже не принимая во внимание этот факт, неизбежно приводит к серьезным последствиям, которые мы изложили выше.
Многие исследования показывают, что характеристики выбранных респондентов меняются в зависимости от количества
посещений. В примере Штефана, Маккарти, Киша (табл. 12) причины этих изменений заключаются в том, что женщины, имеющие детей до 2 лет, как правило, находятся дома, когда их посещает интервьюер, в отличие, например, от других категорий членов
домохозяйств.
Таблица 12
Особенности респондентов по количеству посещений
Первое посещение
Величина выборки 2072 726 467 0 3265
Относительная доля всех
интервьюеров
Относительная доля домохозяйств с детьми до 2 лет
63,5 22,2 14,3 – 100,0
17,2 9,5 6,2 – 13,9
Второе посещение
щее посещение
Третье или следую-
Неответившие
вание домохозяйств
Общее интервьюиро-
Мерцер и Батлер, изучая характеристики отказавшихся отвечать в общем опросе домохозяйств в Риверсайде, Калифорния,
33
Глава первая. Проблемы при неполном диапазоне данных в эмпирических исследованиях...
пришли к выводу, что доля отказов составляет около 2 % для домохозяйств, где соответствующие респонденты были в возрасте
18–20 лет, и увеличилась до 16 % для респондентов в возрасте
60–70 лет. По представленным данным видно, что в конкретных
условиях пожилые люди, как правило, менее склонны давать информацию для проводимых исследований1.
Есть все основания полагать, что различия между ответив-
шими и отказниками всегда существуют. Предсказывать умозрительным путем мысли отказников непросто и почти всегда
рискованно, даже при наличии богатого практического опыта.
Различие между исследованными и неисследованными единицами обусловливает необходимость рассматривать исследуемую совокупность как состоящую из двух основных групп: иссле-
дуемых единиц и неисследованных единиц.
Выборка дает информацию о RY
знака для группы изучаемых единиц и для
– среднем значении при-
N
R
– относительной
N
доли группы изучаемых единиц, но не дает никакой информации
о
Y – среднем значении соответствующего признака для груп-
NR
пы неисследованных единиц и для доли группы неисследованных
N
NR
единиц
. Поскольку выборочная оценка среднего
N
NN
RNR
YY Y
(1)
RNR
NN
,
то отклонение между
1
Эту корреляцию следует изучить для конкретных условий. Можно выдвинуть
гипотезу о том, что у нас наоборот – пожилые люди чаще дают информацию,
потому что они дома (и легкодоступны), кроме того, пожилые люди имеют высокую степень алиенации (в изоляции) и нуждаются в социальных контактах и
расширении информационных каналов. Другой вопрос, когда и в какой степени это обеспечивает достоверность ответов.
Y как оценка Y равно
R
34
I. Неполный диапазон данных в эмпирических социологических исследованиях...
N
R
bias1
YYY
() ( ).
R
(2)
N
RNR
Системная ошибка может быть равна нулю в случаях:
1) если
2) если
YY
RNR
N
NR
0.
;
N
Когда
0
Y или 1 и, следовательно,
NR
YPR
R
,
YP и
NR
NR
PNR лежат на отрезке (0, 1), можно вычислить приемлемые дове-
рительные границы для pR.
При гауссовом распределении 67 %-ные доверительные границы задаются формулами:
NN
(),
Pp
Pp
RNR
(3)
LR
NnRN
NN
RNR
(),
(4)
UR
NnRN
pRqR
pRqR
где предполагается, что для всех, для кого отсутствуют данные,
0
Y или 1
i
Выборка с большим объемом уменьшает член
Y одновременно.
i
pRqR
в (4).
nR
N
R
Члены, включающие
, остаются постоянными, и поэтому
N
не рекомендуется значительное снижение доверительных преде-
N
лов, если
R
не уменьшается.
N
1
Bias – нестохастическая (систематическая) ошибка (англ.). В формуле для удобства сохранен английский термин.
35
Глава первая. Проблемы при неполном диапазоне данных в эмпирических исследованиях...
Для генеральной совокупности в большинстве случаев практически невозможно или полностью невозможно уменьшить
долю неисследованных единиц NNR до нуля.
Единственное исключение из этого – если доля неисследованных единиц в выборке nNR станет равной нулю. И стратегия
должна заключаться не в достижении нуля, а в том, чтобы свести
долю неисследованных единиц к некоторому минимуму. Это во
многих случаях может быть достигнуто относительно легко, иногда с небольшими дополнительными затратами.
Традиционный подход заключается в том, чтобы уменьшить
количество неохваченных единиц путем повторного обхода территории, используя хорошо работающие инструкции и вспомогательные средства, такие как карты и фотографии. Для почтовых
и телефонных исследований – с помощью обновленных списков
адресов и телефонных номеров. И в любом случае – за счет привлечения хорошо подготовленных специалистов и разработки
удобных схем организации полевых работ, позволяющих избежать ошибок и нежелательно большой доли неответивших.
Число респондентов, которые «отсутствуют дома», уменьшается за счет повторных посещений, а количество «отказавшихся
отвечать» – с помощью привлекательных вопросов, искусно проведенных интервью, разумно составленных (структурированных)
анкет. С точки зрения затрат стоит вопрос об их оптимизации. В
принципе, повторные визиты могут быть достаточно экономичными, если правильно определить вероятность того, когда респондент окажется дома, и соответственно планировать время и
день интервью. Можно сделать вывод, что гораздо лучшей стратегией исследователя будет направить усилия на сокращение доли
в неполном диапазоне данных (отсутствующих и неответивших),
чем потом искать компенсирующие процедуры и искусственные
решения.
36
II. Статистические аспекты пробелов в диапазоне данных
II. Статистические аспекты пробелов
в диапазоне данных
Когда дело доходит до проблем, возникающих из-за неполноты в диапазоне (или ошибок в ответах), очевидно, следует уточнить тип и силу возникающих «шумов» в полученной информации. Для того чтобы подобрать наиболее подходящий метод
оптимизации качества информации, необходимо обязательно обратить внимание на характер и тип допущенных ошибок, а также
на их влияние на достоверность результатов.
1. Случайные и системные ошибки
Известно, что эмпирические исследования подразделяются
на случайные (выборочные)1 и сплошные, и на этой основе делается первое деление допускаемых в совокупности ошибок – слу-
чайные и системные (рис. 1).
ʦ
ˁ
;Ϳ
ʻ
ˁ
ˁ
ʧ
ʰ
Рис. 1. Виды ошибок по совокупной информации эмпирических исследований
1
Выборочные исследования являются случайными, когда выборка сформирована случайным образом, и системными, когда она не формируется путем случайного отбора.
˃
37
Глава первая. Проблемы при неполном диапазоне данных в эмпирических исследованиях...
Случайная ошибка обусловлена случайными факторами,
действовавшими в процессе выборочного изучения, и зависит в
основном от объема выборки – количества наблюдаемых случаев.
Известно, что она связана с механизмом формирования репрезентативных выборок и с переходом (экстраполяцией) оценок на
выборке к оценке генеральной совокупности. Как правило, ошибки оценки тем меньше, чем больше единиц подвергается наблюдению в выборке (исследовании).
Системная ошибка возникает из-за пробелов и недостатков
в изучаемой совокупности и обработке эмпирической информации, и это приводит к «...отклонению от истины, искажению действительности...» [7]. Системные ошибки возникают независимо от
случайных как при выборочных, так и при комплексных исследованиях. Причины их появления явно не сформулированы, как, например, общий закон случайных ошибок выборочного исследования,
поэтому они описываются и определяются, но не могут быть сделаны предварительные оценки их ожидаемых размеров. Источники
системной ошибки следует искать на каждом этапе и в каждом элементе технологии проведения эмпирических исследований, в том
числе при выборе эмпирических индикаторов, т. е. при переходе от
теоретического понятия к объекту, через его понятийные показатели к эмпирическому показателю, что дает возможность замерить
эмпирический уровень социологического познания.
В последнее время выдвигается идея ошибок, порожденных
непониманием фактического содержания и смысла полученных
оценок или целенаправленными манипуляциями с данными эмпирических исследований. Однако мы не будем заниматься этим,
поскольку это выходит за пределы очерченных рамок нашего исследования.
По общей и довольно условной классификации системные
ошибки бывают несистематическими, систематическими и гру-
быми.
38
II. Статистические аспекты пробеловв диапазоне данных
В эмпирических исследованиях несистематические ошибки
допускаются как в одном, так и в другом направлении по отношению к разновидностям или значениям исследуемого признака.
Ожидается, что они компенсируют друг друга и при этом не будут влиять на некоторые обобщенные оценки (например, среднее
арифметическое). Предполагается, что в эмпирических исследованиях несистематическая системная ошибка в конечном итоге
будет давать эффекты, близкие к ожидаемым случайным ошибкам, если объем выборки будет достаточно большим.
Систематические системные ошибки допускаются много-
кратно, но ориентированы они в основном в одном направлении по отношению к разновидностям или значениям исследуемого признака. Их основным эффектом является нарушение
достоверности информация по совокупности, и именно они
порождают системное отклонение оценок – неадекватно отражаются свойства исследуемого объекта. Эти ошибки вызывают
различные отклонения в оценках обобщенных свойств исследуемого объекта от действительных значений и делают ненадежными (отклоненными) различные обобщенные статистические
показатели.
Стратегии по отношению к двум компонентам1 системной
ошибки, соответственно, различны. В первом случае решение
состоит в том, чтобы обеспечить достаточно большой объем выборки и воспользоваться законом больших чисел, при котором
суммарный эффект от ошибок будет достаточно близок к нулю.
Стратегии по отношению к систематическому компоненту системной ошибки по характеру значительно различаются. Рекомендуется реализовывать их путем планирования защитных и
контрольных действий, направленных на обеспечение желаемой
степени достоверности эмпирической информации. Усилия на-
1
Несистематический и систематический компоненты.
39
Глава первая. Проблемы при неполном диапазоне данных в эмпирических исследованиях...
правлены прежде всего на предотвращение системной (систематической) составляющей ошибки.
Грубые ошибки – это те, которые резко отличаются от разновидностей или значений исследуемого признака1. В результате
снова наблюдается смещение усредненного значения Y в одну
или другую сторону, причем ни направление, ни величина этого
смещения не могут быть установлены чисто умозрительным путем. Например, при сравнительном анализе изменения среднего
заработка работников какой-либо фирмы такая грубая ошибка
может возникнуть, если будут показаны зарплаты членов совета
директоров, которые обычно в несколько раз превышают заработную плату персонала.
В литературе [16] указываются различные критерии, по которым оценивается, насколько резко отличаются некоторые значения исследуемого признака от остальных значений.
Системные ошибки, в частности систематические и грубые,
подразделяются на инструментальные и теоретические.
Системные инструментальные ошибки могут быть обусловлены как неадекватностью самого инструмента, так и его
использованием. Неудачно сформулированный или неудачно заданный интервьюером вопрос (в анкете) приведет к его неправильному и различному восприятию респондентами, а также к их
необоснованным и искаженным ответам.
Системные теоретические ошибки (системные ошибки теоретического характера) связаны с несовершенством концептуальной модели (теории) – при построении измерительного инструментария с неадекватными методиками и пр. Эти ошибки
допускаются при подготовке инструментария эмпирических ис-
1
Грубые ошибки очень легко обнаруживаются при рассмотрении одномерных
распределений по данному признаку и в отдельных случаях могут быть немедленно исправлены. Пример выборки взрослого населения (18+ лет), значение
признака «возраст» = 8 (8 лет) нелогично – допущена грубая ошибка.
40
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]