Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Проблемы оптимизации выборочных данных с неполнотой в диапазоне. Монография
.pdf
III. Концепция решения проблемы недостающих данных в эмпирических исследованиях
не единственное и даже не основное занятие. На практике мы
сталкиваемся с домохозяйствами, которые являются «специализированными» и работают в качестве анкетеров1. С другой стороны, заключение трудовых договоров с руководителями опрошенных команд не является популярной практикой. Неудивительно,
что в такой ситуации трудно создать чувство эмпатии и принадлежности к исследовательской группе. Следовательно, сознание
ответственности не всегда присутствует.
Возможно, главной проблемой, затрагивающей как организацию, так и качество полевых работ, является принятый у нас
механизм оплаты. Анкетеру выплачивается за полное интервью
(полностью заполненная анкета) и процентное вознаграждение
за обязанности руководителя команды на местах. Слишком часто мы получаем информацию о том, что интервьюер опросил
3–4гнезда (7 респондентов из каждого), т. е. от 21 до 28 человек,
приблизительно в течение двух дней. Если исследовательский
центр действительно придерживается корректной и качественной работы и ответственного отношения к исполнительским кадрам, то очевидна необходимость в более адекватных решениях
при оплате труда анкетеров, т. е. лучшее согласование интересов.
Можем сделать вывод, что современные подходы к оптимизации диапазона данных не являются наиболее предпочтительными
у нас в основном из-за того, что они явно кажутся дорогими, трудоемкими и требуют дополнительного времени. Также допускаем
возможность игнорировать эти процедуры из-за убеждения, что
массив данных может быть легко оптимизирован с помощью по-
1
Не найден однозначный ответ на вопрос: хорошо или плохо работать с «профессиональными» интервьюерами? Случаи нарушения требований по сбору
информации, замене, самозаполнению анкет и др. – это обычное явление у нас.
Иногда отсутствие целенаправленного и регулярного контроля над «полем»
создает чувство безнаказанности и безответственности у анкетеров и их руководителей.
211
Глава третья. Сравнительные преимущества и ограничения различных методов оптимизации...
следующих методов (консервативный подход, удаление случаев,
взвешивание и т. д.).
Проблема выбора дальнейших методов компенсации последствий недостающих данных диапазона в наибольшей степени
обусловлена конкретными исследовательскими ситуациями, их
многообразием, спецификой, относительными преимуществами
и ограничениями.
Кроме того, выбор последующего оптимизационного подхода
зависит от нескольких факторов:
1) насколько в конкретном случае могут быть найдены подтверждения тех или иных ключевых гипотез, включенных в качестве
условия применения данного подхода. Например, влияющие на распределение ответивших/неответивших, связи между исследуемыми
переменными, причины отсутствия (потери) данных и т. д.;
2) конкретные требования разработанных моделей для коррекции информационных массивов.
В частности, эффективность взвешивания зависит от:
1) относительной доли (%) случаев, когда данные отсутствуют;
2) актуальности информации об изучаемых параметрах генеральной совокупности;
3) наличия корреляционной связи между взвешиваемыми
признаками и частью выборки, для которой были получены данные. Следовательно, выбор последующей стратегии оптимизации
был бы существенно облегчен (помог бы), если бы программа эмпирических социологических исследований предусматривала сбор
информации (хотя и неполной) о типе распределения диапазона
недостающих данных, а также о причинах его возникновения.
Логично, если в практике эмпирических исследований всегда
будет необходим поиск компромиссных решений. Однако в любом случае выгоднее всеми возможными средствами обеспечить
как можно меньшую относительную долю недостающих данных,
чем впоследствии искать способы их компенсации.
212
III. Концепция решения проблемы недостающих данных в эмпирических исследованиях
Особое место в формировании конкретной стратегии против
проблемы недостающих данных занимает вопрос о ресурсах–
финансовых затратах, квалифицированных кадрах, времени, в
частности о требованиях к срокам представления результатов,
организационных проблемах и т. д.
Одной из основных характеристик текущих процедур контроля является то обстоятельство, что они, как правило, дороги
и требуют дополнительного времени и кадров. Однако их эффективное планирование и реализация могут предотвратить
необходимость последующих усилий по оптимизации данных.
С другой стороны, методы, которые предлагают последующее
решение проблем с недостающими данными (в условиях компьютерной техники), относительно недороги и быстры. Но они
всегда включают и требуют соблюдения ряда условий: наличие
дополнительной информации и (или) подтверждение закрепленных в конкретном методе гипотез, специализированных профессиональных консультаций и т. д. Подчеркнем, что последующий
недорогой и быстрый метод оптимизации может быть высокоэффективным только в зависимости от конкретной ситуации. Поэтому необходимо, чтобы при проектировании программы эмпирических социологических исследований исследователь имел в
виду возможный неполный диапазон данных и планировал сочетание профилактических и текущих процедур. При наличии значительной доли недостающих данных после завершения полевых
работ применение последующих защитных действий на самом
деле является обязательным.
3. Возможные стратегии в зависимости от доли
недостающих данных
Что такое подвижный порог в относительной доле недостающих данных, проблема которого должна волновать исследователей?
213
Глава третья. Сравнительные преимущества и ограничения различных методов оптимизации...
Мы определяем этот порог как подвижный, поскольку он зависит от трех основных факторов:
1) уменьшения объема выборки и, как следствие, – увеличе-
ния случайной ошибки;
2) нарушений репрезентативности оценок, связанных с появлением дополнительной составляющей, т. е. наличием системной
ошибки;
3) величины системной ошибки – ее значение в одних случаях может быть пренебрежимо мало, но в других случаях может
становиться настолько большим, что полностью компрометирует
репрезентативный характер выборки, хотя в исследовательском
проекте она моделируется как таковая.
Дополнительным основанием для обозначения допустимого порога подвижным являются конкретные исследовательские
задачи. Если исследование завершится оценкой средних и относительных долей для совокупности в целом, предел может быть
более широким. Если в выборке будут более детально изучены
подвыборки или будут оцениваться факторные влияния, границы
значительно сужаются. В зависимости от этих трех факторов возможны различные стратегии в поиске методологических реше-
ний для защиты конечных результатов и выводов эмпирических
социологических исследований.
Первая ситуация: когда порог недостающих данных не превышает 2–3 % (максимум 5 %). В подобной ситуации, как правило,
серьезных неблагоприятных воздействий на конечные результаты
и выводы ожидать не приходится. Поэтому никаких специальных
мер защиты не требуется. Эта стратегия обосновывается тем, что,
даже если существуют значительные различия в двух распределениях (наблюдаемых и ненаблюдаемых единицах), соотношение
весов будет значительным (0,95/0,05 = 19:1 в пользу располагаемых данных). Именно это дает основание оценивать влияние и
последствия недостающих данных как пренебрежимо малые, т. е.
214
III. Концепция решения проблемы недостающих данных в эмпирических исследованиях
их влияние как на системную, так и на случайную ошибку можно
игнорировать, не ожидая серьезных последствий.
Допустим, фактическое значение параметра генеральной совокупности 102.Y Затем его оценка выборки (с двумя частя-
ми– наблюдаемыми и ненаблюдаемыми единицами) будет равна
11 2 2
т. е.
,YYWYW
1
(61)
0,05.Y
Пусть из имеющихся данных по выборке мы получили, что
1
оценку для
Если из других, независимых источников мы получаем
100.Y
то средний показатель для лиц, для которых
80,Y
2
нет данных текущего исследования, значительно отклоняется от
и 1Y
Y
.
Ошибка последнего составит 102 – 80 = 22, или около 21,6 %.
Подставив значения в формулу (61), получаем
100 ∙ 0,95 + 80 ∙ 0,05 = 99. (62)
Следовательно, отклонение между оценкой выборки и фактическим значением параметра генеральной совокупности будет
d = (99 – 102), т. е. d = 3. Это связано с тем, что в данном случае
отклонение зависит в 95 % от имеющейся и только в 5 % от недостающей информации.
К сожалению, в России такая ситуация встречается крайне
редко. Для достижения такого пренебрежимого размера недостающих данных программа эмпирических социологических исследований должна включать комбинацию профилактических и
текущих процедур оптимизации. А они связаны не только с большими затратами, но и с бременем, которое мы сваливаем на анкетеров, и, естественно, по крайней мере часть из них может этого
не принять.
Вторая ситуация: относительная доля недостающих данных
составляет до 20 %, но распределение единиц с отсутствующими
215
Глава третья. Сравнительные преимущества и ограничения различных методов оптимизации...
данными приблизительно (достаточно близко) к той части выборки, для которой были получены данные.
Возможная стратегия заключается в том, чтобы заранее
предусмотреть больший объем выборки (n), т. е. планировать не-
полный диапазон данных и увеличивать n на этот процент. Таким
образом, проблема решается радикально и элегантно. Например,
если на основании предшествующей попытки была сделана оценка того, что недостающие данные ожидаются приблизительно на
15–20 %, то заранее определенный объем выборки увеличивается
соответственно на 15–20 %.
Однако эта стратегия является неопределенной и несет риски, когда распределение двух частей (ответивших и неответивших лиц) существенно отличается – что-то, что трудно оценить
при проектировании и до того, как работы в полевых исследованиях будут завершены. Наш опыт показывает, что на практике
именно эта стратегия применяется чаще всего.
Третья ситуация: относительная доля недостающих данных
превышает 20 %. При этом в любом случае приходится делать
обоснованные предположения и оценки для второго фактора –
различия в структурах обеих частей выборки.
В той мере, в какой относительная доля неответивших лиц
может быть предварительно предсказана, и отсутствуют данные
для таких оценок, т. е. исследователь поставлен перед свершившимся фактом, именно тогда приходится использовать конкретные критерии, формулировать различные гипотезы и на этом основании искать:
1) оценки распределения первой части выборки, которые
можно сравнить с распределением неотвечавших лиц;
2) коррекцию оценок обобщенных характеристик.
Именно в такой ситуации мы сталкиваемся с необходимостью
выбора последующего подхода и методов корректировки с целью
получения более надежных и достаточно информативных оценок.
216
ЗАКЛЮЧЕНИЕ
Основной вывод из проведенного исследования заключается
в том, что проблема недостающих данных традиционно присутствует в эмпирических исследованиях. При определенных условиях (выше установленного подвижного порога) ее негативные
последствия становятся значительными. Поэтому их не следует игнорировать и ими нельзя пренебрегать. Вопреки логике, в
практике эмпирических исследований проблема недостающих
данных часто недооценивается. В этой работе мы предприняли
попытку осветить этот феномен и выявить как факторы, обусловливающие его, так и негативные последствия, которые он оказывает на безопасность и достоверность оценок, предусмотренных
в проектах для характеристик генеральной совокупности. Акцент
также был сделан на некоторых руководящих принципах и стратегических подходах при поиске оптимальных решений.
Исследования показали, что проблема недостающих данных
является общей. Она относится как к репрезентативным выборкам, так и к комплексным исследованиям и другим типам выборки. И ожидаемые нежелательные влияния в подавляющем числе
случаев на практике превращают эту проблему одновременно в
значимую (с точки зрения правильности и научной обоснованности результатов) и довольно трудную для разрешения. Поэтому
усилия многих ученых направлены на совершенствование известных методик и методологических решений, а также на поиск новых, более эффективных и адекватных поставленным задачам.
Сделанные выводы свидетельствуют, что не было проведено специальных научных исследований, касающихся причин неполноты диапазона данных, а также средней относительной доли
217
Заключение
отсутствующих данных в социологических исследованиях в контексте новых исследовательских реалий. Мы допускаем, что в отдельных случаях это хотя бы частично делалось, но даже если это
так, то авторы проектов традиционно ограничиваются оценкой
доли «неответивших», а при обработке данных в таблицах присутствует графа «Missing data». К сожалению, даже эти скудные
данные обычно не находят места в официальных публикациях –
за небольшими исключениями. И эта информация остается недоступной для более глубокого научного исследования.
Поскольку доступная информация позволяла это сделать, исследования подтвердили наши предположения из личного опыта,
что в практике проводимых эмпирических исследований контрольные действия носят скорее эпизодический, чем систематический характер. Часто это зависит только от проверок и тестов
в рамках пробного исследования – когда на самом деле апробирована его эффективность (наиболее высокая надежность и работоспособность инструментария). Более того, пробное исследование,
по-видимому, не всегда считается обязательным элементом программы эмпирических исследований у многих известных исследовательских центров. Возможно, это происходит по причинам,
связанным с временными и финансовыми ограничениями. После
сбора первичной информации контрольные действия в основном
ограничиваются логическим осмотром инструментария (опросника) и оценкой относительной доли ответчиков.
Исследователи редко уделяют должное внимание воздействию на конечные результаты конкретных эмпирических социологических исследований, в результате чего последние зачастую
обременены значительной системной ошибкой. Некоторые неточности возникают из-за неполного или поспешного суждения о
конкретной социальной ситуации. Но не учитываются и последствия из-за недостающих данных в диапазоне (не берутся во внимание характеристики отказавшихся от участия, причины отка-
218
Заключение
за и т. д.). Часто исследовательская стратегия заключается в том,
чтобы сделать анализ только на основе полученных данных без
учета изменений в структуре и объеме реализуемой выборки.
В последние годы все чаще в нашей практической работе мы
сталкиваемся с различными проблемами, которые усугубляют
процесс «истощения» поля. Различные подразделения социологических исследований работают с одинаковыми выборками в
течение длительного периода времени. Одни и те же респонденты участвуют в большом количестве различных исследований.
Первым видимым эффектом этого является увеличение числа
отказов, снижение доверия респондентов к социологическим исследованиям вообще и в конечном счете ухудшение результатов
эмпирических исследований и падение профессионального престижа социологической гильдии в целом.
Вопрос о достоверности и актуальности различных баз
данных для подтверждения единиц выборки – избирательных
списков, результатов переписи и т. д. – давно стал спорным.
Возможно, настало время для более широкого применения модифицированных случайных выборок, которые предлагают возможности для облегченных схем отбора единиц в полевых исследованиях (например, по Кишу). Исследовательские поиски, на
наш взгляд, должны быть направлены и на пересчет принятого в
качестве негласного стандарта объема случайных репрезентативных выборок. На этой основе некоторые исследовательские центры формируют объем выборок с соответствующей компенсацией доли недостающих данных. Как показывает анализ, несмотря
на скудные данные, которые мы имеем, эта доля в последние годы
демонстрирует определенную тенденцию к росту. Следовательно,
можно предсказать, что проблемы, связанные с неполнотой в диапазоне, будут еще более усугубляться.
В практике эмпирических исследований в основном используются превентивные меры против неполного диапазона дан-
219
Заключение
ных – например, через напряженные выборки, т. е. увеличение
объема с гипотетической, предварительно оцененной относительной долей потерянных данных. Примеры, используемые в нашем
анализе, показывают, что эти стратегии являются половинчатыми и не решают проблему качества данных. Решение следует искать не только в обеспеченном фиксированном объеме выборки,
но и в аккуратности ее реализации в поле.
До сих пор не найдено удачных решений многочисленных
проблем, сопровождающих работу с сетью анкетеров. Практика
эмпирических социологических исследований обременена рядом напряжений между исследователями и анкетерами. В плане
профессионального доверия определенно отмечается спад, и по
качеству работы интервьюеров есть много вопросов. Мы предлагаем идею создания независимой организации, которая будет
осуществлять работу в полевых исследованиях для различных
социологических агентств и нести ответственность за качество
работы. Многие вопросы, связанные с организацией и качеством
работ в поле, до сих пор не решены. Например, хорошо это или
плохо, но большая часть анкетеров занимается этой деятельностью (чаще всего в качестве дополнительной) более 5 лет (некоторые работают одновременно в нескольких исследовательских
центрах). Изменения в схемах оплаты работы анкетеров, модернизация инструктажей и контрольных действий с целью повышения их эффективности – эти и многие другие вопросы требуют
серьезного рассмотрения.
Анализ показывает, что сбор информации о единицах, диапазон которых содержит недостающие данные, имеет ключевое
значение в последующем обращении с недостающими данными.
В нем раскрываются резервы минимизации рисков ошибок и
неточностей, связанных с применением процедур оптимизации.
К сожалению, практика сбора детальной информации о характере и объеме единиц, диапазон которых содержит недостающие
220
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]