Недоразумения целенаправленного или сознательного отбора

Метод квоты часто называют “сознательным” или “целенаправ­ленным” отбором. В этом обозначении частично отражается представ­ление о том, что квотная выборка репрезентативна только по тем при­знакам, которые тесно связаны с квотными. Поэтому будто бы следует в зависимости от темы исследования подготавливать такие квоты, признаки которых тесно связаны с предметом исследования.

Если прежде при каждом совпадении определенных статистиче­ских данных выборочной совокупности и генеральной совокупности слишком поспешно делалось заключение о репрезентативности вы­борки в целом (пример - пациенты больницы), то теперь возникает об­ратное недоразумение. В квотных выборках репрезентативными счи­тают лишь те данные, которые были обеспечены методом квот, и отрицают репрезентативность тех данных, которые не имеют тесной связи с квотными признаками.

Понимаемая так узко репрезентативная выборка была бы для реше­ния многих исследовательских задач бесполезной. Правильное приме­нение квотного метода - соблюдение всех условий для статистически нейтрального отбора - позволяет обеспечить общую репрезентатив­ность данных, когда все отдельные результаты выборки отражают ге­неральную совокупность. Часто получают доказательства того, что это может быть достигнуто не время от времени, но с определенной на­дежностью. Так, например, в квотные инструкции не включаются та­кие признаки, как семейное положение, или вероисповедание, или ве­личина семьи респондента. Тем не менее у выборочной совокупности наблюдаются соотношения по этим признакам, аналогичные данным ведомственной статистики.

­­­­­­­­ То же самое можно сказать в отношении количества эмигрантов, которое легко проверить по официальным данным. Для проверки ме­тода в эти интервью постоянно включаются изменяющиеся вопросы о таких фактах, которые можно проконтролировать по другим источни­кам. Если при репрезентативной выборке населенных пунктов ре­зультаты квотного опроса отклоняются от контрольных данных, реко­мендуется проверить, не был ли контрольный признак по-разному определен, так что в действительности иногда подсчитывались разные вещи.

Вероятностная и квотная выборка: за и против

В истории опросов за последние пятнадцать лет значительное ме­сто занимают дискуссии о преимуществах и недостатках вероятност­ного и квотного выборочных методов.

Эта дискуссия была неожиданно жаркой, так как речь шла не только о чисто деловых вопросах, но сказывались индивидуальные предпочтения - более рационалистического или более психологиче­ского, более теоретического или более эмпирического свойства. (Сноска1)

_________________________________________________________________

(Сноска1). Так, в опрос среди владельцев автомашин, который был подготовлен по методу квот, был включен вопрос о ежегодном пробеге машины. Эти данные можно было срав­нить с результатами выборочного исследования, проведенного федеральным статисти­ческим ведомством. Сравнение выявило соответствие квотного опроса, данных стати­стического ведомства и еще одного опроса владельцев автомашин по методу вероят­ностной выборки (средний пробег автомашины около 16 тыс. км. в год). Наряду с этим проводится “внутренний” контроль данных. Так, например, в репрезентативной для страны выборочной совокупности должно быть поровну мужчин и женщин (если пре­небречь незначительными отклонениями, которые встречаются также и в статистиче­ских материалах). Ф. Теннштедт описывает еще одну возможность контроля. Можно сортировать перфокарты исследования по количеству взрослых в семье и получить, на­пример, пять стопок перфокарт: одинокие, респонденты из семей размером 2,3,4 чело­века, респонденты из семей, в которых 5 или более взрослых. Теперь выбирают какой-нибудь признак, который может характеризовать только одного взрослого члена семьи, например: глава семьи основной кормилец, самый старший в семье и т.п. Так как в каж­дой семье может быть только один человек с этим признаком, то среди всех респонден­тов этот признак распределится так: в 100% случаев - для одиноких, в 50% случаев - для семей из двух человек, 33% случаев - для семей из трех человек и т.д.

_________________________________________________________________

В защиту “истинной” вероятностной выборки убедительно свиде­тельствует изложенная здесь, в соответствии с вероятностно-теоре­тическими моделями. Поэтому при современном состоянии науки тео­ретически можно применять закон больших чисел и производные от него статистические отклонения реально только в отношении резуль­татов репрезентативных исследований, которые основаны на случай­ных выборках.

Пример:

При одном опросе репрезентативной совокупности в 2000 человек 25% опрошенных положительно отнеслось к предложению об участии в оплате расходов по болезни. По вероятностным расчетам, отклоне­ние составляет при 25% полученных ответов и при базисе в 2000 чело­век -1,94% при уровне значимости 95 (двойное стандартное отклоне­ние).

Теоретически результат можно (при условии, что эти 2000 человек были отобраны метод ом вероятностной выборки) обобщить в следую­щей форме: с уверенностью в 95% можно утверждать, что при опросе всех лиц, работающих на предприятиях в ФРГ, число ответивших по­ложительно на вопрос об участии в оплате расходов по болезни будет колебаться в пределах между 23 и 27 процентами.

„Целью, - пишет Келлерер, - должно быть планирование выборки с оправданным расходом средств и времени, чтобы риск неправильного вывода был бы наименьшим. Величина возможной ошибки - или, иначе говоря, степень надежности выводов - должна быть выражена определенным числом”.

Это условие с точки зрения статистики выполняется только в иссле­довании на основе вероятностной выборки. Только при вероятностной выборке систематически, насколько это возможно, исключаются все субъективные влияния, так что закон случайности может проявляться беспрепятственно. Несмотря на многочисленные эмпирические испы­тания, еще не найдено теоретическое доказательство (и, вероятно, ни­когда найдено не будет), что при правильно составленной квотной вы­борке и соблюдении интервьюерами полученных инструкций резуль­таты также могут быть обобщены с соответствующими отклоне­ниями. Допустимость такого обобщения может постоянно получать подкрепление в ходе систематических экспериментов. (Сноска 2)

_________________________________________________________________

(Сноска2). В этой связи можно указать на ряд систематических сравнительных эксперимен­тов, проведенных Институтом демоскопии в Алленсбахе. При этом с помощью одина­ковых анкет в одно и то же время опрашивались респонденты из случайной и квотной выборки. В преобладающем большинстве случаев результаты совпадали почти полно­стью. Отдельные отмеченные различия частично объясняются за счет источников оши­бок при построении квотной выборки или случайной выборки (неполное использова­ние выборочной совокупности: “неуловимость” предприимчивых и “подвижных” представителей населения: отсутствие анонимности при адресном опросе).

Иногда выска­зывают сомнение в возможности надежного расчета отклонений для результатов вероятностной выборки: ведь респонденты, отобранные таким способом, никогда не могут быть опрошены полностью, и воз­можность математически точных расчетов для отклонений является фикцией - если всего лишь 80-85% намеченных для исследования лю­дей могут быть опрошены, а об остальных 15-10% нельзя ничего ска­зать.

Чтобы ответить на это возражение, исследователи прилагали все­возможные усилия и пытались достичь более полного опроса намечен­ных лиц. Практически уже 80-процентное выполнение квоты связано с большими трудностями и требует исключительного умения и вы­держки от интервьюеров, которые часто должны 3-4 раза приходить по выбранному при помощи механизма случайности адресу, чтобы опро­сить нужное лицо. Обе таблицы дают возможность увидеть, сколько визитов должны были сделать интервьюеры во время упоми­навшегося уже “анализа читателей”, чтобы застать наме­ченных для исследования лиц, и по каким причинам 14% намеченных лиц все же не удалось выслушать.

ПРИГОДНОСТЬ АДРЕСОВ

	Исходная выборка
	Всего 17504 адреса = 100%	Институт демоскопии 8754 адреса = 100%	DIVO 8750 адресов = 100%
Адреса не могли быть использованы, потому что:
Не было людей в возрасте от 16 до 70 лет	1,4%	1,7%	1,2%
Комната, сдаваемая внаем, больше не была занята	1,3%	1,2%	1,3%
Указанная улица или нужный номер дома больше не существовали	0,8%	0,8%	0,8%
В квартире никто не проживал	0,6%	0,6%	0,6%
Квартира, дом были снесены	0,2%	0,2%	0,1%
Семья не найдена по другим причинам (прежде всего:
фамилия и адрес неизвестны) Число использованных исходных адресов	1,1% 5,4% 94,6 100%	1,2% 5,7% 94,3 100%	1,1% 5,1% 94,9 100%

НЕПРОВЕДЕННЫЕ ИНТЕРВЬЮ

	Число пригодных адресов
	Всего 16559 = 100%	Институт демоскопии 8254 = 100%	DIVO 8305 = 100%
Проведенные интервью	85,9%	87,0%	84,7%
Не проведенные интервью в общей сложности	14,1% 100%	13,0% 100%	15,3% 100%
Из них:
а) Не был на месте даже при третьем посещении	6,9%	5,6%	8,0%
б) Отказ от интервью	5,4%	4,8%	6,1%
в) Умственная (физическая) неполноценность	0,7%	0,8%	0,7%
г) Другие причины и без указания причины	0,1%	0,2%	0,1%
Интервью проведено с опозданием Адрес не обработан	0,4% 0,6% 14,1%	0,8% 0,8% 13,0%	- 0,4% 15,3%

­­­­­­Чтобы делать вероятностные выводы эмпирического характера о не опрошенных, были проведены наблюдения за тем, как намеченные для исследования лица отвечали на предлагаемые вопросы при пер­вом, втором, третьем, четвертом и пятом посещениях интервьюера. Изменения результатов первого, второго и третьего посещений под воздействием бесед при четвертом и пятом посещениях были экстра­полированы для создания картины, будто при дальнейших посеще­ниях были опрошены все намеченные лица. При этом предполагается, что те, кого трудно застать, и те, кого нельзя опросить (например, по­сле отказа от интервью), обнаруживают сходство - предположение, собственно говоря, малообоснованное. Во всяком случае, цель этих экспериментов - поиск эмпирических решений указанной проблемы при работе с методом квот.

Стремление выдумывать все более хитроумные приемы для случайного выбора опрашиваемых, побуждать интервьюеров ко все боль­шему числу поездок и визитов, невзирая на расходы и время, чтобы “исчерпать всю выборку” на 90%, - эти стремления вызывают два воз­ражения.

Первое: некоторые исследователи пытаются с крайним догматиз­мом добиться точности в расстановке запятых и игнорируют при этом все другие источники ошибок, которые неизбежны, когда речь идет не о черных и белых шариках, а о людях - о людях, которые спрашивают, и о людях, которых спрашивают или которые отказываются от беседы и в строгом смысле не подчиняются математическим законам. Факти­чески источники нестатистических ошибок при применении вероят­ностной выборки в социальных исследованиях до сих пор системати­чески почти не анализировались. Далее мы вернемся к этому.

Другое возражение: усиленно совершенствуется лишь одна сторона эмпирического обследования, невзирая на расходы времени и средств. Но какова от этого польза, если качество исследований нару­шается на других этапах, если анкеты, обработка, анализ не соответ­ствуют сегодняшнему уровню методики даже приблизительно в той же степени, в какой совершенствуются методы выборки.

Для иллюстрации один пример из книги Г. Келлерера: “Один фа­брикант отсылал до сих пор свой мелкий товар в простой упаковке по цене 0,80 марки. Но он хочет перейти к более привлекательной целло­фановой упаковке, при этом повысив цену до 0,85 марки. Его размыш­ления таковы: “Благодаря нововведению оборот торговли возрастет, несмотря на повышение цены”. Он спрашивает 1000 своих клиентов об их согласии с нововведением и ставит свое решение в зависимость от результатов этого опроса”. Келлерер описывает, какая точность ре­зультатов опроса необходима фабриканту, и пишет в заключение:

“Фабрикант решится предпринять проверку, которая покажет, на­пример: = 0,05 и  = 0,02, т.е. < ”.

В то время как статистик взвешивает, достаточна ли степень точно­сти  = 0,05 для проверки гипотезы фабриканта, психолог и социолог озабоченно отмечают, что метод получения сведений - опрос 1000 ста­рых клиентов об отношении к нововведению - совершенно не достаточен. С помощью каталога легко понять, почему покупатели не могут с достаточной уверенностью ответить, готовы ли они платить на 5 пфеннигов больше за изделия в новой привлекательной целлофановой упаковке. Получаемые ответы очень ненадежны. Вопросы со словами “стали бы Вы... если бы...” уже включают предпосылки для недействительных ответов.

“Купили бы Вы электрическое одеяло?..” - такой вопрос был задан в репрезентативном выборочном исследовании среди женщин в 1954 году. 5 процентов выразили желание перейти к пользованию одеялами с электрическим подогревом. Эти одеяла имеются в продаже уже много лет, а купили их меньше 1 процента семей.

Мы рассматривали выше пример опроса (по вероятностной выборке) об отношении к участию в расходах на пособие по болезни. С точностью 1,94 процента можно было установить, что 25 процентов работающих на предприятиях одобряют участие в этих расходах. Вот результаты по этому вопросу в трех других вариантах вопросников: