2. Оцінка якості вибірки.
Проблема інтерпретації соціологічних даних у контексті похибки вибірки.
Коли фахівець і непідготовлений читач дивляться на одні й ті самі цифри, що віддзеркалюють результати соціологічного опитування населення, вони «бачать» їх багато в чому по-різному.
Коли людина, що не володіє достатніми соціологічними знаннями, ознайомившись із результатами опитування громадської думки, бачить, що, припустимо, на запитання: «Чи схвалюєте Ви політику президента у сфері проведення економічних реформ?» 31 % опитаних відповіли: «Так», 43% – «Ні», а 26% – «Вагаюся з відповіддю», то вона кожну цифру переносить на все населення буквально. Фахівець ці дані «читає» приблизно так: «Так» відповіли 31% (плюс-мінус 3%, чи плюс-мінус 5%, чи плюс-мінус 10% і т. ін.). Це означає, що коли б на це запитання відповідала не лише опитана частина населення, а й усе населення, то результат з певною ймовірністю перебував би в зазначених межах.
Величина, що визначає в цьому випадку розкид можливого значення даних, одержаних у результаті опитування, має назву припустимої помилки вибірки, яку завжди слід ураховувати, коли дані опитування частини населення переносяться на все населення загалом.
Критерії якості вибірки.
Величина помилки залежить від певних умов, і при суворому дотриманні процедури формування вибірки цю величину можна обчислити. Без урахування помилки вибірки одержані результати можна відносити тільки до безпосередньо опитаних людей. Зрозуміло, що, проектуючи вибірку, дослідник прагне знизити величину помилки. Для цього йому необхідно чітко уявляти собі ті проблеми, які виникають на шляху відбору респондентів, і знати різноманітні способи, що дають змогу знизити величину помилки, а також уникнути похибок, які призводять до виникнення неврахованих помилок.
Максимальне відхилення показників вибіркової сукупності від відповідних значень державної статистики становить 3,1%. Передбачається, що в цих межах варіює й помилка вибірки по досліджуваному параметру, значення якого в генеральній сукупності невідомо.
Визначення якості вибірки включає опис низки умов, які дають змогу оцінити репрезентативність, надійність та валідність вибіркової сукупності стосовно об'єкта дослідження.
Репрезентативність.
Репрезентативність – це властивість вибіркової сукупності адекватно відтворювати характеристики генеральної сукупності.
Помилка репрезентативності – це відхилення середніх характеристик вибіркової сукупності від середніх характеристик генеральної сукупності.
ПР = хвиб - хген
хвиб – вибіркова середня
хген – генеральна середня
Із формули виходить, що вирахування помилки вибірки є принципово нездійсненним, якщо не відомі значення змінної у вибірковій і генеральній сукупностях. Так виникає замкнуте коло: щоб установити значення генеральної середньої, потрібно побудувати вибірку, але, навіть зробивши вибірку, ми не зможемо визначити її помилку, тому що не знаємо генеральної середньої. Якби ми знали генеральну середню, завдання визначення помилки вибірки вирішувалося б просто, але в цьому випадку вибірка була б просто не потрібна. Найчастіше помилка вибірки визначається шляхом порівняння відомих характеристик генеральної сукупності з вибірковими середніми. У соціології при обстеженнях дорослого населення найчастіше використовують дані переписів населення, поточного статистичного обліку, попередніх опитувань на тому ж об'єкті. Як контрольні параметри звичайно застосовуються соціально-демографічні ознаки. Це можна зробити по завершенні аналізу даних. Виключення становлять передвиборні опитування й опитування, що передують переписам населення й референдумам – дослідники прагнуть передбачити їхні результати й, тим самим, підтвердити репрезентативність своїх даних.
Із часу свого створення в 1935 р. Американський інститут громадської думки (інститут Дж. Геллапа) провів сотні обстежень громадської думки за національною вибіркою обсягом 1500 чоловік, контролюючи репрезентативність за наявними у національних цензах даними про розподіл населення за статтю, віком, освітою, доходами, професіями, расовій приналежності, місцю проживання, величині населеного пункту. При цьому, середня помилка репрезентативності в 1936–1940р. становила 5,6 %, в 1940–1944 р. – 3,4, в 1944–1947 р. – 2,6. У 1944 р. прогноз Геллапа на президентських виборах був виконаний з точністю до 1,8 %, а середня помилка по 48 штатам склала 2,5. У 1950–1958 р. помилка прогнозу була 1,7 %, у 1960–1968 р. – 1,5, у 1970–1978 р. – 1,1.
Зауважимо, що чим більша величина відхилень середніх, тим більша помилка репрезентативності. Зрозуміло, що вибірка не може буквально відтворити генеральну сукупність. Тому завжди існує вірогідність помилки. Основне завдання дослідника – враховувати помилку репрезентативності під час інтерпретації та узагальнення результатів опитування, проведеного на підставі вибіркової сукупності. Отже, дослідник повинен уміти кількісно визначати цю помилку, величина якої обчислюється залежно від типу вибірки.
Дизайн-ефект.
Для багатоступеневих комбінованих вибірок розроблено відповідні формули розрахунку. У них враховується помилка на кожному щаблі, що веде до збільшення помилки вибірки – дизайн-ефекту. Нормальним вважається дизайн-ефект, що не перевищує квадратний корінь із 2, тобто 1,414. Розрахувати дизайн-ефект складно і зробити це можна лише по закінченні дослідження (комп’ютерна програма WesVarPC). Але попередню оцінку дизайн-ефекту можна провести за формулою:
DEFF = 1 + (z-1) * p
z – середня кількість об’єктів у кластері (обсяг генеральної (вибіркової) сукупності розділений на кількість груп, які відбирають на передостанній ступені відбору).
p – міжкластерна кореляція. Дуже складно розраховується, вимагає великої кількості досліджень для уточнення. Тому найчастіше на практиці беруть стандартне значення 0,02.
Приклад:
DEFF = 1 + (18,18-1) * 0,02 = 1,34 (допустимий дизайн-ефект)
z = генеральна (вибіркова) сукупність (2000) ділимо на 110 груп = 18,18
Особливості технологічного підходу до опанування розрахунку обсягу вибірки передбачають оволодіння основними правилами та способами, що дозволяють запобігти грубим помилкам при формуванні вибіркової сукупності та інтерпретації одержаних на підставі сформованої вибірки даних.
Випадкові (статистичні) і систематичні помилки вибірки.
Часто поняття «помилка репрезентативності» і «помилка вибірки» застосовують як синоніми. Зазначимо, що помилки вибірки поділяються на два типи – випадкові (статистичні) і систематичні. Перші пов’язані з надійністю інформації, а другі – з валідністю.
Надійність та валідність – основні параметри визначення якості інформації, одержаної в результаті проведення емпіричного дослідження. На них (і відповідно, на якість) справляють вплив особливості різноманітних етапів емпіричного дослідження (вихідні теоретичні передумови, якість інструментарію, організація контролю роботи інтерв'юерів та ін.). Особливу роль у забезпеченні надійності та валідності даних відіграють особливості формування вибірки.
Надійність і випадкові (статистичні) помилки.
Надійність – це певна гарантія, що одержаний результат правильно відбиває досліджувану дійсність.
Якщо із загальної сукупності відбирати певну її частину випадково, то на основі теорії ймовірності можна визначити величину, на яку може відхилитися значення ознаки у вибірці стосовно конкретного значення сукупності в цілому. Ця величина має назву випадкової помилки. Наприклад, кубик при досить великій кількості кидань буде падати приблизно рівну кількість разів на кожну грань. При декількох киданнях він може показати переважне випадання, наприклад «шістки». Тоді ми кажемо, що число спостережень занадто мале, щоб судити про невипадковість випадання «шісток». Але якщо «шістки» випадають постійно при сотнях і тисячах кидань, ми говоримо: украй малоймовірно, щоб це відбувалося випадково. Отже, випадкова помилка – це ймовірність того, що вибіркова середня вийде (або не вийде) за межі заданого інтервалу.
Отже, надійність інформації на етапі формування вибірки забезпечується врахуванням випадкових (статистичних) помилок – це помилки, які виникають внаслідок випадкової варіації значень, обумовленою тим, що досліджується лише частина, а не вся генеральна сукупність.
Випадкові помилки неминучі через неоднорідність досліджуваного контингенту. Якби всі люди за всіма своїми характеристиками були повністю ідентичними, то достатньо було б опитати одну людину, щоб зробити висновок, що саме так вважає (чи у крайньому разі, відповіла б) решта. Але соціолог саме тому й проводить опитування, що передбачає в обстежуваних людей різні погляди. І якість дослідження визначається спроможністю соціолога обчислити величину випадкової помилки і врахувати її під час поширення висновків, одержаних на підставі опитування частини певної групи людей, на всю її сукупність.
Характеристик, за якими люди відрізняються один від одного, дуже багато. Частина таких характеристик формалізована і фіксується у певних документах (стать, вік, освіта, сімейний стан, національність, фах, посада, заробітна плата тощо). Інша, значно більша частина характеристик (особистісні якості, ставлення до різноманітних соціальних явищ, думки тощо) не формалізована і не зафіксована у яких-небудь документах.
Систематизацією і узагальненням формалізованих характеристик населення займається статистика (державна та відомча). Дослідження ж соціолога спрямоване на те, щоб формалізувати і систематизувати інформацію про ті характеристики людей, які дослідникові здаються найважливішими з соціальної точки зору, але про них немає відомостей у документальних джерелах.
Фактично, кожний пункт анкети є певною характеристикою (ознакою), і дослідник бажає встановити, як і якою мірою люди відрізняються за цією характеристикою. Іншими словами, дослідник з самого початку виходить із принципу неоднорідності обстежуваного контингенту.
Коли дослідник відбирає частину людей із їх загальної сукупності для обстеження (щоб з вибраною частиною зробити висновок про всіх), то до його вибірки можуть не потрапити люди з якими-небудь значеннями досліджуваних характеристик. Менш імовірно, що до вибірки потрапляють люди, «нетипові» за якоюсь характеристикою. Статистично це означає, що їх питома вага у загальній сукупності є невисокою. Чим менша питома вага осіб із певним значенням характеристики у загальній сукупності, тим меншою є ймовірність того, що вони потрапляють до вибіркового обстеження.
Іншою особливістю вибірки є те, що до вибіркової сукупності можуть потрапити особи з усіма можливими значеннями характеристики, але у вибірці вони будуть подані не в тій пропорції, яка притаманна загальній сукупності. Наприклад, у загальній сукупності є 13% осіб, що мають вищу освіту, а до вибірки потрапляє 37%; або в загальній сукупності 25% осіб, які є прихильниками комуністичної орієнтації, а до вибірки потрапить тільки 4% і т. ін.
Основним емпіричним критерієм надійності є стабільність результатів, що характеризує властивість одержувати дані з одним і тим самим результатом у різних опитуваннях, проведених за однакових умов. Наприклад, якби дослідник повторив своє опитування за тією самою анкетою, приблизно в той самий час і з аналогічною (за принципами, процедурами і обсягом) вибіркою, але на інших людях, і одержав такі самі дані, як і при першому опитуванні, то можна вважати, що результати його опитування досить надійні.
Звичайно, випадкові помилки, що знижують стабільність даних, можуть бути наслідком і інших особливостей дослідження: інструментарію чи роботи інтерв'юерів. Наприклад, якщо в запитаннях анкети використовуються терміни, зовсім невідомі багатьом респондентам, і останні радше «здогадуватимуться» про їх значення, то їх відповіді в цьому разі будуть багато в чому лише «випадковою здогадкою» і вірогідність таких даних знизиться.
Під час тестування на стабільність дослідник може вдатися до орієнтовних передбачень – чи призвели до зниження вірогідності помилки вибірки або похибки інструментарію: якщо дані нестабільні за кількома (певними) пунктами анкети, то, ймовірно, до зниження вірогідності призвели похибки інструментарію; якщо дані нестабільні за всіма пунктами анкети, то викривлення інформації відбувається скоріше за все через випадкові помилки вибірки. Чим більший обсяг вибірки, тим меншою мірою випадкові помилки позначаються на загальному результаті дослідження, оскільки основна особливість випадкових помилок полягає в тому, що вони «погашають» одна одну.
Величина випадкової помилки залежить від двох основних параметрів: обсягу вибірки і міри мінливості ознаки (однорідності контингенту за якоюсь характеристикою). Якщо дослідник бажає забезпечити у вибірці представництво людей, нетипових за своїми характеристиками (що не поширені в цій сукупності), він повинен збільшити обсяг вибірки. Отже, чим більш однорідний контингент обстеження і чим більший обсяг вибіркової сукупності, тим меншою є випадкова помилка вибірки і, відповідно, вища вірогідність одержаних у результаті опитування даних. Чудесна властивість випадкових помилок зменшуватися при зростанні обсягу вибіркової сукупності робить безглуздими обстеження величезних масивів, які застосовують найчастіше з метою справити враження на професійно непідготовленого замовника.
Валідність і систематичні помилки.
Валідність (обгрунтованість) інформації – це підтвердження (доказ), що досліджувалися (вимірювалися) саме ті явища, які соціолог передбачав дослідити.
Валідність даних характеризує рівень виміру саме того, що передбачалося виміряти. До зниження валідності можуть призвести як похибки інструментарію, так і помилки вибірки, зокрема, систематична помилка (відхилення вибірки) – це неконтрольовані перекоси в розподілі вибіркових спостережень, які призводять до «втрати» проектованого об’єкту дослідження.
Рис. Зміщення реального об'єкта вибірки щодо проектованого об'єкта за часом
Наприклад, якщо відбір респондентів проводитиметься у районі військової частини, то можна сподіватися, що у вибірці військовослужбовців може бути більше, ніж це характерно для генеральної сукупності. При повторному дослідженні дані можуть бути достатньо стабільними, але як у першому, так і в другому випадку на результати цей (військовий) фактор впливатиме більшою мірою, ніж його відчуває генеральна сукупність. До систематичної помилки найчастіше призводить саме необґрунтований вибір точок опитування. Водночас кількість опитуваних не впливає на величину систематичної помилки і тому систематичні помилки не піддаються попередньому контролю.
Наведемо ще декілька прикладів систематичної помилки.
1) Приклад із книги Н. Паніної.
Яскравим прикладом впливу особливостей вибірки на одержану в результаті опитування інформацію може слугувати наведена нижче публікація з газети «Советская Россия» (3 жовтня 1992 р.) – «Ми також провели опитування»:
«Останнім часом дедалі частіше у полторанінській пресі та на яковлєвському телебаченні з'являються результати «соціологічних опитувань» населення у різних регіонах Росії. Якщо їм вірити, люди просто в захваті від нинішньої влади. Ми з сином також вирішили провести опитування. Вибрали два місця:
1) на кільці автобусної зупинки (опитали 58 чоловік, крім дітей у віці до 15-17 років);
2) у черзі за молоком і вареною ковбасою (опитали 44 особи).
Опитування здійснювали за формою «Известий» (№ 210 від 22.09.1992 p.).
1. «Як Ви живете?» |
Пасажири автобусу |
Черга у магазині |
Газета «Известия» |
Луже добре |
- |
- |
1% |
Добре |
2% |
- |
10% |
Посередньо |
6% |
11% |
51% |
Погано |
38% |
61% |
28% |
Дуже погано |
54% |
28% |
9% |
2. «Економічні реформи нині треба продовжувати чи їх варто припинити?» |
Пасажири автобусу |
Черга у магазині |
Газета «Известия» |
Треба продовжувати |
8% |
6% |
53% |
Варто припинити |
64% |
59% |
20% |
Вагаюся з відповіддю |
28% |
35% |
27% |
Л.В. Ковальов, ветеран праці, 61 рік; С.Л. Ковальов, студент, 20 років, Калінінград»
Слід звернути увагу на те, що соціологи-аматори навели досить докладну характеристику контингенту людей, яких вони опитали (до чого, на жаль, далеко не завжди вдаються навіть професійні соціологи). Вже одне це дає змогу встановити джерела викривлення одержаної таким чином інформації.
Ця публікація самодіяльних «соціологів», незважаючи на очевидну наївність та показну політичну тенденційність авторів, є вдалим прикладом, який демонструє вплив вибірки на змістове значення результатів проведених опитувань. Порівняння даних двох «досліджень» (газети «Известия» і читачів Ковальових) дає змогу переконатися, що в результаті опитувань, проведених за однією й тією самою анкетою, можна одержати принципово відмінні цифри і такі ж діаметрально протилежні висновки. Мабуть, ні в кого не викликає сумніву й те, що основною причиною розходження результатів у цьому випадку є принцип і способи відбору респондентів – конкретних людей, які відповідали на питання анкети.
2) Приклад із книги Г. Батигіна.
У перші десятиліття XX в. американські газети й журнали змагалися за те, щоб стати виразниками громадської думки. Журнал «Літерері Дайджест» з 1925 р. проводив «солом'яні опитування» перед виборами і ніколи не помилявся. Розсилалися мільйони поштових бюлетенів – тим, хто значився в телефонних довідниках і списках автовласників. Система працювала добре доти, поки виборці із середніми й високими статками голосували рівною мірою і за демократів, і за республіканців. І навпаки: виборці з низькими статками були схильні голосувати за будь-якого кандидата.
З початком «Нового курсу» американський електорат став різко стратифікуватися: люди з доходами вище за середній, що дотримувалися демократичних поглядів, змінили їх на республіканські, а ті, хто належав до малоприбуткових груп, сталі симпатизувати демократичній партії.
Восени 1936 р. в історії соціологічних досліджень відбулася подія, що радикально змінила уявлення про побудову вибірки для масових опитувань. У 1936 р. на пост президента США претендували Франклін Рузвельт – демократ і Альфред Лендон – республіканець. Журнал «Літерері Дайджест» розіслав поштою десять мільйонів бюлетенів – була охоплена приблизно третина американських родин. Повернули бюлетені 2.376.523 чоловік. Очевидно, вибірка «Літерері Дайджест», що складалася із власників телефонів і автомобілів, була приречена на зсув на користь республіканців. Так і вийшло. Передвиборне опитування показало, що за Лэндона збираються проголосувати 57% виборців, а за Рузвельта – 43%. На виборах же переміг Рузвельт з результатом 62,5%, а за Лендона було подано 37,5% голосів.
Задовго до цього служби Дж. Геллапа, Е. Роупера й А. Кросслі вели експерименти з вибірковими опитуваннями. Зокрема, Геллап в 1935 р. установив зміщення політичних орієнтацій заможних виборців вправо, а бідних – уліво. В 1936 р. він виявив, що більшість власників телефонів надають перевагу Лендону, у той час як тільки 18% тих, хто отримує матеріальну допомогу, збираються голосувати за нього. 12 липня 1936 р., коли почалася передвиборна кампанія, Геллап опублікував статтю з попередженням про помилку «Літерері Дайджест», що, як уважав автор, цілком ймовірно, пророчить перемогу Лендона над Рузвельтом з рахунком 56:44. Геллап одержав цей прогноз, розіславши поштою всього 3 тис. бюлетенів. Він докладно проаналізував причини можливої помилки. У відповідь в «Літерері Дайджест» була опублікована сердита стаття, де редактор писав: «Ніколи й ніхто ще не пророкував результати наших опитувань ще до того, як вони почалися... Нашому доброму статистичному другові (мався на увазі Геллап) можна було б нагадати, що ці старомодні методи забезпечують «Дайджесту» правильні прогнози з точністю до одної сотої відсотка».
Основне джерело систематичної помилки в питанні «Літерері Дайджест» – використання для визначення адрес респондентів телефонних довідників і реєстраційних книг власників автомобілів. Природно, вибірка змістилася убік «верхніх» шарів соціальної структури. Власники телефонів і автомобілів – групи, у значній мірі пересічні, – і склали реальний об'єкт дослідження, у той час як проектований об'єкт ототожнювався з електоратом США. У підсумку сформувалася вибірка з респондентів, виборчі переваги яких відрізнялися від переваг середнього американця. Середньовибіркові значення виявилися зміщеними убік заможніших і освіченіших верств населення.
Ці соціально-структурні параметри мали визначальний вплив на розподіл довіри до Рузвельта серед електорату. «Новий курс», який проводився президентом з 1932 р., був заснований на втручанні держави в сферу вільного підприємництва, антимонопольній політиці й захисті інтересів нижчих верств населення, у тому числі розширення виборчих прав для іммігрантів. Значним фактором, що обумовив розмежування позицій виборців, був і процес великих корпорацій проти Рузвельта у Верховному суді, що був виграний «капіталістами» в 1936 р. Це сприяло його популярності серед нижчих класів. Та й сам вигляд Рузвельта – людини, з молодого років прикутого до інвалідного візка, але який спромігся стати видатним політиком, імпонував демократичній більшості.
У попередніх опитуваннях «Літерері Дайджест» анкети розсилалися тим же групам і прогнози виправдувалися, але в 1936р. не були враховані дві винятково важливих обставини: по-перше, диференціація виборчих установок залежно від рівня доходів – ця тенденція підсилилося із приходом в 1932 р. у Білий дім президента Рузвельта; по-друге, значне розширення виборчого цензу. Нові контингенти електорату здебільшого належали до найбідніших класів – вони й воліли бачити Рузвельта на посаді президента.
Метод дослідження – поштове опитування – також збільшив помилку. Імовірність повернення питальника поштою була й залишається набагато вищою в людей із високою освітою і доходами вище середнього, а ті, хто не повернув питальник, як правило, належали до нижчих класів. Тому, якби навіть поллстери з «Літерері Дайджест» використовували списки виборців, а не телефонні довідники, вибірка однаково виявилася б зміщеною убік багатих і освічених.
Проти «Літерері Дайджест» працював і фактор часу. Заможні й більш освічені люди звичайно визначають «свого» кандидата на президентських виборах ще влітку й, взагалі, заздалегідь мають із цього приводу обґрунтовану позицію, а «прості» люди нічого заздалегідь не передбачають. «Літерері Дайджест» опитував мільйони процвітаючих американців саме на початку вересня, коли багаті вже визначилися у своєму виборі, а бідні ще ні. Помилково передбачалося, що отримана картина збережеться до листопада, у тому числі збережеться й частка тих, хто не міг сказати нічого певного. До осені ситуація стала змінюватися. Кількість тих, хто визначився у своєму «ні» Рузвельтові залишилася відносно стабільною, зате підгрупа тих, хто не мав думки, різко скорочуватися й перетікати в «так» Рузвельтові. Так найбільша за обсягом вибірка в історії масових опитувань виявилася помилковою, і інцидент показав, що головне для репрезентативності – не обсяг, а гарне розміщення одиниць відбору.
«Кожна одиниця має рівний шанс потрапити у вибірку» – перший принцип вибіркової процедури. Тоді ж, у липні 1936 р., молоді й ще невідомі полстери (так стали називати тих, хто проводить масові опитування, на відміну від соціологів), опитавши кілька тисяч людей, точно пророчили перемогу Рузвельтові. Із цього часу почався інституціональний період в історії обстежень громадської думки. Інститути Геллапа, Роупера й Харріса до початку 1960-х рр. уже були міжнародними корпораціями.
Наступний приклад систематичної помилки вибірки подає у своїй книзі Е.Ноель-Нойман. “Електрофірма бажає з'ясувати, який відсоток дорослого чоловічого населення великого міста користується електричною бритвою. Із цією метою методом випадкового відбору з телефонної книги виписують 1000 домашніх адрес, не враховуючи номера телефонів підприємств. По отриманим у такий спосіб адресам розсилаються (з додатком анкети й порожнього конверта) прохання письмово відповісти: скільки людей чоловічої статі старше 18 років є в родині; скільки з них голяться електричною бритвою і якою маркою вони користуються? Найбільша помилка полягає в тому, що замість правильної вихідної сукупності “всіх родин” були обрані лише ті з них, хто мав телефон. Отже, створюється позитивний взаємозв'язок між двома фактами: “наявність телефону” і “володіння електричною бритвою”. Це значить, що варто очікувати сильно перебільшених результатів внаслідок обмеження генеральної сукупності родинами, що мають телефон. До цього варто додати, що, незважаючи на прикладений конверт, можливо, лише 20% з родин, що одержали опитний листок, дадуть відповідь. Крім того, дуже можливо, що власники електричних бритв будуть відповідати з більшим задоволенням, ніж інші, що також приведе до перекручування результатів”.
Типові систематичні помилки вибірки.
1) Перша і основна систематична помилка полягає в тиску доступних об'єктів. У результаті відбувається необґрунтована екстраполяція реального об'єкта на проектований. Прикладом може бути вищеописана вибірка «Літерері Дайджест». У ній можливості доступу до респондентів, які надавалися телефонними довідниками й реєстраційними картками автовласників, знизили в дослідників почуття побоювання перед помилкою. При використанні пресового опитування, коли на опубліковані в газеті питання відповідають ті, хто захотів відповідати й узяв на себе обов'язок повернути анкету назад, тиск доступних об'єктів відчувається особливо сильно. При вуличному опитуванні інтерв'юери будуть змушені розмовляти з тими, хто погодиться відповідати на питання.
2) Другий тип систематичної помилки пов'язаний з ілюзією сталості. У передвиборних опитуваннях ілюзія сталості проявляється в ігноруванні групою респондентів, що не мають певної думки. Її чисельність, як правило, різко знижується в передвиборні дні. Далеко не всі змінні стійкі. У переважній більшості випадків постійними є стать, соціальне походження, група крові, темперамент. Більш лабільні родинний стан, посада й, буває, національність. Розподіл видів діяльності в добовому бюджеті часу змінюється досить стабільно залежно від пори року, статі, віку й професії. Наприклад, можна з великим ступенем точності сказати, скільки часу витрачають пенсіонери взимку на перегляд телепередач. Соціологічні змінні суб'єктивного плану – думки, оцінки, установки, наміри – змінюються настільки ж швидко, як хаотично, іноді під впливом непередбачених обставин.
Треба «накрити» генеральну сукупність, але «накрити» її в тому місці, де вона з'явиться через певний час. Оскільки траєкторії соціологічних змінних вивчені слабко – повторні й триваючі дослідження трудомісткі й зустрічаються порівняно рідко – подібні екстраполяції вибірки виробляються евристично, «на око», але навіть у такому випадку корисно фіксувати прогноз динаміки змінної хоча б у термінах «зросте», «знизиться», «буде коливатися». Зразковим залишається дослідження Б. Берельсона, П. Лазарсфельда й В. Макфі – вони встановили цикли електоральних переваг американців у передвиборні місяці й навіть тиждень.
Часто в соціологічних дослідженнях динаміка змінних залишається непрогнозованою й вибірки в цьому випадку мають епізодичний характер – тобто сама вибірка являє собою не більш ніж епізод. Звичайно дані про суб'єктивні й тому подібні ефемерні і ситуативні ознаки прив'язані до певного періоду й за його межами втрачають сенс. Наприклад, «рейтинг популярності» політичного лідера зберігається як факт масової свідомості недовго. Мирська поголоска – морська хвиля. Приблизно та ж саме – реакція публіки на телепередачі або політичні події. У цьому випадку ми маємо справу з дослідженням-одноденкою. Його результати повинні з'явитися завтра на газетній смузі й відразу застаріти. Аналогічна ситуація складається в маркетингу – експозиція рекламного «паттерна» вимагає негайного аналізу й простежування його впливу на свідомість потенційних покупців, поки «паттерн» не втратить свою ефективність. Звичайно «моментні» вибірки застосовуються в тих областях соціології, які орієнтовані не на концептуальні результати, а на зовнішнього замовника й виконують «обслуговуючі» функції.
3) Третій тип систематичних помилок – недостатній облік аномальних і важкодоступних одиниць дослідження. Мова йде про тих, хто в силу обставин має меншу ймовірність потрапити у вибірку. Їх мало, і соціолог уже на стадії проектування генеральної сукупності повинен вирішити, чи варто ігнорувати нечисленними групами осіб, – позбавлених волі, не маючих певного місця проживання, працюючих далеко від дому й т.ін. Якщо облік малодоступних одиниць не має істотного значення для дослідження (у більшості випадків буває саме так), варто вказати, що вони виключені з вибіркової сукупності. До малодоступних одиниць відносяться також хворі, зокрема, що перебувають у стаціонарах, дуже нелегко одержати можливість обстежити особовий склад Збройних Сил.
4) Четвертий тип систематичних помилок – недостатній облік відсутніх у місці збору даних, як правило, за місцем проживання. Менші шанси на влучення у вибірку мають ті, кого немає вдома, і ті, що відмовляються співробітничати з інтерв'юером. Здавалося б, не виявитися будинку в момент відвідування інтерв'юера може будь-яка людина (канон польового дослідження вимагає, як мінімум, троєкратного відвідування). Насправді, відсутні вдома цілком визначені контингенти населення. За даними М. Чурилова, при першому відвідуванні інтерв'юерам вдається опитати більшу частину жінок і менше половини чоловіків; при трикратних відвідуваннях виявляється, що в числі 4–7% важкодоступних респондентів також переважають жінки. Серед робітників важкодоступних респондентів 5%, серед службовців – 8%. Чим молодше респонденти, тим більше ймовірність опитати їх при першому візиті інтерв'юера. Зі збільшенням віку респондентів збільшується частка важкодоступних – це суперечить поширеній думці, начебто люди старшого віку менш мобільні, ніж інші групи населення. Найбільш доступні респонденти ті, що ніколи не перебували в шлюбі, – після трикратних візитів інтерв'юерів частка опитаних склала 99–100%.
5) П'ятий тип систематичних помилок – відмови від відповіді, які залежно від теми опитування можуть становити досить значний відсоток запланованих інтерв'ю. Особливо часто відмови від відповіді спостерігаються у великих містах. Зауважимо, що високоосвічені й інформовані респонденти схильні говорити «не знаю» на противагу малограмотним і самовпевненим, у яких є відповідь на будь-яке питання.
Серед причин відмови від відповіді можна вказати три найбільш важливих.
Перша причина пов'язана зі змістом питань, недостатньою поінформованістю респондента в предметі обговорення або небажанням говорити на певні теми. Наприклад, бесіда з інтерв'юером з питань інтимного життя викликає труднощі в багатьох респондентів.
Друга причина – небажання відповідати в силу недоброзичливої установки стосовно інтерв'юера або такого роду опитуванням взагалі. Цей аспект вивчений недостатньо. Яких-небудь систематизованих спостережень немає, хоча в літературі відзначається зростання загальної кількості «задосліджених до смерті» (surveyed to death) респондентів. Швидше за все це перебільшення. Найбільш здатні й досвідчені інтерв'юери вміють завойовувати довіру респондента й переборювати його небажання співробітничати.
Третя причина – зовнішні обставини, що перешкоджають контакту, незважаючи на інформованість респондента й бажання співробітничати. Найбільш важкодоступними, по даним М. Чурилова, є сімейні респонденти – багато хто з них не можуть виділити 40–50 хв. для бесіди з інтерв'юером. За даними опитування 395 молодих робітників в 1982 р. у Києві, інтерв'ю, що не відбулися пов'язані з відпусткою респондента (0,4%), хворобою (0,4%), відмовою від опитування (3,2%), декретною відпусткою (3,6%), призовом в армію (1,2%), звільненням із місця роботи (2,0%). Інші причини відсутності відповідей обумовлені втратою анкет, відмовою повернути заповнені анкети й т.ін. Загальна величина систематичної помилки, як показав М. Чурилов, становить 3,03%, що істотно не впливає на вибіркову середню. Рівень систематичної помилки можна трохи знизити заміною відсутніх або тих респондентів, що відмовилися відповідати, особами з резервного контингенту, але самим надійним способом здійснення вибірки є повторні відвідування. Однократне відвідування забезпечує опитування приблизно 55% респондентів, друге й третє відвідування збільшують це число до 95 – 96%.
Повторні відвідування респондентів, відсутніх удома, обходяться досить дорого. Тому в 1950-і рр. в Інституті Геллапа була розроблена система інтерв'ювання, названа «Час-Місце». Було проведено спеціальне дослідження й установлено: хто і коли з найбільшою ймовірністю перебуває вдома. Природно, що опитування звичайно проводяться у вечірній час і у вихідні дні.
Загальна кількість відмов варіює від 5% у переписах населення США до 30% в окремих «важких» обстеженнях, наприклад щодо доходів або інтимного життя. Особливо багато відмов у великих містах. Найменше налаштовані до співробітництва з інтерв'юером білі й високоосвічені люди. Можливо, збільшення відмов в останні роки обумовлено міркуваннями безпеки. Певну роль грає й зниження рівня підготовки інтерв'юерів, які в більшості випадків розглядають це ремесло як тимчасовий підробіток.
Навряд чи можливо передбачати всі систематичні помилки, що зустрічаються в масових опитуваннях. Наприклад, у дослідженні відтворення трудових ресурсів Києва в 1984 р. застосовувався відбір респондентів по виборчих списках – виписувалася адреса кожного сотого виборця. В. Паніотто помітив, що, якщо починати відбір за алфавітним списком, будуть переважати респонденти, прізвище яких починається на букву «А». Виникне систематична помилка: зокрема, більші шанси на те, щоб потрапити у вибірку в Києві, одержать вірмени, оскільки їхні прізвища часто починаються на «А». Щоб уникнути цього, В. Паніотто починав відбір у кожному списку з номера, рівного цілій частини числа к/7 + 6/7 , де к – номер виборчої дільниці, що змінюється від 1 до 700.
Чому іноді доводиться опитувати «не тих» людей?
Припустимо, що потрібно дослідити, яким малюнкам надають перевагу покупці на вовняних ковдрах, щоб на підставі цього планувати випуск нової продукції. Здається ясно, що найкраще опитати людей, які в недалекому майбутньому збираються купити нову вовняну ковдру.
Якщо опитування планують ширше й запитують також тих, кому за останні десять років доводилося купувати вовняні ковдри, то в цьому випадку можна зробити дивне спостереження. Люди, які найближчим часом збираються купити вовняну ковдру, при багатому виборі пропонованих зразків дуже рідко вибирають картаті ковдри. Люди, які за останні роки самі купували ковдри, роблять зовсім інший вибір. Серед них дуже багато хто вибирають картаті ковдри. Якщо їх запитують, які ковдри вони купили собі самі, з'ясовується цікавий факт: рік у рік продається усе більше картатих ковдр; ті, хто робив покупки недавно – не більше двох років тому, – у більшості випадків висловлювалися за картаті ковдри. Отже, фабрикант не може орієнтуватися на людей, що планують покупку, які в інтерв'ю так рідко надавали перевагу картатим ковдрам. Кращий прогноз збуту можна скласти на підставі думки тих людей, які лише недавно купили вовняну ковдру.
Це не одиничний випадок. Аналогічні явища можна часто спостерігати у зв'язку із предметами, які купуються не часто. Переваги залишаються колишніми доти, поки не починають готуватися до нової покупки, не розглядають із інтересом, купленны знайомими ковдри й не розглядають у магазині виставлені в усій красі новітні зразки. Ті, хто купив ковдри недавно, мають уже орієнтацію, яку сформують у себе також майбутні покупці.
Можна сформулювати правило: у дослідженнях про майбутню поведінку, про майбутні рішення потрібно опитувати так званих “не тих” людей, тобто не тих, хто найближчим часом буде вирішувати, а тих, хто в недалекому минулому вже вирішив. Від них можна довідатися краще й достовірніше про те, що будуть робити майбутні покупці.
Правило легко сформулювати, але його дотримання вимагає нерідко складних міркувань про наш звичний світ, про нашу орієнтацію на інших людей, а також з області статистики. Якщо, наприклад, для підготовки закону про житлове будівництво хочуть довідатися про фінансові плани людей, що планують будувати власні будинки, про їхні думки із приводу вибору місця будівництва, то потрібна більша рішучість, щоб звернутися з усіма питаннями саме до тих, хто тільки що закінчив будівництво свого будинку. Раптом майбутні власники власних будинків будуть поводитися зовсім інакше, будуть мати інші плани й бажання? Все це потрібно зважити. Імовірність мала, але при цьому велика небезпека одержати нереалістичні відомості від людей, які по численних питаннях ще не мають того досвіду, що в остаточному підсумку буде визначати їхнє рішення.
“Не тих” осіб варто опитувати також з метою порівняння. Візьмемо приклад із дослідження мотивації. Щоб довідатися, з яких причин певні люди не зважуються купити мотоцикл або моторолер фірми “Y”, потрібно для порівняння провести репрезентативне вибіркове дослідження серед осіб, що купили марку “Y”.
Тільки з порівняння з реакцією прихильників марки “Y” можна довідатися, чому покупці, що не купують марку “Y”, прийняли таке рішення. Це порівняння виглядає приблизно так:
ПИТАННЯ: “Які Ваші плани: чи збираєтеся Ви коли-небудь купити машину або про машину не може бути й мови?”
Покупці мотоциклів, які збиралися купити марку “Y” і потім: |
купили марку “Y” |
не купили марку “Y” |
Планують купити автомобіль |
32% |
49% |
Не думають купувати автомобіль |
68% |
51% |
Рішення не купувати марку “Y”, отже, очевидно, пов'язане з бажанням купити автомобіль. Як це пояснити?
Перед покупцями, які не вибрали марку “Y”, при покупці неусвідомлено стояв уявний образ автомобіля, що, хоча й недоступний, все-таки переважніше, ніж мотоцикл. А мотоциклам марки “Y” саме не вистачає тих якостей, які робили б мотоцикл схожим на автомобіль (зручність, багато хрому, якнайбільше закритої поверхні й т.д.). Тому ці покупці брали іншу марку, що була ближче до їхньої мрії.
Співвідношення надійності й валідності.
Слід зазначити, що надійність та валідність – досить незалежні один від одного параметри, тому в разі оцінки якості інформації дослідник повинен ураховувати обидві ці характеристики; дані можуть бути валідними, але ненадійними, і, навпаки, дослідник може одержувати досить стабільні результати, але вони не валідні стосовно предмета аналізу.
Наочною ілюстрацією характеристик надійності та валідності, яку забезпечують особливості вибірки, є аналогія з мішенню, яку наводять у своїй праці американські автори P.Alreck і R.Settle. На малюнку (див. рис. 1) подано чотири типи результатів пострілів у мішень. Центром кожної мішені виступає середнє реальне значення деякої ознаки (наприклад, середня заробітна плата) досліджуваної генеральної сукупності; точками на малюнку позначено значення одержаних результатів повторних досліджень за підготовленими вибірковими сукупностями.
-
Валідність
Висока
Надійність
Висока
Низька
А
Б
. . .
. .
. . . .
…...
. .
……•…..
. . •
….
. . .
.
. .
. .
Низька
В
Г
. .
. . .
. . .
. .
•
. •
. .
. .
….
.……..
.
Рис. 1. Ілюстрація надійності та валідності результатів
У квадраті А (надійність і валідність – високі) результати згущені навколо центра (справжньої вимірюваної ознаки). Під час кожного повторного дослідження одержана за результатами опитування вибірки величина незначною мірою відрізняється від справжнього значення ознаки. У цьому випадку можна говорити про високу надійність і високу валідність вибірки. Чим менша загальна площа розсіювання, тим менше випадкових помилок, і, відповідно, вища надійність вибірки. Чим ближче ці значення до справжнього результату, тим вища валідність (обгрунтованість) даних (дослідник вимірював саме те, що передбачав виміряти).
У квадраті Б (надійність – низька (випадкова помилка), валідність – висока) крапки також групуються навколо справжнього значення, але результати повторних вимірювань значно віддалені один від одного. Якщо проводиться тільки одне дослідження (досить часто автор саме так і робить), результат, одержаний на основі опитування вибіркової сукупності, може бути вельми віддаленим від справжнього значення (через вплив випадкових помилок). На практиці такий тип помилок найчастіше виникає при недостатньому обсязі вибірки.
У квадраті В (надійність – висока, валідність – низька (систематична помилка)) дослідник під час повторних опитувань одержуватиме досить близькі між собою дані, але вони не відтворюватимуть справжню картину характеристики тієї сукупності, про яку він робить висновки. Наприклад, якщо він досліджує показник середньої заробітної плати всього населення, а респондентів опитує у магазині в робочий час, коли там вища частка тих людей, які не працюють і дохід яких у середньому значно нижчий, ніж у населення в цілому, або ж опитує респондентів у районі якого-небудь підприємства, середня заробітна плата працівників якого в середньому вища, ніж серед населення в цілому, про яке дослідник робить висновки. Систематична помилка призводить до викривленого, але досить стабільного результату.
І, насамкінець, квадрат Г (надійність і валідність – низькі): на результати дослідження впливають як випадкові, так і систематичні помилки.
Висновок. Випадкові помилки – ненавмисні, вони обумовлені неоднорідністю об’єкта дослідження (розсіюванням, дисперсією, його характеристик). Такі помилки «ремонтуються» збільшенням обсягу вибірки. Критеріями відсутності випадкових помилок є надійність, стабільність, точність. Порівняльний приклад: годинник показує час правильно (немає помилок), а може відставати, зокрема через старі батарейки (помилка). Систематичні помилки – навмисні, найчастіше обумовлені необґрунтованим відбором точок опитування. Виходить так, що вимірюється не те, що планувалося. При цьому існує близькість вимірюваних значень до справжнього результату. Порівняльний приклад: годинник показує час неправильно, оскільки його від початку неправильно «завели».
Ремонт вибірки.
Щоб уникнути впливу випадкових та систематичних помилок (або, у крайньому разі, обчислити їх величину та врахувати її під час інтерпретації результатів), необхідно бути обізнаним з основними характеристиками генеральної сукупності, на яку дослідник поширюватиме висновки, одержані в результаті опитування вибіркової сукупності.
Принципово, як дотепно відмітив соціолог В. Шляпентох: «У цьому світі немає репрезентованих даних – слід тільки відтворити ту генеральну сукупність, яку ці дані репрезентують». Іншими словами, результати будь-якого опитування дають певну інформацію, якщо дослідник досить коректно інтерпретує результати цього опитування і поширює висновки лише на ту частину населення, яку репрезентує його вибірка.
Однак, коли перед соціологом постає цілком конкретна мета, що своєю постановкою визначає об'єкт дослідження, модель його вибірки за своїми основними параметрами повинна відповідати моделі генеральної сукупності. Тому під час формування вибірки він зобов'язаний виходити із поставленої мети.
Головне завдання дослідника на етапі складання вибірки – правильно побудувати модель вибіркової сукупності (таким чином, щоб за своєю структурою вона відповідала генеральній сукупності), а на етапі інтерпретації результатів урахувати всі помилки, допущені під час формування вибірки. Якість інформації в кінцевому результаті визначається не відсутністю помилок і похибок (уникнути яких практично неможливо), а створюваними дослідником умовами, що дають змогу врахувати вплив цих помилок на кінцевий результат. Конкретніше це положення формулює В. Паніотто: «Надійною називають інформацію, в якій, по-перше, враховані помилки не перевищують певної, заданої дослідником величини; по-друге, відсутні невраховані помилки, тобто помилки, величину яких дослідник не спроможний оцінити» (Социологический справочник. – 1990. – С. 140).
Щоб мінімізувати відхилення, що виникли на етапі польових робіт, при аналізі даних необхідно робити ретельний ремонт вибірки. Особливо сильні зсуви спостерігаються за параметрами статті і віку. Пояснюється це тим, що жінки й люди з вищою освітою більше часу проводять вдома й легше йдуть на контакт із інтерв'юером, тобто є легко досяжною групою в порівнянні із чоловіками й людьми «неосвіченими». У принципі цю погрішність можна було б зменшити, збільшивши число повторних відвідувань із трьох до восьми-дев'яти, як роблять західні соціологи. Однак це приведе до значного збільшення витрат на проведення польових робіт та до збільшення строків проведення поля.
Істотні проблеми проведення випадкової вибірки пов’язані з досяжністю респондентів. Ці проблеми викликані суперечністю між вимогою опитувати саме тих людей, які потрапили до випадкового відбору (на основі однакової можливості кожного потрапити до вибірки), з одного боку, і практичною неможливістю опитати певну частину одержаної вибіркової сукупності – з іншого.
Response Ratе – рівень досяжності респондентів.
Розраховується за наступною формулою: RR = a / b * 100, де
a – кількість респондентів, що вдалося опитати;
b – кількість респондентів, яку треба було опитати.
Як правило, недосяжність частини вибіркової сукупності (до 10-15%) пояснюється такими причинами: відсутність (тимчасова чи постійна) за вказаними адресами, відмова респондентів від участі в опитуванні та ін. Рівень досяжності для інтерв’ю у даний час знижується. Як вихід – перехід на нові види опитування (телефонні, інтернет-опитування), або збільшення часу дослідження і жорсткість правил добору респондентів (хоча б три візити до зачинених дверей, із яких один обов’язково має бути у вихідний день; видача подарунків за участь респондента у дослідженні і т.п.).
Для заміни важкодосяжних одиниць спостереження при застосуванні випадкового відбору може застосовуватися квотний відбір (невипадковий)
Найбільш досяжними є пенсіонери (старші люди) та жінки. Якщо опитувати лише досяжних респондентів, вони можуть «спотворити» вибірку. Тому застосовують вибірку з обмеженнями – вибірка, у якій зазначене певне граничне значення об’єктів-носіїв визначеної характеристики. Обмежень не повинно бути більше 1-2 – інакше ми одержимо квотну вибірку. Задавати обмеження має сенс із запасом (12–14%).
З метою коректування вибіркових показників використовують т.зв. «компенсаторні ваги», коли опитують одну кількість людей, а результати проектують на іншу (за допомогою комп’ютерного модулювання, зокрема в SPSS).
Отже, не існує вибірки на всі випадки соціологічного життя. Краща вибірка – не обов'язково більша. Навіть дуже маленька вибірка може бути цілком представницькою. Головне, щоб вона була добре перемішана в генеральній сукупності.