1. Влияние и значение систематических ошибок

 

Ошибки, возникающие при обследовании, можно разделить на два основных типа: ошибки в выборке и систематические ошибки.

Ошибка в выборке - разность между наблюдаемыми значениями количествен­ного признака и их долгосрочным средним значением при повторении измерений.

Основой для ее рассмотрения была концепция выбо­рочного распределения некоторой статистики, например выборочного среднего, выборочной доли и тому по­добное. Само понятие выборочного распределения не­разрывно связано с понятием ошибки в выборке. На­званное распределение существует благодаря тому, что различные выборки, сформированные в соответ­ствии с принятым планом исследования, дают разные оценки параметра.

Статистика меняется от выборки к выборке в силу того, что в каждом случае выборочно­му отбору подвергается лишь часть генеральной сово­купности. Соответственно можно определить ошибку в выборке как разность между наблюдаемы­ми значениями количественного признака и их долго­срочным средним значением при повторении измере­ний. Ошибка в выборке может быть уменьшена путем увеличения объема выборки.

Систематические ошибки являются отражением ошибок иного рода, которые могут воз­никать и не при выборочных исследованиях.

Систематическая ошибка - ошибка исследования, не связанная с выборкой. Она может быть вызвана концептуальными или логическими ошибка­ми, неправильной интерпретацией ответов, а также стати­стическими, арифметическими, табуляционными, кодо­выми или отчетными ошибками.

Систематическая ошибка под­разделяется на: случайную и неслучайную.

Случайные ошибки дают оценки, отличные от истинного значения; они могут приводить к отклонениям и в большую, и в меньшую сторону и имеют при этом случайный характер.

Неслучай­ные систематические ошибки имеют более тяжкие последствия. Неслучайные системати­ческие ошибки приводят к односторонним отклонениям, Соответственно для них характерна тенденция к смеще­нию выборочного значения относительно параметра со­вокупности. Систематические ошибки могут являться следствием концептуальных или логических ошибок, неправильной интерпретации ответов, а также стати­стических, арифметических, табуляционных, кодовых или отчетных ошибок.

Один из авторов писал: «Перечень возможных бед и напастей с увеличе­нием наших познаний только расширяется… Многолетняя работа в определенной области, позволяет приобрести известный методологи­ческий опыт, который, к сожалению, практиче­ски никогда не становится доступным другим. Подлинной уверенности в правильности выработан­ных подходов нет и быть не может».

Недостатки систематических ошибок:

- не так часты, но и не настолько подконтрольны, как ошибки в выборке. При увеличении объема выборки ошибки в выборке уменьшаются. Сказать то же самое о систематических ошибках нельзя. В этом случае они могут, как умень­шаться, так и возрастать.

- в систематических оши­бках, как направление, так и величина ошиб­ки могут оказаться совершенно непредсказуемыми, в отличие от выборок, где ошибки в выборке при использовании вероятностных методов могут быть оценены.

- приводят к смещению вы­борочного значения относительно параметра совокуп­ности. В ряде случаев нельзя судить даже о том, к чему именно приведут, к переоценке или к недооценке параметра.

- влияют на достоверность выборочных оценок. Вы­званное ими смещение может увеличить ошибку оцен­ки определенных статистик до такой степени, что оцен­ка доверительного интервала окажется ошибочной.

Например, одно из исследований, отражающие финансовое положе­ние потребителей, направленное оценить уровень накоплений потребителей, проведенное Иллинойским университетом, служит наглядным свидетель­ством сказанного. В ходе этого исследования сравнивали полученные от потребителей сведе­ния об их финансовых средствах и долгах с известной информацией, отражающей финансовое положе­ние потребителей.

Например, опытное обследование неожиданно показало, что систематические ошибки существуют не только в теории, оказалось, что именно они яв­ляются основной причиной замеченной тенденции к занижению собранных показателей.

Эта ошибка не просто присутствовала в данных обследования, в ряде случаев роль систематиче­ских ошибок была настолько велика, что определение доверительных интервалов по известным формулам статистики теряло всяческий смысл. Следует отметить, что при увеличении объема выборки величина этой ошибки только возрастала.

В некоторых ситуациях даже самые изощренные выборки не могут избавить от систематических ошибок.

Особенно критичными ошибки становятся при работе с широкомасштабны­ми, хорошо продуманными вероятностными вы­борками, т.к. при увеличении эффектив­ности проектирования выборки и уменьшении выборочной дисперсии, эффект систематических ошибок усиливается. В связи с тем, что систематичес­кие отклонения практически не зависят от объе­ма выборки, то сталкиваемся с парадоксальной ситуацией. Чем эффективнее составлена выбор­ка, тем большую роль играют систематические ошибки и тем меньшим смыслом обладают вы­числения по определению доверительного интер­вала, в основе которых лежат обычные форму­лы.

В случае исследования, проведенного Иллинойским университетом, можно было определить систематиче­скую ошибку, т.к. в распоряжении исследова­телей находились не только результаты опроса, но и реальные данные, отражающие финансовое положе­ние потребителей. Предположим, что подобных данных нет. Исследователи могут предполо­жить, что полученные ими ответы не совсем точны, но как они смогут определить хотя бы направление вы­званного такими ошибками смещения? То ли респонденты сознательно завышали уровень своих сбереже­ний, желая впечатлить интервьюера, то ли занижали их, боясь, что реальные цифры могут вызвать повы­шенный интерес у сотрудников Налогового управле­ния. Предположим, что сам факт неточности приве­денных сведений не вызывает у нас сомнений. Возникает еще один вопрос: какова величина этой «не­точности»? Завышение реальной суммы на 10 000 дол­ларов или ее занижение на 2000? Или наоборот?

Час­то проблема систематических ошибок оказывается центральной. Два типа систематических ошибок, от­сутствие ответов одних и некорректные ответы других участников обследования, могут обратить результаты исследования на нет.

Например, в результате специальных исследований, проведен­ных Бюро переписей, выяснилось, что такие систе­матические ошибки могут в десять раз превышать ошибку выборки. Помимо прочего, оказалось, что систе­матическая ошибка составляет большую часть ошиб­ки исследования, в то время как случайная ошибка выборки сведена к минимуму.

Систематические ошиб­ки могут быть уменьшены, но уменьшение их связано не столько с увеличением объема выборки, сколько с использованием специальных методов. А для этого необходимо, прежде всего, осознавать их причины.

На рис. 6.1 представлены основные типы систематических ошибок.

Система­тические ошибки делятся на два основных типа: ошибки, связанные с неполучением данных (ошибки ненаблюдения), и ошибки наблюдения.

Ошибки ненаблюдения возникают вследствие невозможности получения данных от части элементов обследуемой совокупности и быть вызваны тем, что часть обследуе­мой совокупности не была представлена в выборке, или же элементы, отобранные для включения в выборку, не представили данных.

Ошибки наблюдений воз­никают вследствие некорректной информации, полу­ченной от элементов выборки, они могут возникнуть и на стадии обработки данных или формулирования ито­гового вывода.

По ряду характеристик они представля­ют еще более опасность, чем ошибки ненаблюде­ния. В случае последних ошибки этого вида обусловлены неполным охватом или неполучением данных. О существовании же ошибок наблюдения можно и не подозревать.

 Рис. 8.1. Виды систематических ошибок

 Само понятие ошибки наблюдения основывается на предположе­нии о том, что для количественного признака или признаков существует некоторое «истинное» значение. Соответственно ошибка наблюдения является разностью объявленного и «истинного» значения. И естественно, что определение ошибки наблюдения создает трудности, т.к. при исследовании задаются той самой величиной, оп­ределение которой является целью исследования.