Математическая статистика и анализ данных. Учебное пособие

собирать данные в пространстве. А в случае, если вы хотите изучить изменение средней цены, к примеру, на шоколадку «УМ» в сетевом магазине города A, то будете собирать данные во времени.

Ƚɟɧɟɪɚɥɶɧɚɹ

ɫɨɜɨɤɭɩɧɨɫɬɶ ;

ȼɵɛɨɪɤɚ

x x2 xn

Рис. 5.1

В случае изучения длины хвостов у кошек у вас будет генеральная совокупность – кошки города A, а изучаемый признак – длина хвоста (т.е. непрерывная случайная величина X).

Определение 3. В случае выбора группы из n элементов говорят о выборке объема n.

По-другому можно сказать, что мы наблюдаем эту случайную величину X ровно n раз и получаем значения (x1, x2, …, xn). Очевидно, что полученные n случайных значений есть, по сути, n независимых случайных величин {X1, X2, …, Xn}, распределенных так же, как и случайная величина X. Далее элементы выборки (x1, x2, …, xn) изучаются. Статистические задачи возникают тогда, когда по результатам обследования выборки нужно сделать выводы о генеральной совокупности.

При дальнейшей работе полезно иметь в виду вышеуказанное соответствие, которое приведем еще раз в виде следующей схемы:

71

1.Генеральная совокупность X – случайная величина.

2.Выборка объема n {X1, X2, …, Xn} – результаты n наблюдений случайной величины X, которые, в свою очередь, пред-

ставляют n независимых случайных величин.

Определение 4. Совокупность всех возможных выборок объема n называется выборочным пространством, а каждая выборка – точкой выборочного пространства.

Желательно иметь такую выборку, которая будет правильно отражать состав генеральной совокупности. В этом случае говорят, что выборка репрезентативна. Отчасти этого можно добиться, если обеспечить равную возможность попасть в выборку для каждого элемента. Как правило, элементы в выборку отбираются наугад и ее состав случаен. Однако из-за случайности выборки исследователь может оказаться в нелепом положении1. Поэтому каждый вывод сопровождается указанием о степени его достоверности.

После того как выборка сделана, часто исследователь последовательно проводит предварительную обработку:

1)ранжирование полученного ряда (упорядочение данных по неубыванию);

2)составление вариационного ряда (запись ранжированного ряда без повторяющихся значений с указанием частот их встречаемости);

1 Так, к примеру, в одной из книг автор Я.И. Хургин приводит пример, когда его близкий друг двум расчетчицам поручил рассчитать таблицы стрельб для одного вида оружия. В представленных таблицах из 10 000 пятизначных чисел он выбрал одно, провел расчеты и обнаружил ошибку. Выбрав второе число наугад, он заново обнаружил ошибку. Заставил пересчитать все таблицы заново и выяснил, что все 99 998 оставшихся чисел оказались верны. Это обстоятельство привело к ложным выводам о некомпетентности расчетчиц. Основная причина этого состояла в большом опыте руководителя, который выделил два числа, незаметно отклонявшихся от значений, которые должны быть (см. Хургин Я.И. Да, нет или может быть… М.: Наука, 1983. 207 с.).

72

3) составление полигона частот (аналога многоугольника распределения для ДСВ) или гистограммы1 (аналог функции плотности для НСВ) (см. приложение 3).

Дадим основные характеристики типов гистограмм, которые используются для непрерывных данных (или большого числа дискретных). Суть ее построения заключается

вгруппировке «близлежащих» данных в равные интервалы,

вкоторых они теряют свою индивидуальность, но тем самым позволяют отобразить их общее строение (рис. 5.2).

Плато Двухпиковый тип

С изолированным пиком

Рис. 5.2. Типы гистограмм2

Обычный тип. Встречается чаще всего. Такая гистограмма получается у однородных данных без сильно выделяющихся наблюдений. Вероятно, если мы будем изучать длину хвостов у кошек в городе A, то получим такой тип гистограммы.

1 Гистограмма – от греч. histos – ткань, gramma – начертание. Термин был впервые введен Карлом Пирсоном.

2 Классификация гистограмм соответствует предложенной профессором Токийского университета классификации в учебном пособии: Кумэ Х. Статистические методы повышения качества. М.: Финансы и статистика, 1990.

73

Гребенка (мультимодальный тип). Классы через один имеют более низкие частоты. Такая гистограмма, к примеру, может получиться, когда идет слишком грубое округление данных, слабо учитывается их внутренняя вариабельность, и тем самым данные попадают в соседние классы.

Положительно скошенная (отрицательно скошенная). Частоты резко спадают при движении вправо от пика и медленно – при движении влево. Такая форма может встретиться на производстве, например, когда нижняя граница качества изделия регулируется.

Собрывом слева (справа). Частоты в гистограмме резко спадают слева и, наоборот, медленно спадают справа. Такая гистограмма часто встречается на производстве с плохой наладкой, когда приходится делать 100%-й контроль и отброс брака.

Плато. Все классы имеют приблизительно одинаковые частоты. Такая гистограмма может получиться, например, когда мы замеряем у случайно пришедших пассажиров время ожидания поезда метро, которые ходят с заданным интервалом.

Двухпиковый тип. Вблизи центра гистограммы низкие частоты, но имеются два пика. Такая ситуация часто встречается, когда смешиваются два распределения с далеко отстоящими средними. Например, проводятся исследования роста жителей города, где присутствуют представители двух рас с разными средними показателями роста. Если сделать измерения, не различая рас, то получим наложение двух различных законов с группировкой данных по расам вокруг своей средней. Здесь, как и далее в гистограмме с изолированным пиком, мы встречаемся с таким явлением, как отсутствие однородности данных.

Сизолированным пиком. Помимо обычного типа добавляется небольшой изолированный пик. Такую гистограмму можно получить, например, если имеется несколько данных из другого распределения, т.е. включение данных из другого процесса, например если бы при измерении роста жителей города мы включили бы показатели высоты нескольких кошек.

74

5.2. Точечные оценки параметров генеральной совокупности, их свойства

Построив гистограмму, ее нужно попытаться охарактеризовать. Например, можно найти числовые характеристики.

Пусть наблюдается случайная величина X, и (x1, x2, …, xn) – ее выборка. Результаты выборки необходимо подвергнуть обработке. Существует два подхода к решению этой задачи.

1.Можно по результатам наблюдений рассчитать приближенное значение какой-либо интересующей исследователя характеристики.

2.Можно указать целый интервал возможных ее значений, согласующихся с опытными данными.

В первом случае говорят о точечной оценке, а во втором – об интервальной.

Определение 5. Функцию ˆ ˆ (x1, x2, …, xn) результатов наблюдений, значения которой близки к неизвестному значению характеристики , называют точечной оценкой этой характеристики.

Замечание. Для одной и той же характеристики можно предложить разные точечные оценки. О методах получения оценок можно прочесть в приложении 3. Для выбора же наилучшей оценки необходимо иметь критерии их сравнения для суждения об их качестве.

Определение 6. Оценка называется несмещенной, если ее математическое ожидание равно оцениваемой величине: M ˆ = . В противном случае оценку называют смещенной.

Смещенная оценка появляется в результате, как правило, систематических ошибок, т.е. завышает или занижает истинное значение параметра (к примеру, весы со смещенной стрелкой на 10 г).

Определение 7. Оценка называется состоятельной, если при увеличении числа наблюдений она сходится по вероят-

75

ности к оцениваемой величине, т.е. для любого сколь угодно малого > 0

n

P ˆ x1,x2, ,xn 1.

Если известно, что оценка ˆ несмещенная, то для ее состоятельности достаточно проверки более удобного условия:

n

D ˆ x1,x2, ,xn 0.

Определение 8. Оценка называется эффективной, если при заданном объеме выборки она имеет наименьшую дисперсию среди всех возможных несмещенных оценок.

Такое требование к минимизации дисперсии вполне разумно на практике, так как обеспечивает наименьшее рассеяние около среднего значения.

Следует отметить, что несмещенность и состоятельность являются желательными свойствами. Но иногда может оказаться предпочтительней та оценка, которая может иметь незначительное смещение, но имеет меньший разброс, нежели несмещенная оценка1. Существуют характеристики, для которых не существует одновременно несмещенных и состоятельных оценок.

Утверждение 1. Пусть x1, x2, …, xn – результаты независимых наблюдений случайной величины X. Несмещенной и состоятельной оценкой математического ожидания генеральной совокупности служит среднее2 арифметическое выборочных значений.

1 «Не приходится надеяться поправить плохие, с большой дисперсией, измерения за счет их численности». Ю.Н. Тюрин.

2 Например, о среднем: «В тело среднего человека бельгийский автор вложил среднюю душу. Средний человек лишен страстей и пороков, он не безумен, не мудр, не невежда, не ученый… зауряден во всем. После того, как он поедает в течение 38 лет средний паек здорового солдата, ему поло-

76

1. Докажем несмещенность. Пусть = M(X), тогда

Замечание. Доказано, что для нормально распределенной случайной величины оценка математического ожидания x еще и эффективна.

Утверждение 2. Пусть x1, x2, …, xn – результаты независимых наблюдений случайной величины X. Несмещенной и состоятельной оценкой дисперсии генеральной совокупности служит величина, обозначаемая s2, равная

Докажем только несмещенность. Пусть = D(X), а ее оценка ˆ = s2. Обозначим M(X) = m, тогда

жено умереть не от старости, а от средней болезни, которую обнаруживает в нем статистика». Bertrand, 1888.

77

Рассмотрим и преобразуем разность:

78

5.3. Понятие доверительного интервала

Пусть случайная величина X имеет неизвестную нам характеристику .

Ȗ

2

Рис. 5.3

Идея интервального оценивания характеристики заключается в том, что по результатам наблюдений x1, x2, …, xn определяют две величины 1 = 1(x1, x2, …, xn) и 2 = = 2(x1, x2, …, xn), такие, что

P( 1 < < 2) = ,

где – наперед заданная вероятность (рис. 5.3).

Величины 1 и 2 называют соответственно нижней и верхней доверительными границами, а интервал ( 1, 2) – доверительным интервалом для , соответствующим доверительной вероятности (уровень надежности).

Наряду с величиной часто рассматривают величину 1 – = , называемую уровнем значимости (уровнем ошибки).

Замечание. Величины 1 и 2 случайны и зависят от того, какие именно значения случайной величины X попали в выборку. Поэтому доверительные интервалы, построенные по разным сериям наблюдений, могут иметь различные положения и длину.

Контрольные вопросы

1.Какая совокупность называется генеральной? Какие виды наблюдений можно проводить для ее изучения?

2.Какое соответствие между понятиями «генеральная совокупность», «выборка» и случайными величинами можно провести?

80