1638
.pdf
И.А. Палий
Учебное пособие
100
80
60
40
20
0
1 |
2 |
3 |
4 |
5 |
6 |
1
Министерство образования РФ Сибирская государственная автомобильно-дорожная академия
(СибАДИ)
И.А. ПАЛИЙ
ПРИКЛАДНАЯ СТАТИСТИКА
Учебное пособие
Допущено Министерством образования Российской Федерации в качестве учебного пособия для студентов высших учебных заведений,
обучающихся по направлению 55000 Технические науки и социальноэкономическим специальностям
Омск Издательство СибАДИ
2003
2
ОГЛАВЛЕНИЕ |
|
ВВЕДЕНИЕ .......................................................................................................................... |
6 |
1. ГЕНЕРАЛЬНАЯ СОВОКУПНОСТЬ И ВЫБОРКА................................................... |
|
ИЗ ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ........................................................................ |
7 |
2. ВЫБОРКА, ЕЕ ПРЕДСТАВЛЕНИЕ И ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ......... |
9 |
2.1. ПРЕДСТАВЛЕНИЕ ВЫБОРКИ................................................................................. |
9 |
2.1.1. Таблица частот и интервальная таблица частот............................................. |
9 |
2.1.2. Графическое представление выборки........................................................... |
11 |
2.2. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ ВЫБОРКИ ..................................................... |
14 |
2.2.1. Выборочное среднее, мода, медиана............................................................. |
14 |
2.2.2. Квартили, декатили, персентили................................................................... |
16 |
2.2.3. Измерение разброса: размах, выборочная дисперсия, выборочное................ |
|
среднее квадратическое отклонение (стандартное отклонение),.............................. |
|
коэффициент вариации............................................................................................ |
17 |
2.2.4. О симметричных и несимметричных распределениях................................. |
18 |
2.2.5. Вычисление выборочного среднего и выборочной дисперсии для................ |
|
объединения двух выборок..................................................................................... |
19 |
2.2.6. Общая, межгрупповая и внутригрупповая дисперсии................................. |
21 |
2.2.7. Кривая Лоренца и показатели концентрации............................................... |
21 |
2.3. ЗАДАЧИ.................................................................................................................... |
24 |
3. ОБРАБОТКА РЕЗУЛЬТАТОВ НАБЛЮДЕНИЙ .................................................... |
30 |
ПО МЕТОДУ НАИМЕНЬШИХ КВАДРАТОВ............................................................ |
30 |
3.1. ДВУМЕРНЫЕ ВЫБОРКИ....................................................................................... |
30 |
3.2. ГРАФИЧЕСКОЕ ПРЕДСТАВЛЕНИЕ ДВУМЕРНЫХ ВЫБОРОК —...................... |
|
ДИАГРАММЫ РАССЕЯНИЯ........................................................................................ |
32 |
3.3. ВЫБОРОЧНЫЙ КОЭФФИЦИЕНТ КОРРЕЛЯЦИИ — ЧИСЛОВАЯ.................... |
34 |
ХАРАКТЕРИСТИКА ДВУМЕРНОЙ ВЫБОРКИ.......................................................... |
34 |
3.4. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ.............................................................. |
36 |
3.5. ДРУГИЕ УРАВНЕНИЯ РЕГРЕССИИ..................................................................... |
40 |
3.5.1. Парабола второго порядка............................................................................. |
40 |
3.5.2. Показательная функция................................................................................. |
40 |
3.5.3. Степенная функция........................................................................................ |
40 |
3.5.4. Гиперболическая функция............................................................................. |
41 |
3.5.5. О квазилинейном уравнении регрессии........................................................ |
41 |
3.5.6. Пример построения нелинейного уравнения регрессии.............................. |
43 |
3.6. РАСЧЕТ КОЭФФИЦИЕНТОВ ЛИНЕЙНОГО УРАВНЕНИЯ............................... |
44 |
РЕГРЕССИИ ПО СГРУППИРОВАННЫМ ДАННЫМ................................................. |
44 |
3.7. ИНДЕКС КОРРЕЛЯЦИИ......................................................................................... |
45 |
3.8. ИНДЕКС ФЕХНЕРА И КОРРЕЛЯЦИОНННОЕ ОТНОШЕНИЕ........................... |
46 |
3.9.ЗАДАЧИ..................................................................................................................... |
50 |
4. ВРЕМЕННЫЕ РЯДЫ .................................................................................................. |
55 |
4.1. ЧТО ТАКОЕ ВРЕМЕННОЙ РЯД............................................................................ |
55 |
4.2. ПОНЯТИЕ ОБ АНАЛИЗЕ ВРЕМЕННЫХ РЯДОВ................................................. |
59 |
4.2.1. О значениях временного ряда ....................................................................... |
60 |
3
4.2.2. Тренды временных рядов.............................................................................. |
60 |
4.2.2.1 Линейный тренд.................................................................................. |
61 |
4.2.2.2. Параболический тренд....................................................................... |
62 |
4.2.2.3. Показательная функция..................................................................... |
63 |
4.2.2.4. Исключение трендовой составляющей............................................. |
64 |
4.2.2.5. Скользящие средние.......................................................................... |
65 |
4.2.3. Сезонные колебания и индексы сезонности................................................. |
66 |
4.3. Задачи........................................................................................................................ |
69 |
5. ПОНЯТИЕ ОБ ИНДЕКСАХ ....................................................................................... |
74 |
5.1. ИНДИВИДУАЛЬНЫЕ (ЧАСТНЫЕ) ИНДЕКСЫ................................................... |
74 |
5.2. ОБЩИЕ ИНДЕКСЫ................................................................................................. |
76 |
5.2.1. Агрегатные индексы...................................................................................... |
76 |
5.2.2. Средние индексы ........................................................................................... |
77 |
5.2.3. Индексы цен................................................................................................... |
77 |
5.2.4. Дефлятирование стоимостных величин........................................................ |
78 |
5.3. ЗАДАЧИ.................................................................................................................... |
79 |
6. ПРОВЕРКА ГИПОТЕЗЫ О ЗАКОНЕ РАСПРЕДЕЛЕНИЯ ГЕНЕРАЛЬНОЙ |
|
СОВОКУПНОСТИ ПО КРИТЕРИЮ ПИРСОНА (КРИТЕРИЮ 2)........................ |
81 |
6.1. ПРИМЕР ................................................................................................................... |
81 |
6.2. НЕМНОГО ТЕОРИИ................................................................................................ |
84 |
1.3. ДРУГИЕ ПРИМЕРЫ................................................................................................ |
86 |
6.3.1. Проверка гипотезы о нормальном законе распределения............................ |
86 |
6.3.2. Проверка гипотезы о равномерном законе распределения.......................... |
89 |
6.3.3. Проверка гипотезы о биномиальном законе распределения........................ |
90 |
6.3.4. Проверка гипотезы о законе распределения Пуассона................................ |
91 |
6.3.5. Последний пример......................................................................................... |
92 |
6.4. ЗАДАЧИ.................................................................................................................... |
94 |
7. ПОНЯТИЕ О ТОЧЕЧНЫХ И ИНТЕРВАЛЬНЫХ ОЦЕНКАХ ПАРАМЕТРОВ |
|
ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ............................................................................ |
98 |
7.1. ВЫБОРОЧНЫЕ СТАТИСТИКИ ............................................................................. |
98 |
7.2. ТОЧЕЧНЫЕ ОЦЕНКИ ПАРАМЕТРОВ ГЕНЕРАЛЬНОЙ .................................... |
99 |
СОВОКУПНОСТИ......................................................................................................... |
99 |
7.3. О ТОЧНОСТИ И НАДЁЖНОСТИ ТОЧЕЧНЫХ ОЦЕНОК................................. |
101 |
7.3.1. Ещё об определении нужного объёма выборки.......................................... |
104 |
7.4. ПОНЯТИЕ ОБ ИНТЕРВАЛЬНЫХ ОЦЕНКАХ ПАРАМЕТРОВ ......................... |
107 |
ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ........................................................................... |
107 |
7.4.1. Построение доверительного интервала для неизвестного.............................. |
|
математического ожидания a нормально распределённой генеральной........... |
107 |
совокупности, когда дисперсия σ2 генеральной совокупности известна............ |
107 |
7.4.2. Построение доверительного интервала для неизвестной................................ |
|
вероятности p “успеха” ......................................................................................... |
108 |
7.4.3. Построение доверительного интервала для неизвестного.............................. |
|
математического ожидания нормально распределённой генеральной.................... |
|
совокупности, когда дисперсия σ2 генеральной совокупности неизвестна........ |
109 |
7.4.4. Построение доверительного интервала для неизвестной дисперсии............. |
|
σ2 нормально распределённой генеральной совокупности.................................. |
111 |
7.4.5. Построение доверительного интервала для разности математических.......... |
|
4
ожиданий нормально распределенных генеральных совокупностей.................. |
112 |
7.5. ЗАДАЧИ.................................................................................................................. |
116 |
8. ПОНЯТИЕ О ПРОВЕРКЕ СТАТИСТИЧЕСКИХ ГИПОТЕЗ……………… 120 |
|
8.1. ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ.............................................................................. |
122 |
8.1.1. Что такое статистическая гипотеза............................................................. |
122 |
8.1.2. О процедуре проверки нулевой гипотезы................................................... |
123 |
8.1.3. Ошибки, допускаемые при проверке статистических гипотез.................. |
123 |
8.2. ПРОВЕРКА ПАРАМЕТРИЧЕСКИХ ГИПОТЕЗ...................................................... |
125 |
ПО КРИТЕРИЯМ ЗНАЧИМОСТИ.................................................................................. |
125 |
8.2.1. Проверка гипотезы о значении матаматического ожидания...................... |
125 |
8.2.1.1. Случай, когда дисперсия σ2 генеральной совокупности известна125 |
|
8.2.1.2. Проверка гипотезы о значении вероятности "успеха"................... |
127 |
8.2.1.3. Проверка гипотезы о значении математического ожидания, когда... |
|
дисперсия генеральной совокупности неизвестна............................................... |
128 |
8.2.2. Проверка гипотезы о равенстве математических ожиданий двух.................. |
|
генеральных совокупностей.................................................................................. |
131 |
8.2.2.1. Случай, когда дисперсии σ12 и σ22 считаются известными ........... |
131 |
8.2.2.2. Случай, когда σ12 и σ22 неизвестны, но известнно, что σ12 = σ22….130 |
|
8.2.3. Проверка гипотезы о значении дисперсии ................................................. |
132 |
8.2.4. Проверка гипотезы о равенстве дисперсий двух генеральных....................... |
|
совокупностей........................................................................................................ |
133 |
8.2.5. Проверка гипотезы о значении коэффициента корреляции ρ.................... |
134 |
8.3. ПРОВЕРКА НЕПАРАМЕТРИЧЕСКИХ ГИПОТЕЗ.............................................. |
136 |
8.3.1. Проверка гипотезы о законе распределения генеральноой ............................ |
|
совокупности по критерию Колмогорова ─ Смирнова (λ - критерию)............... |
136 |
8.3.2. Проверка гипотезы об извлечении двух выборок из одной и той же............. |
|
генеральной совокупности.................................................................................... |
138 |
8.3.2.1. Проверка по λ - критерию............................................................... |
138 |
8.3.2.2. Проверка по критерию Вилкоксона................................................ |
139 |
8.3.2.3. Критерий знаков.............................................................................. |
141 |
8.3.3. Проверка гипотезы о независимости двух дискретных случайных................ |
|
величин .................................................................................................................. |
143 |
8.4. РАНГОВАЯ КОРРЕЛЯЦИЯ .......................................................................... |
146 |
8.4.1. Коэффициент ранговой корреляции Спирмена.......................................... |
146 |
8.4.2. Связанные ранги.......................................................................................... |
148 |
8.4.3. Коэффициент ранговой корреляции Кендэла............................................. |
148 |
8.4.4. Коэффициент конкордации Кендэла........................................................... |
150 |
8.5. ЗАДАЧИ.................................................................................................................. |
151 |
Нормальное распределение .......................................................................................... |
163 |
Распределение Стьюдента ............................................................................................ |
164 |
χ2 - распределение ......................................................................................................... |
165 |
Распределение Фишера................................................................................................. |
166 |
Библиографический список…………………………………………………………. 166 |
|
5
ВВЕДЕНИЕ
Жизнь – без начала и конца, Нас всех подстерегает случай.
А. Блок. Haрод и поэт
Статистика изучает случайные явления, которые, по своей сути, не поддаются однозначному описанию и прогнозированию. Например, нельзя абсолютно точно предсказать, сколько человек родится или умрет в стране за данный промежуток времени. Нельзя с точностью до копейки (цента, сантима) определить доход некоторой семьи за определенный промежуток времени (можно найти на дороге монетку в 10 копеек, выиграть в лотерею, получить неожиданное наследство, и, наоборот, можно потерять часть денег из-за болезни, или неверно принятого решения, или биржевого кризиса). Невозможно с точностью до минуты определить, какое время проработает купленный телевизор (компьютер, автомобиль) до первой поломки.
Жизнь человека, общества, цивилизации складывается из случайных явлений. Чтобы общество было устойчивым, а жизнь предсказуемой, важно не давать случаю слишком большой воли (любая попытка совсем исключить из жизни случай обречена на провал).
Современные задачи планирования, управления, прогнозирования невозможно решать, не располагая достоверными статистическими данными и не используя статистические методы обработки этих данных. Стремление объяснить настоящее и заглянуть в будущее всегда было свойственно человечеству, а для решения этих задач применялись различные методы. Статистика при описании случайных явлений использует язык науки – математику. Это значит, что реальные ситуации заменяются вероятностными схемами и анализируются методами теории вероятностей. Выразительная сила математики как языка очень велика.
Серьезные математические методы стали использоваться для анализа статистических наблюдений сравнительно недавно. Человечество осознало необходимость сбора статистических данных о различных сторонах жизни общества значительно раньше появления сопутствующего развитого математического аппарата. Но и сравнительно несложные методы сбора и анализа данных оказались важным инструментом, помогающим принимать разумные решения.
Любые статистические данные всегда неполны, и неточны, и другими быть не могут. Задача статистики заключается в том, чтобы дать обоснованные выводы о свойствах изучаемого явления, анализируя
6
неполные и неточные данные. Статистика доказала, что умеет справляться с подобными проблемами.
1.ГЕНЕРАЛЬНАЯ СОВОКУПНОСТЬ И ВЫБОРКА ИЗ ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ
В одном мгновенье видеть вечность, Огромный мир - в зерне песка, В единой горсти - бесконечность И небо - в чашечке цветка.
В. Блейк (перевод С. Маршака)
Понятия генеральной совокупности и выборки из нее являются первоначальными в статистике. Строгие определения пришли из теории вероятностей, хотя терминология математической статистики отличается от терминологии теории вероятностей. Вместо случайной величины Х в теории вероятностей, в математической статистике говорят о генеральной совокупности X. Таким образом, понятие генеральной совокупности тождественно понятию случайной величины, т.е. включает в себя описание области определения (пространства элементарных исходов), множества значений, функциональной зависимости, закона распределения.
Вместо эксперимента, в результате которого случайная величина Х приняла значение х (в теории вероятностей), в математической статистике говорят о случайном выборе из генеральной совокупности Х значения х.
Вместо n независимых экспериментов, в результате которых случайная величина Х приняла значения x1, х2, ..., хn (в теории вероятностей), в математической статистике говорят о случайной выборке объема n значений x1, x2, ..., xn из генеральной совокупности X.
При нестрогом подходе, под генеральной совокупностью понимают множество всех объектов некоторого наблюдения в совокупности с множеством всех значений этого наблюдения, соответствующих каждому объекту. А под выборкой объема n понимают множество из n объектов, реально подвергшихся наблюдению, в совокупности с n значениями наблюдения для каждого объекта. Например, социолог, изучающий мнение избирателей, под генеральной совокупностью понимает множество всех избирателей данной страны, а под выборкой объема n – множество из n человек, которых он опросил. Мы будем иметь в виду и такую точку зрения на генеральную совокупность.
Основная задача статистики – получить обоснованные выводы о свойствах генеральной совокупности, анализируя извлеченную из нее выборку x1, х2, ..., хn. Более подробно: описать закон распределения генеральной совокупности; подобрать значения параметров этого закона,
7
оценить числовые характеристики генеральной совокупности; если генеральная совокупность – многомерная случайная величина, оценить всевозможные коэффициенты корреляции между ее составляющими; если имеется несколько выборок, извлеченных из разных генеральных совокупностей, определить, одинаково распределены эти генеральные совокупности или нет; одинаковы ли определенные числовые характеристики этих генеральных совокупностей или нет и т.д., и т.п.
Все перечисленные вопросы сформулированы на языке теории вероятностей. От статистики требуют ответы и на другие вопросы: можно ли утверждать, что новое лекарство эффективнее излечивает от некоторой болезни, чем старое? Какой будет численность населения страны в следующем году? Существует ли связь между значениями предела прочности и предела текучести различных марок стали? Чтобы ответы на подобные вопросы соответствовали действительности, нужно уметь строить подходящие вероятностные модели для реальных ситуаций. А для этого нужно уметь представить выборку в подходящем для изучения виде. Возникает задача описания и представления выборки.
Наконец, располагая сведениями о свойствах генеральной совокупности, можно предсказать свойства повторно извлеченных из нее выборок – заглянуть в будущее.
8
2. ВЫБОРКА, ЕЕ ПРЕДСТАВЛЕНИЕ И ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ
Все, что видим мы – видимость только одна. Далеко от поверхности моря до дна.
Полагай несущественным явное в мире, Ибо тайная сущность вещей - не видна.
О. Хайям (перевод Г. Плисецкого)
2.1. ПРЕДСТАВЛЕНИЕ ВЫБОРКИ
2.1.1. Таблица частот и интервальная таблица частот
Небольшие выборки удобно представлять в виде таблицы из двух строк. В первой строке записывают элементы выборки (они называются вариантами), расположенные в порядке возрастания. Во второй строке записываются частоты вариант. Частотой варианты называется число, равное количеству повторений варианты в выборке. Если ni – частота варианты xi, всего в выборке k разных вариант, то n1 + n2 + ...+ nk = n, где n
– объем выборки. Описанная таблица называется таблицей частот. Рассмотрим пример. С производственной линии случайным образом 36
раз отбирали по 10 единиц некоторого изделия. Каждый раз отмечалось число дефектных изделий.
Получена выборка 1:
0 |
0 |
1 |
0 |
2 |
0 |
1 |
2 |
1 |
0 |
0 |
0 |
0 |
0 |
3 |
1 |
0 |
0 |
0 |
0 |
0 |
2 |
0 |
0 |
1 |
1 |
0 |
0 |
0 |
1 |
1 |
0 |
1 |
0 |
1 |
1 |
Здесь n = 36, в выборке представлены 4 варианты: х1 = 0, х2 = 1, х3 = 2,
х4 = 3.
Таблица частот выглядит следующим образом (табл. 2.1):
Таблица 2.1
xi |
0 |
1 |
2 |
3 |
ni |
21 |
11 |
3 |
1 |
Относительной частотой варианты хi называется число i, равное отношению ni /n. Если сумма частот равна n, то сумма относительных частот равна n/n = 1.
Таблица относительных частот для этого примера такова (табл. 2.2):
Таблица 2.2
xi |
0 |
1 |
2 |
3 |
i |
21/36 |
11/36 |
3/36 |
1/36 |
|
|
9 |
|
|
Таблица относительных частот напоминает таблицу вероятностей дискретной случайной величины. Только вместо значений случайной величины пишут варианты выборки, а роль вероятностей исполняют относительные частоты.
Накопленной частотой nxнак называется число вариант выборки, меньших данного числа х.
Относительной накопленной частотой xнак называется отношение nxнак/n. Найдем накопленные и относительные накопленные частоты вариант выборки для нашего примера (табл 2.3).
Таблица 2.3
xi |
0 |
1 |
2 |
3 |
nxiнак |
0 |
21 |
32 |
35 |
xiнак |
0 |
21/36 |
32/36 |
35/36 |
Ясно, что nx1нак = 0, x1нак = 0, т.к. нет ни одной варианты, меньшей x1. Кроме того,
нак |
нак |
ni 1 |
nj |
нак |
нак |
i 1 |
j , |
nxi |
nxi 1 |
; xi |
xi 1 |
||||
|
|
|
j i |
|
|
|
j i |
отчего частоты и называются накопленными. Относительные накопленные чacтоты – это статистические аналоги значений функций распределения F(xi) дискретной случайной величины X. Действительно,
F(xi ) P(x xi ) P(x xj ) Pj .
j i j i
Если выборка извлечена из непрерывно распределенной генеральной совокупности, причем ее объем n достаточно велик, то в выборке представлено много значений, и такую выборку неразумно представлять в виде таблицы частот. Кроме того, при работе с непрерывно распределенными случайными величинами рассматривают не отдельные значения этих величин, а некоторые интервалы этих значений. Поэтому достаточно большую выборку, извлеченную из непрерывно распределенной генеральной совокупности, группируют по интервалам следующим образом. Весь диапазон значений вариант разбивают на разумное число интервалов одинаковой, как правило, ширины h. Чтобы не было недоразумений при подсчете числа вариант выборки, попавших в каждый интервал, левый конец каждого интервала считают закрытым, а правый – открытым, так что интервалы имеют вид [хi-1; хi).
Частотой i-го интервала ni называется число, равное количеству вариант выборки, попавших в этот интервал,
Относительной частотой i-го интервала νi называется отношение ni /n. Кроме того, вычисляют накопленные и относительные накопленные частоты для правых границ интервалов.
Если всего интервалов k, очевидно :
10