
- •Предисловие
- •Введение
- •Основные методы математической статистики
- •Основные понятия теории статистического оценивания
- •Основные понятия теории статистической проверки гипотез
- •Пакет statistica
- •1.1. Основные статистические характеристики
- •1.1.1. Меры среднего уровня
- •1.1.2. Меры рассеяния
- •1.2. Частотные распределения
- •1.2.1. Частотные распределения количественных признаков
- •1.2.2. Частотные распределения качественных признаков
- •1.3. Визуализация данных
- •1.4. Категоризованные распределения 1
- •Вопросы
- •Задания
- •Глава 2 выборочный метод
- •2.1. Нормальное распределение
- •2.2. Основные понятия выборочного метода
- •2.3. Ошибки выборки
- •2.4. Точность и надежность выборочного метода. Доверительный интервал
- •2.5. Определение объема выборки
- •2.6. Статистическое оценивание доли качественного признака
- •Вопросы
- •Задания
- •Глава 3 статистическая проверка гипотез
- •3.1. Основные понятия
- •3.2. Критерии для средних
- •3.2.1.Критерий для сравнения групповых средних
- •3.3. Критерии согласия
- •3.3.1. Сравнение эмпирического и теоретического распределений
- •3.3.2. Проверка нормальности распределения с помощью коэффициентов асимметрии и эксцесса
- •Вопросы
- •Задания
- •4.1.1. Построение диаграмм рассеяния
- •4.1.2. Построение уравнения линейной регрессии
- •4.1.3 Коэффициент корреляции
- •4.1.4. Проверка гипотезы о значимости коэффициента корреляции
- •4.1.5. Коэффициент детерминации
- •4.2. Множественная корреляция и регрессия
- •4.2.1. Визуализация множественной зависимости в пространстве трех переменных
- •4.2.2. Уравнение множественной регрессии
- •4.2.3. Проверка значимости в регрессионном анализе
- •4.2.4. Корреляции в модели множественной регрессии
- •Вопросы
- •Задания
- •Глава 5 анализ взаимосвязей качественных данных
- •5.1. Типы качественных данных
- •5.2. Взаимосвязь ранговых качественных данных
- •5.3. Взаимосвязь номинальных качественных данных
- •5.3.1. Таблицы сопряженности
- •5.3.2. Критерий значимости связи качественных признаков. (Проверка гипотезы о независимости признаков по таблице сопряженности 1)
- •5.3.3. Коэффициенты взаимосвязи качественных признаков
- •5.3.4. Бинарные признаки. Четырехклеточные таблицы
- •Вопросы
- •Задания
- •6.1. Кластерный анализ
- •6.1.1. Агломеративно-иерархический метод
- •6.1.2. Метод k-cредних
- •6.2. Гибкая классификация: использование нечетких множеств
- •Вопросы
- •Задания
- •Глава 7 факторный анализ
- •7.1. Общее описание
- •7.1.1. Факторные нагрузки
- •7.1.2. Факторные веса
- •7.2. Метод главных компонент
- •7.3. Факторный анализ как способ классификации
- •Вопросы
- •Задания
- •8.1. Первичный анализ динамики
- •8.1.1. Характеристики скорости и интенсивности изменения временного ряда
- •8.1.2. Средние характеристики временного ряда
- •8.2. Анализ временных рядов
- •8.2.1. Составляющие временного ряда
- •8.2.1.1. Временной тренд
- •8.2.1.2. Анализ остатков после удаления тренда
- •8.2.1.3. Сезонная составляющая
- •8.2.1.4. Анализ остатков после выделения сезонной составляющей
- •Вопросы
- •Задания
- •2. Основные показатели общего уровня развития стран в 1987 году (файл tab_1987.Sta)
- •3. Численность занятых в обрабатывающей промышленности ссср и сша в 1987 г. (тыс. Чел.) (файл workers.Sta)
- •4. Сопоставление производительности труда в обрабатывающей промышленности ссср и сша в 1987 г. (по товарной продукции) (файл product1.Sta)
- •5. Годовая квартирная плата в городах России за квартиру в 1-3 комнаты * (файл apartmen.Sta)
- •7. Данные об объеме внешней торговли и численности населения по 16 странам мира в 1938 г. (файл trade.Sta)
- •9 Динамика внп, занятости и производительности труда в народном хозяйстве ссср (файл econ.Sta)
- •10. Продолжение
- •10. Продолжение
- •12. Динамика поденной платы строительных рабочих в Санкт-Петербурге и индекса цен с 1853 по 1913 гг. (файл wages.Sta)
- •13. Валовая добыча угля в некоторых угольных бассейнах Российской империи, 1887-1913 гг. (тыс. Тонн) (файлы coal.Sta, coal.Xls)
- •14. Вывоз хлопка из Средней Азии, со станций ж.Д., 1902-1908 гг. (в тыс. Пудов) (файл cotton.Sta)
- •15. Сводные данные об аграрном развитии 50 губерний Европейской России на рубеже XIX-XX вв. (файл typol.Sta)
- •15. Продолжение
- •16. Урожайность хлебов в России и других странах в 1913 г. (пудов с десятины) (файлы harvest.Sta, harvest))
- •17. Урожай хлебов в 64 губерниях Европейской России, 1890-1913 гг. (в тыс.Пудов) (файл harvest1.Sta)
- •18. Факторы урожайности (погодный индекс, обрабатываемая площадь, мощность двигателей) в ссср в 1925-1940 гг. (файл hunter.Sta)
- •Социально-политическая история
- •19. Итоги выборов в Учредительное собрание по избирательным округам (число голосов) (файл uchred.Sta)
- •19. Продолжение
- •19. Продолжение
- •20. Социально-экономические показатели и результаты голосования по выборам в Учредительное Собрание в 1917 г. По уездам Тамбовской губернии (файл tambov.Sta)
- •21. Социальные движения в городах Италии в XIV в. Матрица экспертных оценок показателей (файл bragina.Sta)
- •22. Распределение случаев выступлений по формам борьбы в "приговорном" и остальной части крестьянского движения в 1905-1907 гг. В Воронежской и Самарской губ. * (файл bukhovez.Sta)
- •Социальная история, история культуры
- •23. Криминальная статистика сша (данные XIX – начала XX вв.) (файл criminal.Sta)
- •24. Распространенность заразных болезней в России в 1912 г. (чел.) (файл deseases.Sta)
- •25. Грамотность населения в России (в тыс.) (файл edu_1897.Sta)
- •26. Динамика уровня образования населения республик ссср за 1959-1979 гг. (файл educat.Sta)
- •27. Распределение учащихся учебных заведений Мèнистерства народного просвещения по вероисповеданиям и сословиям на 1 января 1914 года (ôайл religsoc.Sta)
- •27. Продолжение.
- •28. Распределение книг, вышедших в 1913 г., по видам изданий и содержанию (файл books1.Sta)
- •29. Распределение книг, вышедших в 1913 г., по языкам (файл books2.Sta)
- •Историческая демография
- •30. Число этнически смешанных семей в республиках ссср (1959-1979 гг.; на 1000 семей) (файл mixture.Sta)
- •31. Средний размер семьи в республиках ссср (1959-1979 гг., чел. *) (файл family.Sta)
- •32. Динамика естественного прироста населения республик ссср (на 1000 человек населения) * (файл populat.Sta)
- •33. Распределение новобранцев русской армии, призванных в 1911 году, по росту (файл novobr.Sta)
- •34. Численность населения сша в 1902-1914 гг. (тыс. Человек) (файл us_popul.Sta)
- •35. Численность населения России (млн. Человек) (файл rus_pop.Sta)
- •"Большие таблицы", представленные в виде файлов электронного архива Лаборатории исторической информатики кафедры источниковедения исторического факультета мгу
Основные методы математической статистики
Классическим для математической статистики подходом, как было сказано во введении к данной главе, является представление исходных данных как выборки из реальной или гипотетической генеральной совокупности. При этом все результаты интерпретируются как выборочные, и ставится задача их оценки в генеральной совокупности. Основные методы математической статистики можно отнести к двум ее разделам: теории статистического оценивания параметров и теории проверки статистических гипотез.
Основные понятия теории статистического оценивания
Идея статистического оценивания параметров генеральной совокупности по выборочным данным сводится к тому, что выборочная характеристика какого-либо параметра (например, среднего арифметического значения признака) является не точным, а приближенным значением – оценкой – этого же параметра в генеральной совокупности. Возникает вопрос: как сильно отклоняется эта оценка от истинного значения? В частности, нельзя ли указать такую величину ошибки, которая "практически достоверно" (т.е. с вероятностью, близкой к единице) гарантировала бы, что выборочная оценка не отличается от неизвестного значения более чем на величину этой ошибки? Или – что то же самое – нельзя ли указать вокруг выборочного значения параметра такой интервал, который бы с заданной (достаточно высокой) вероятностью – доверительной вероятностью – "накрывал" бы истинное значение этого параметра? Этот интервал в математической статистике называется доверительным интервалом; его величина зависит как от доверительной вероятности (т.е. надежности оценивания), так и от объема выборки.
Основные понятия теории статистической проверки гипотез
На разных стадиях статистического исследования возникает необходимость в формулировке и проверке некоторых предположений – гипотез – относительно природы или величины неизвестных параметров (например, предположения об отсутствии взаимосвязи между двумя признаками). Цель статистической проверки высказанной (нулевой) гипотезы состоит в выявлении того, противоречит или нет эта гипотеза имеющимся статистическим (выборочным) данным. Процедура сопоставления высказанной гипотезы с реальными выборочными данными проводится на основе того или иного статистического критерия. Статистический критерий представляет собой совокупность правил вычисления некоторой статистической характеристики гипотезы и проверки ее величины. Результат проверки может быть либо отрицательным (данные противоречат высказанной гипотезе), и тогда гипотеза отклоняется, либо неотрицательным, и гипотеза не отклоняется. Статистическая проверка и ее вывод носят вероятностный характер, т.е. вывод делается всегда с определенной степенью вероятности (достаточно большой), а шанс отклонить верную гипотезу или, наоборот, не отклонить неверную – не равен нулю (хотя предполагается достаточно малым). В теории статистической проверки гипотез очень важно, что можно оценить вероятность совершить ошибку и, таким образом, получить представление о надежности выводов. Вероятность ошибочного отклонения нулевой гипотезы принято называть уровнем значимости; эта величина обычно выбирается из некоторого стандартного набора (0,1; 0,05; 0,001 и др.) Особенно распространенной является величина уровня значимости, равная 0,05; это означает, что в среднем в пяти случаях из 100 мы можем ошибочно отвергнуть высказанную гипотезу на основании данного статистического критерия. Каждому уровню значимости соответствует критическое значение статистической характеристики, которое делит все множество значений этой характеристики на две области: допустимых значений и критическую (область значений статистической характеристики, вероятность появления которых меньше выбранного уровня значимости). Таким образом, критическая область содержит именно те значения статистической характеристики, которые мы считаем практически невозможными.
К основным типам гипотез, проверяемых в ходе статистической обработки данных, относятся:
гипотезы о типе закона распределения признака или критерии согласия (чаще всего проверяется соответствие нормальному закону распределения);
гипотезы о числовых значениях параметров совокупности (например, о нулевом значении коэффициента корреляции);
гипотезы о типе зависимости признаков (например, о линейной зависимости) 1.