- •В.В. Нешитой
- •Введение
- •1. Основные понятия теории вероятностей и математической статистики
- •1.1. Случайные события. Испытания. Относительная частота и вероятность
- •1.2. Виды случайных событий
- •1.3. Определения вероятности
- •1.4. Основные формулы комбинаторики
- •1.5. Теорема сложения вероятностей (несовместных событий)
- •1.6. Теорема умножения вероятностей (независимых событий)
- •1.7. Закон распределения дискретной случайной величины
- •1.8. Числовые характеристики дискретной случайной величины
- •1.8.1. Математическое ожидание
- •1.8.2. Свойства математического ожидания
- •1.8.3. Дисперсия дискретной случайной величины
- •1.8.4. Свойства дисперсии
- •1.8.5. Среднее квадратическое отклонение
- •1.8.6. Одинаково распределенные взаимно независимые случайные величины
- •1.8.7. Моменты (начальные, центральные) дискретной случайной величины
- •1.10.2. Плотность распределения
- •1.11. Числовые характеристики непрерывных случайных величин
- •1.12. Примеры непрерывных распределений
- •1.12.1. Нормальный закон
- •1.12.2. Показательный закон
- •1.12.3. Закон Вейбулла
- •1.13. Элементы математической статистики
- •1.13.1. Генеральная и выборочная совокупности. Вариационный ряд. Характеристики вариационного ряда
- •1.13.2. Статистическое распределение выборки. Полигон. Гистограмма. Эмпирическая функция распределения
- •1.13.3. Статистические оценки параметров. Точность оценки, доверительная вероятность (надежность)
- •1.13.4. Метод моментов для точечной оценки параметров распределения
- •1.13.5. Метод наибольшего правдоподобия
- •2. Вероятностная модель текста и ее исследование
- •2.1. Понятие математического ожидания случайной функции, нового события и кривой роста новых событий
- •2.2. Математическое ожидание случайной функции и кривая роста новых событий. Связь с законами распределения вероятностей разных и новых событий
- •2.3. Установление статистической структуры выборки по кривой роста новых событий
- •2.4. Восстановление кривой роста новых событий по статистической структуре выборки
- •2.5. Построение систем кривых роста и непрерывных распределений новых событий
- •Построение систем кривых роста и непрерывных распределений новых событий
- •3. Обобщенные распределения. Системы непрерывных распределений
- •3.1. Методы построения обобщенных распределений
- •3.2. Построение системы непрерывных распределений методом обобщения
- •3.3. Классификация обобщенных распределений
- •Распределения группы а
- •Распределения группы б
- •Группа симметричных распределений
- •3.4. Распределения функций случайного аргумента
- •3.5. Три основные и три дополнительные системы непрерывных распределений в.Нешитого
- •3.6. Обобщение систем непрерывных распределений
- •3.6.1. Обобщение систем непрерывных распределений по первому варианту
- •Обобщение систем непрерывных распределений по первому варианту на базе четырехпараметрической плотности p(t)
- •3.6.2. Обобщение систем непрерывных распределений по второму варианту
- •Обобщение систем непрерывных распределений по второму варианту на базе четырехпараметрической плотности p(t)
- •4. Оценивание параметров обобщенных распределений. Критерии для классификации кривых. Центральная предельная теорема
- •4.1. Метод наименьших квадратов
- •Значение функции распределения f(tc)
- •4.2. Метод наибольшего правдоподобия
- •4.3. Классический метод моментов
- •4.3.3. Симметричные распределения Ic–iiIc типов
- •4.3.4. Критерии для классификации распределений по методу моментов
- •4.4. Универсальный метод моментов
- •4.4.1. Расширение трех систем непрерывных распределений
- •4.4.2. Законы распределения суммы независимых случайных величин
- •4.4.3. Центральная предельная теорема для трех систем непрерывных распределений
- •4.4.4. Законы распределения среднего выборочного
- •4.5. Устойчивый метод
- •5. Выравнивание и прогнозирование статистических распределений
- •5.1. Выбор системы непрерывных распределений для выравнивания статистических распределений
- •5.2. Вычисление выравнивающей кривой распределения по статистическим данным
- •5.2.1. Выравнивание по классическому методу моментов
- •5.2.2. Выравнивание по универсальному методу моментов
- •5.2.3. Выравнивание по устойчивому методу
- •Показатели статистического распределения (snr2v08a)
- •Распределение 3-го типа с параметрами
- •5.2.5. Выравнивающее распределение среднего выборочного
- •5.3. Прогнозирование распределений
- •5.3.1. Первая система непрерывных распределений
- •5.3.2. Вторая система непрерывных распределений
- •Распределение населения страны по среднедушевому совокупному доходу, в % к итогу (Расчет по данным обследования 90 тыс. Семейных бюджетов)
- •5.3.3. Показатели стабильности и качества выборки
- •5.4. Ранговые распределения
- •5.4.1. Форма представления ранговых распределений
- •5.4.2 Универсальный закон рассеяния публикаций
- •5.5.3. Универсальный закон старения публикаций
- •5.4.4. Ранговые распределения лексических единиц
- •6. Временные (динамические) ряды
- •6.1. Методы выделения тренда
- •6.2. Построение кривых роста для выравнивания временных рядов
- •6.2.1. Построение кривых роста с заданными свойствами
- •6.2.2. Метод обобщения
- •6.2.3. Кривые роста на базе обобщенных распределений
- •6.3. Оценивание параметров кривых роста
- •6.3.1. Уравнение прямой
- •6.3.2. Экспонента
- •6.3.3. Обобщенная кривая роста
- •6.4. Прогнозирование временных рядов
- •6.4.1. Параметрический метод прогнозирования
- •6.4.2. Непараметрический метод прогнозирования
- •Заключение
- •Приложения Приложение 1
- •Приложение 2
- •Приложение 5 Основные сведения о программах
- •Литература
- •Содержание
- •Математико-статистические
- •Методы анализа
- •В библиотечно-информационной
- •Деятельности
3. Обобщенные распределения. Системы непрерывных распределений
В теории вероятностей и математической статистике известно большое количество непрерывных распределений. Однако, как показала практика, они не могут с достаточной точностью описать все многообразие статистических распределений. Кроме того, их использование затруднено тем, что они не сведены в систему.
Сложившаяся в настоящее время в прикладной статистике ситуация сравнима с той, которая была в химии накануне создания “Периодической системы элементов” Д.И.Менделеева: было известно достаточно много элементов, в некоторой степени изучены их свойства, но еще не было главного – закона, позволявшего предсказывать существование еще не открытых элементов и их свойства.
Следовательно, главная задача теории вероятностей и математической статистики на данном этапе – создание своего рода «Периодической системы распределений», исследование их свойств, разработка общих критериев для установления закона распределения случайной величины по статистическому распределению и разработка общих методов оценивания параметров.
Задача построения универсальных вероятностных моделей для аппроксимации (выравнивания) широкого класса статистических распределений в настоящей работе ставится не впервые.
Еще в 1895г. английский статистик К.Пирсон предложил свое семейство непрерывных распределений, заданное в виде дифференциального уравнения [29, c. 129]
.
Это семейство распределений он получил путем выравнивания дискретного гипергеометрического распределения. Им же был предложен метод моментов (назовем его классическим методом моментов) для нахождения оценок параметров выравнивающих распределений.
Существенным недостатком семейства распределений К.Пирсона является отсутствие обобщенной плотности, представленной в явном виде, что сильно ограничивает возможности его использования на практике. Кроме того, метод моментов не позволяет находить оценки параметров тех распределений, в том числе принадлежащих семейству К. Пирсона, которые не имеют моментов высших порядков (3-го или 4-го).
В 1912 г. английский статистик Р. Фишер предложил другой метод оценивания параметров практически любых распределений – метод наибольшего правдоподобия. Однако для использования этого метода необходимо заранее знать тип выравнивающего распределения, но, к сожалению, отсутствуют критерии для его установления. Кроме того, он требует совместного решения весьма сложных уравнений правдоподобия, число которых равно числу оцениваемых параметров.
Таким образом, задача установления типа выравнивающей кривой распределения и нахождения оценок параметров к настоящему времени до конца не решена. Поэтому разработка системы непрерывных распределений, более широкой, чем семейство кривых К. Пирсона, а также новых методов оценивания параметров имеет большое значение как в теоретических, так и прикладных исследованиях. Другими словами, требуется создание теории обобщенных распределений. Ниже излагаются элементы этой теории.
3.1. Методы построения обобщенных распределений
Для получения универсальных (обобщенных) распределений используются различные методы. Наиболее известным является метод выравнивания дискретных распределений (метод К. Пирсона).
Другой широко известный метод – получение нового распределения как функции случайного аргумента с известным распределением.
В настоящей книге и в других работах автора широко используется метод обобщения. Он позволяет подчас простыми и доступными средствами получать новое знание. Но для этого необходимо использовать различные его возможности. В одних случаях для получения более общих зависимостей достаточно воспользоваться одним из предлагаемых ниже приемов или их комбинацией:
– введение новых параметров, объединяющих частные случаи в единое целое;
– использование подходящего замечательного предела;
– замена переменной;
– разложение функции в степенной ряд;
– получение новой более точной математической модели из двух менее точных и т.д.
В других более сложных случаях требуется введение новых понятий. Но здесь не существует готовых рецептов и успех зависит исключительно от изобретательности исследователя. В предыдущей главе автором введено понятие нового события и в итоге построено семейство трехпараметрических непрерывных распределений.
В результате обобщения должна получиться математическая модель, включающая как частные случаи исходные функции. Метод обобщения, несмотря на свою чрезвычайную простоту, позволяет строить универсальные математические модели, включающие как частные случаи наперед заданные зависимости, которые на практике реализуются чаще других.
Что касается обобщенных распределений, то они должны включать как частные случаи подавляющее большинство известных из теории вероятностей и математической статистики распределений, ибо только в этом случае будет достаточно высока вероятность нахождения такой выравнивающей кривой распределения, которая наилучшим образом описывает статистический ряд распределения.
Приведем примеры.
Произведение ряда натуральных чисел называется факториалом целого положительного числаn и обозначается n! (читается “эн-факториал”).
Если построить график зависимости n!=f(n), то получим ряд точек. Для осуществления различных расчетов необходимо иметь непрерывную кривую, проходящую через эти точки.
Непрерывным аналогом и обобщением этой зависимости, включающей при целых n значения n!, является гамма-функция, введенная Л. Эйлером
.
При целых n
Гамма-функция обладает свойством
.
При . Приn = 1 и n = 2 гамма-функция равна единице, поскольку 0!=1; 1!=1.
Рассмотрим другой пример, в котором для получения более общей зависимости используется замечательный предел и вводятся новые параметры.
Пусть требуется найти некоторое обобщенное уравнение, включающее как частные случаи уравнения прямой и экспоненты:
.
Используя замечательный предел
,
можем записать искомое уравнение в общем виде
,
где , u – новые параметры.
При u = 1, = 1 имеем уравнение прямой, а при u0, = 1 – уравнение экспоненты.
Полученное четырехпараметрическое уравнение имеет более широкие возможности по выравниванию и прогнозированию различных статистических зависимостей, поскольку оно включает как частные случаи, кроме двух исходных, множество других функций. Более того, на его основе можно получать новые уравнения, например, путем замены независимой переменной х на и т.д.
Рассмотрим еще примеры, в которых на базе двух приближенных равенств получается новое, более точное равенство.
Пусть имеется простейшая степенная функция
,
где параметр близок к нулю.
Найдем формулы для вычисления логарифма х и числа х по его логарифму.
Представим функцию в виде
и разложим ее в степенной ряд
Оставив в полученном ряде два первых члена, при малых имеем приближенные равенства
которые получаются из степенного ряда при > 0 и < 0.
Найдем среднее геометрическое величины х при α→0 [24]:
.
Таким же образом можно получить среднее геометрическое величины [24]:
.
Последняя формула позволяет весьма точно вычислять логарифмы чисел (например, от 1 до 1000 при = 0,0001).
Аналогично можно получить приближенную формулу для вычисления функции ех.
Известно, что
При 0 можем записать
откуда нетрудно получить следующую формулу [24]
.
При х = 1, = 0,0001 эта формула дает оценку е = 2,71828181, т.е. с точностью до 7 верных цифр после запятой, в то время как по известному замечательному пределу при том же имеем только три верные цифры после запятой
.