- •В.В. Нешитой
- •Введение
- •1. Основные понятия теории вероятностей и математической статистики
- •1.1. Случайные события. Испытания. Относительная частота и вероятность
- •1.2. Виды случайных событий
- •1.3. Определения вероятности
- •1.4. Основные формулы комбинаторики
- •1.5. Теорема сложения вероятностей (несовместных событий)
- •1.6. Теорема умножения вероятностей (независимых событий)
- •1.7. Закон распределения дискретной случайной величины
- •1.8. Числовые характеристики дискретной случайной величины
- •1.8.1. Математическое ожидание
- •1.8.2. Свойства математического ожидания
- •1.8.3. Дисперсия дискретной случайной величины
- •1.8.4. Свойства дисперсии
- •1.8.5. Среднее квадратическое отклонение
- •1.8.6. Одинаково распределенные взаимно независимые случайные величины
- •1.8.7. Моменты (начальные, центральные) дискретной случайной величины
- •1.10.2. Плотность распределения
- •1.11. Числовые характеристики непрерывных случайных величин
- •1.12. Примеры непрерывных распределений
- •1.12.1. Нормальный закон
- •1.12.2. Показательный закон
- •1.12.3. Закон Вейбулла
- •1.13. Элементы математической статистики
- •1.13.1. Генеральная и выборочная совокупности. Вариационный ряд. Характеристики вариационного ряда
- •1.13.2. Статистическое распределение выборки. Полигон. Гистограмма. Эмпирическая функция распределения
- •1.13.3. Статистические оценки параметров. Точность оценки, доверительная вероятность (надежность)
- •1.13.4. Метод моментов для точечной оценки параметров распределения
- •1.13.5. Метод наибольшего правдоподобия
- •2. Вероятностная модель текста и ее исследование
- •2.1. Понятие математического ожидания случайной функции, нового события и кривой роста новых событий
- •2.2. Математическое ожидание случайной функции и кривая роста новых событий. Связь с законами распределения вероятностей разных и новых событий
- •2.3. Установление статистической структуры выборки по кривой роста новых событий
- •2.4. Восстановление кривой роста новых событий по статистической структуре выборки
- •2.5. Построение систем кривых роста и непрерывных распределений новых событий
- •Построение систем кривых роста и непрерывных распределений новых событий
- •3. Обобщенные распределения. Системы непрерывных распределений
- •3.1. Методы построения обобщенных распределений
- •3.2. Построение системы непрерывных распределений методом обобщения
- •3.3. Классификация обобщенных распределений
- •Распределения группы а
- •Распределения группы б
- •Группа симметричных распределений
- •3.4. Распределения функций случайного аргумента
- •3.5. Три основные и три дополнительные системы непрерывных распределений в.Нешитого
- •3.6. Обобщение систем непрерывных распределений
- •3.6.1. Обобщение систем непрерывных распределений по первому варианту
- •Обобщение систем непрерывных распределений по первому варианту на базе четырехпараметрической плотности p(t)
- •3.6.2. Обобщение систем непрерывных распределений по второму варианту
- •Обобщение систем непрерывных распределений по второму варианту на базе четырехпараметрической плотности p(t)
- •4. Оценивание параметров обобщенных распределений. Критерии для классификации кривых. Центральная предельная теорема
- •4.1. Метод наименьших квадратов
- •Значение функции распределения f(tc)
- •4.2. Метод наибольшего правдоподобия
- •4.3. Классический метод моментов
- •4.3.3. Симметричные распределения Ic–iiIc типов
- •4.3.4. Критерии для классификации распределений по методу моментов
- •4.4. Универсальный метод моментов
- •4.4.1. Расширение трех систем непрерывных распределений
- •4.4.2. Законы распределения суммы независимых случайных величин
- •4.4.3. Центральная предельная теорема для трех систем непрерывных распределений
- •4.4.4. Законы распределения среднего выборочного
- •4.5. Устойчивый метод
- •5. Выравнивание и прогнозирование статистических распределений
- •5.1. Выбор системы непрерывных распределений для выравнивания статистических распределений
- •5.2. Вычисление выравнивающей кривой распределения по статистическим данным
- •5.2.1. Выравнивание по классическому методу моментов
- •5.2.2. Выравнивание по универсальному методу моментов
- •5.2.3. Выравнивание по устойчивому методу
- •Показатели статистического распределения (snr2v08a)
- •Распределение 3-го типа с параметрами
- •5.2.5. Выравнивающее распределение среднего выборочного
- •5.3. Прогнозирование распределений
- •5.3.1. Первая система непрерывных распределений
- •5.3.2. Вторая система непрерывных распределений
- •Распределение населения страны по среднедушевому совокупному доходу, в % к итогу (Расчет по данным обследования 90 тыс. Семейных бюджетов)
- •5.3.3. Показатели стабильности и качества выборки
- •5.4. Ранговые распределения
- •5.4.1. Форма представления ранговых распределений
- •5.4.2 Универсальный закон рассеяния публикаций
- •5.5.3. Универсальный закон старения публикаций
- •5.4.4. Ранговые распределения лексических единиц
- •6. Временные (динамические) ряды
- •6.1. Методы выделения тренда
- •6.2. Построение кривых роста для выравнивания временных рядов
- •6.2.1. Построение кривых роста с заданными свойствами
- •6.2.2. Метод обобщения
- •6.2.3. Кривые роста на базе обобщенных распределений
- •6.3. Оценивание параметров кривых роста
- •6.3.1. Уравнение прямой
- •6.3.2. Экспонента
- •6.3.3. Обобщенная кривая роста
- •6.4. Прогнозирование временных рядов
- •6.4.1. Параметрический метод прогнозирования
- •6.4.2. Непараметрический метод прогнозирования
- •Заключение
- •Приложения Приложение 1
- •Приложение 2
- •Приложение 5 Основные сведения о программах
- •Литература
- •Содержание
- •Математико-статистические
- •Методы анализа
- •В библиотечно-информационной
- •Деятельности
Заключение
Эффективность статистических методов в теоретических и прикладных исследованиях в решающей степени зависит от точности выравнивания статистических распределений.
Если статистическое распределение отличается от предполагаемого теоретического, в качестве которого часто принимают нормальный закон, то это может привести к непредсказуемым последствиям.
Нормальный закон на номограмме представлен точкой. Все остальное поле номограммы заполнено множеством других точек и каждая из них соответствует определенному распределению, подобно тому, как в периодической системе элементов Д.И.Менделеева каждая клетка соответствует определенному элементу. Поэтому необоснованная замена любого выравнивающего распределения нормальным недопустима, если расчеты по статистическим данным привели к другому выравнивающему закону распределения. Такая замена может значительно снизить точность выравнивания.
Спрашивается, зачем нужна максимально высокая точность выравнивания статистических распределений, в частности, технологических погрешностей? Ответ заключается в том, что главный и наиболее общий показатель качества – ожидаемый процент брака – сосредоточен на концах распределения, при этом предельно допустимый его уровень в машиностроении составляет малую величину, равную 0.0027, или 0.27%. Поэтому грубое выравнивание просто не имеет смысла, причем, не только в приведенном примере, но и в других серьезных исследованиях.
Теория обобщенных распределений, элементы которой изложены в настоящей книге, как нельзя лучше приспособлена для решения таких задач. Тем более, что она включает не только три системы непрерывных распределений, но и систему дискретных распределений [26, 27], взаимосвязанную с системой кривых роста новых событий, методы установления типа выравнивающей кривой и нахождения оценок параметров.
На базе свойств обобщенных распределений найдена математически точная формулировка закона рассеяния публикаций, несколько отличающаяся от формулировки С.Бредфорда. Установлены наиболее общие законы старения и рассеяния публикаций, в качестве которых выступают первая и вторая системы непрерывных четырехпараметрических распределений.
Обобщенные распределения включают как частные случаи большинство известных распределений, в том числе семейство кривых К. Пирсона, и могут претендовать на роль универсальных законов распределения не только теории вероятностей и математической статистики, но и информатики, математической лингвистики, экономики и других отраслей знания.
Для каждой системы распределений (непрерывных и дискретных), а также кривых роста (временных рядов) автором разработаны соответствующие программы. Они вычисляют тип наилучшей выравнивающей кривой, выдают ее уравнение и точечные оценки параметров, вычисляют значения плотности и функции распределения, а также квантили, процентили, доверительные вероятности и доверительные интервалы, координаты моды и точек перегиба, строят кривую распределения (или кривую роста) и, наконец, вычисляют показатели качества продукции, в том числе – ожидаемый процент брака. Кроме того, программы вычисляют законы распределения суммы и среднего n независимых одинаково распределенных случайных величин, вычисляют прогнозируемые распределения (см. приложение 5). Количество решаемых задач периодически пополняется.
Читателю следует иметь в виду, что теория обобщенных распределений к настоящему времени опубликована лишь частично. Это не позволяет любому, даже весьма опытному программисту, самостоятельно создавать эффективные и надежные программы по статистической обработке данных на базе обобщенных распределений, а также сопутствующую документацию. Для создания программ необходимо разработать новые методы оценивания параметров, а для каждого метода – множество алгоритмов, проверить их работоспособность, довести до программы. Но это невозможно сделать без глубокого знания теории обобщенных распределений. А она намного сложнее семейства кривых К.Пирсона.
Автор предлагает принять его систему непрерывных распределений, методы оценивания параметров и серию компью-терных программ в качестве основы для стандартизации статистической обработки данных, что гарантирует высокую экономическую эффективность статистических методов во всех практических приложениях.