Лекции для студентов специальности 073000 - прикладная математика

Теория вероятностей

и

математическая статистика

Алексей Михайлович Протасов

Содержание

Теория вероятностей 6

Введение в теорию вероятностей 6

Предмет теории вероятностей 6

Возникновение и развитие теории вероятностей 6

До появления аксиоматики Колмогорова 6

В наше время 6

Необходимость теории вероятностей как науки 6

Возможность анализа случайных явлений 7

Расчет шансов и прогнозирование последствий 7

Типичные ошибки при решении вероятностных задач без применения теории вероятностей 7

Ошибка шевалье де Мере (XVII век) 7

Ошибка Д’Аламбера 7

Задача о днях рождения 7

Понимание природы вещей и причин явлений 7

Парадокс движения автобусов 7

Игра с тремя разными костями 7

Новый язык для описания объектов 7

Примеры практических задач, при решении которых применяется теория вероятностей 8

Расчет размера буфера в устройствах передачи и обработки информации 8

Определение объема закупки товара или выпуска продукции на рынок 8

Управление продажей авиабилетов 8

Расчет надежности сложной системы 8

Оценка доли брака или стоимости коллекции 8

Принятие типового решения в условиях неопределенности 8

Задача о студенте на экзамене 8

Примеры практических задач, при решении которых не стоит применять теорию вероятностей 8

Принятие важного решения, от которого зависит успех всего проекта 8

Игра по крупному 9

Основные понятия и определения 9

Первичные понятия 9

Опыт (эксперимент) 9

Элементарный исход 9

Пространство элементарных исходов 10

Советы по построению пространства элементарных исходов. 10

Определения 10

Подмножества 10

Операции над подмножествами 11

Дополнение 11

Объединение 11

Пересечение 11

Разность 11

Симметричная разность 11

Количество элементов в подмножестве 11

Отношения между подмножествами 12

Вложение 12

Несовместность 12

Противоположность 12

Убывающая последовательность событий 12

Формулы 12

Полная группа подмножеств 12

Алгебра и сигма-алгебра 13

Случайные события 13

Информационный смысл понятия сигма - алгебра 13

Пересечение сигма-алгебр 14

Минимальная сигма-алгебра 14

Полная группа событий 14

Конечно-аддитивная функция 14

Счетно-аддитивная функция 14

Мера 14

Конечная мера 14

Вероятность 14

Вероятностное пространство 15

Парадокс определения вероятностного пространства 15

Независимые события 15

Попарно 15

В совокупности 15

Условная вероятность 16

Свойства и теоремы 16

Простейшие свойства вероятности 16

Вероятность противоположного события 16

Вероятность невозможного события 16

Монотонность вероятности 16

16

16

Ограниченность вероятности 16

Вероятность объединения событий 16

Полуаддитивность вероятности 16

Счетная полуаддитивность вероятности 16

Вероятности полной группы событий 16

Формула полной вероятности 16

Формула Байеса 17

Теорема (о непрерывности вероятностной меры) 17

Дискретная вероятностная модель 17

Конечное пространство элементарных исходов 17

Классическая вероятностная модель 17

Связь классической вероятностной модели с комбинаторикой 18

Основная формула комбинаторики 18

Факториал 19

Формула Стерлинга 19

Биномиальный коэффициент 19

Бином Нютона 19

Полиномиальная формула 19

Схема выбора с возвращением 19

Схема выбора без возвращения 20

Урновая схема 20

Общее определение вероятности для экспериментов с конечным или счетным числом исходов 20

Дискретное распределение и вероятность 21

Равномерное распределение - классическая вероятностная модель 21

Биномиальное распределение – схема Бернулли 22

Мультиномиальное распределение – схема бросания частиц по ячейкам 23

Геометрическое распределение – испытания до первого успеха 23

Распределение Паскаля – испытания до m-того успеха 24

Пуассоновское распределение - теорема Пуассона 24

Теорема Пуассона. 25

Сходимость по вариации - приближение одних моделей другими 26

Сходимость по вариации. 26

Измеримое пространство. 26

Независимость событий и условная вероятность. Построение моделей. 26

Независимость 26

Различие между независимостью попарно и в совокупности. Пример Бернштейна 26

Использование понятия независимости для построения моделей. Произведение вероятностных пространств. 27

Примеры построения моделей. 28

Расчет надежности при параллельном соединении элементов. 28

Расчет надежности при последовательном соединении элементов 29

Расчет надежности сложной системы. 29

Замечания к примерам. 29

Условная вероятность 30

Урновая схема 31

Марковская зависимость 32

Формула полной вероятности и формула Байеса 32

Случайные величины 33

Отображения вероятностных пространств 33

Случайная величина 34

Борелевская сигма-алгебра 34

Точка 35

Открытый интервал 35

Полуось 35

Множество рациональных чисел 35

Множество иррациональных чисел 35

Множество положительности непрерывной функции 35

Другие множества 35

Неборелевские множества 35

Варианты определения борелевской сигма-алгебры 36

Определение случайной величины 36

Необходимые и достаточные условия измеримости 36

Борелевская функция 37

Примеры борелевских функций 37

Примеры случайных величин 37

Индикатор события 37

Простая случайная величина 37

Дискретная случайная величина 38

Приближение измеримых функций простыми 38

Свойства случайных величин 39

Случайный вектор 39

Распределения случайных величин и векторов 40

Построение меры на прямой 40

Сигма-конечная мера 40

Теорема Каратеодори 40

Теорема Каратеодори. 40

Продолжение и сужение меры 40

Функция распределения 40

Точки непрерывности и разрыва функции распределения 41

Несобственные функции распределения 42

Дискретные распределения на прямой 42

Вырожденное распределение 42

Бернуллиевское распределение 43

Биномиальное распределение 43

Геометрическое распределение 44

Пуассоновское распределение 45

Произвольное дискретное распределение 45

Функция распределения случайной величины 46

Непрерывные распределения на прямой 46

Равномерное распределение на отрезке – мера Лебега. 46

Мера Лебега на прямой. 47

Плотность распределения 47

Вероятностный смысл плотности распределения 49

Бета-распределение на отрезке [0,1] 49

Смеси распределений. 52

Нормальное (гауссовское) распределение. 53

Экспоненциальное (показательное) распределение. 54

Гамма-распределение. 55

Построение меры в конечномерном пространстве 56

Борелевская сигма-алгебра в конечномерном пространстве 56

Определение случайного вектора 56

Мера Лебега в конечномерном пространстве 57

Мера Лебега на квадрате - Задача о встрече 57

Независимые случайные величины 58

Многомерное нормальное распределение 58

Числовые характеристики случайных величин и векторов 59

Интеграл Лебега – математическое ожидание 59

Свойства интеграла Лебега (математического ожидания) 60

Теоремы о предельном переходе под знаком интеграла Лебега 61

Теорема о монотонной сходимости 61

Счетная аддитивность 61

Лемма Фату 61

Сходимость и свойства почти наверное 61

Теорема Лебега о мажорируемой сходимости 62

Неравенства 62

Неравенство Маркова 62

Неравенство Чебышева. Дисперсия 62

Неравенство Коши-Буняковского-Шварца. Ковариация 62

Неравенство Йенсена.Выпуклые функции 63

Неравенство Ляпунова.Моменты 63

Вычисление математического ожидания. 64

Теорема Лебега о замене переменных 64

Вычисление интеграла Лебега на прямой. 65

Вычисление интеграла Лебега в произведении пространств. Теорема Фубини 65

Теорема Фубини 65

Вычисление маргинальных плотностей 66

Вычисление числовых характеристик важных распределений. 66

Абсолютная непрерывность вероятностных мер 67

Абсолютно непрерывные и сингулярные меры и распределения 67

Теорема Радона-Никодима 68

Суммирование независимых случайных величин 69

Распределение суммы независимых случайных величин 69

Распределение суммы двух независимых случайных величин. Формула свертки 69

Плотность распределения суммы двух независимых случайных величин 70

Кратные свертки 70

Примеры вычисления распределения сумм независимых случайных величин 70

Суммы независимых случайных величин. Нормальное распределение 70

Суммы независимых случайных величин.Биномиальное распределение 70

Суммы независимых случайных величин.Пуассоновское распределение 71

Суммы независимых случайных величин.Гамма распределение 71

Пуассоновский процесс 71

Сходимость последовательностей случайных величин и их распределений 72

Сходимость почти наверное 72

Сходимость по вероятности 72

Сходимость в среднеквадратическом 72

Слабая сходимость распределений 72

Взаимосвязь различных видов сходимости 73

Закон больших чисел в форме Бернулли 74

Теорема Шеффе 77

Сглаживание распределений 77

Характеристические функции случайных величин и их распределений 78

Математическое ожидание комплекснозначной функции от случайной величины 78

Определение характеристической функции 78

Свойства характеристической функции 78

Преобразование Лапласа и производящая функция 79

Теорема единственности для характеристических функций и характеристические функции важных распределений 79

Предельные теоремы теории вероятностей 83

Схема суммирования независимых слагаемых 83

Классическая схема 83

Схема серий 83

Закон больших чисел в форме Чебышева 84

Закон больших чисел для схемы серий 84

Закон больших чисел в форме Хинчина 85

Усиленный закон больших чисел в форме Кантелли 85

Центральная предельная теорема в форме Леви 86

Теорема Леви 86

Теорема Муавра-Лапласа 86

Центральная предельная теорема в форме Ляпунова 86

Условное математическое ожидание, условная вероятность и условное распределение 88

Определение и основные свойства условного математического ожидания 88

Теорема существования и единственности условного математического ожидания 91

Математическое ожидание одной случайной величины относительно другой 91

Свойства условного математического ожидания 91

Определение условной вероятности, условного распределения и условной плотности 92

Условная вероятность 92

Условное распределение 93

Вычисление условной плотности и условного математического ожидания 94

Теория вероятностей Введение в теорию вероятностей Предмет теории вероятностей

Математическая модель - это средство описания объектов и процессов реального мира в математических терминах, с помощью первичных, возможно неопределяемых, символических объектов (точка, множество ...) и строго определяемых отношений между ними (функция, оператор...).

Теория вероятностей – это математическая дисциплина, изучающая математические модели случайных явлений. Предметом теории вероятностей является математический аппарат для построения и анализа математических моделей случайных явлений, возникающих в науке, технике, экономике, бизнесе и повседневной деятельности людей.

Возникновение и развитие теории вероятностей До появления аксиоматики Колмогорова

Развитие теории вероятностей как науки началось в середине XVII века в связи с расчетом шансов в азартных играх. Первые теоремы были доказаны Я.Бернулли и Муавром. В 1812 году появился первый большой трактат по теории вероятностей Лапласа. В это время теория вероятностей начинает применяться в естествознании, технике и военном деле (теория ошибок наблюдений, теория стрельбы). Во второй половине 19 века вероятностные методы уже используются в демографии, статистике и страховании. Первым российским математиком, внесшим значительный вклад в теорию вероятностей, был Чебышев, работы которого были продолжены Марковым и Ляпуновым.

В наше время

Современный период в развитии теории вероятностей начинается с работ Бернштейна, Бореля и Колмогорова. Теория вероятностей стала математической наукой в 1933 году после выхода книги Колмогорова "Основные понятия теории вероятностей", в которой предложена аксиоматика теории вероятностей. С помощью этой аксиоматики удалось объяснить многочисленные парадоксы теории вероятностей, в ее рамках теория вероятностей развивается до сих пор. Наиболее бурно развивающиеся сейчас разделы теории вероятностей это теория случайных процессов, стохастическая геометрия, статистические приложения теории вероятностей.

Необходимость теории вероятностей как науки

Теория вероятностей необходима тогда, когда требуется дать количественную оценку неопределенности, возникающей при анализе случайных явлений, предсказать наиболее вероятный исход опыта, оценить средние значения случайных факторов и отклонения от них, исследовать взаимосвязь явлений, между которыми нет жесткой зависимости. Теория вероятностей позволяет дать специальный язык для описания некоторых объектов реального мира. Методы теории вероятностей помогают анализировать большие объемы статистических данных и предлагать для них математические модели. Отказ от использования методов теории вероятностей при анализе даже простейших задач со случайными факторами или неправильное их применение может привести к значительным количественным ошибкам и ложным качественным заключениям.

Возможность анализа случайных явлений

Случайное явление – это представитель совокупности явлений, исход каждого из которых в отдельности непредсказуем, но которые все вместе подчиняются некоей общей закономерности.

Возможность анализа случайных явлений и получения точных количественных оценок основана на существовании объективной закономерности, которой подчиняется совокупность случайных явлений, рассматриваемая в целом. Например, невозможно предсказать, какая сторона монеты выпадет при конкретном бросании, но из опыта известно, что при большом числе бросаний симметричной монеты количество гербов и решек будет приблизительно одинаково.