Лекции для студентов специальности 073000 - прикладная математика

Т еория вероятностей

и

математическая статистика

Алексей Михайлович Протасов

Содержание

Общие сведения о курсе 7

Цели обучения 7

Знания 7

Умения 7

Предварительные сведения 7

Кафедра теории вероятностей и математической статистики 8

План обучения 8

Теория вероятностей 8

Введение в теорию вероятностей 8

Предмет теории вероятностей 8

Возникновение и развитие теории вероятностей 9

До появления аксиоматики Колмогорова 9

В наше время 9

Необходимость теории вероятностей как науки 9

Возможность анализа случайных явлений 9

Расчет шансов и прогнозирование последствий 10

Типичные ошибки при решении вероятностных задач без применения теории вероятностей 10

Понимание природы вещей и причин явлений 10

Парадокс движения автобусов 10

Игра с тремя разными костями 10

Новый язык для описания объектов 11

Распространение вероятностной и статистической терминологии 11

Примеры практических задач, при решении которых применяется теория вероятностей 12

Расчет размера буфера в устройствах передачи и обработки информации 12

Определение объема закупки товара или выпуска продукции на рынок 12

Управление продажей авиабилетов 12

Расчет надежности сложной системы 13

Оценка доли брака или стоимости коллекции 13

Принятие типового решения в условиях неопределенности 13

Примеры практических задач, при решении которых не стоит применять теорию вероятностей 13

Принятие важного решения, от которого зависит успех всего проекта 13

Игра по крупному 13

Основные понятия и определения 14

Первичные понятия 14

Опыт (эксперимент) 14

Элементарный исход 14

Пространство элементарных исходов 15

Определения 15

Подмножества 15

Операции над подмножествами 16

Отношения между подмножествами 17

Убывающая последовательность событий 18

Формулы 18

Полная группа подмножеств 18

Алгебра и сигма-алгебра 18

Случайные события 19

Информационный смысл понятия сигма - алгебра 19

Пересечение сигма-алгебр 20

Минимальная сигма-алгебра 20

Полная группа событий 20

Конечно-аддитивная функция 20

Счетно-аддитивная функция 20

Мера 20

Конечная мера 21

Вероятность 21

Вероятностное пространство 21

Парадокс определения вероятностного пространства 22

Независимые события 22

Условная вероятность 23

Свойства и теоремы 23

Простейшие свойства вероятности 23

Теорема (о непрерывности вероятностной меры) 24

Дискретная вероятностная модель 25

Конечное пространство элементарных исходов 25

Классическая вероятностная модель 25

Связь классической вероятностной модели с комбинаторикой 26

Основная формула комбинаторики 26

Факториал 27

Формула Стирлинга 27

Биномиальный коэффициент 27

Бином Нютона 27

Полиномиальная формула 27

Схема выбора с возвращением 27

Схема выбора без возвращения 28

Урновая схема 29

Общее определение вероятности для экспериментов с конечным или счетным числом исходов 29

Дискретное распределение и вероятность 30

Равномерное распределение - классическая вероятностная модель 30

Биномиальное распределение – схема Бернулли 30

Мультиномиальное распределение – схема бросания частиц по ячейкам 32

Геометрическое распределение – испытания до первого успеха 33

Распределение Паскаля – испытания до m-того успеха 33

Пуассоновское распределение - теорема Пуассона 34

Сходимость по вариации - приближение одних моделей другими 35

Независимость событий и условная вероятность. Построение моделей. 36

Независимость 36

Различие между независимостью попарно и в совокупности. Пример Бернштейна 36

Использование понятия независимости для построения моделей. Произведение вероятностных пространств. 37

Примеры построения моделей. 38

Условная вероятность 42

Урновая схема 43

Марковская зависимость 44

Формула полной вероятности и формула Байеса 45

Случайные величины 46

Отображения вероятностных пространств 46

Случайная величина 47

Борелевская сигма-алгебра 48

Определение случайной величины 49

Необходимые и достаточные условия измеримости 50

Борелевская функция 50

Примеры случайных величин 51

Приближение измеримых функций простыми 52

Свойства случайных величин 53

Случайный вектор 54

Распределения случайных величин и векторов 55

Построение меры на прямой 55

Сигма-конечная мера 55

Теорема Каратеодори 55

Функция распределения 56

Несобственные функции распределения 57

Дискретные распределения на прямой 58

Вырожденное распределение 58

Бернуллиевское распределение 59

Биномиальное распределение 59

Геометрическое распределение 61

Пуассоновское распределение 61

Произвольное дискретное распределение 62

Функция распределения случайной величины 62

Непрерывные распределения на прямой 63

Равномерное распределение на отрезке – мера Лебега. 63

Мера Лебега на прямой. 64

Плотность распределения 64

Вероятностный смысл плотности распределения 66

Бета-распределение на отрезке [0,1] 66

Смеси распределений. 69

Нормальное (гауссовское) распределение. 71

Экспоненциальное (показательное) распределение. 73

Гамма-распределение. 74

Построение меры в конечномерном пространстве 76

Борелевская сигма-алгебра в конечномерном пространстве 76

Определение случайного вектора 76

Мера Лебега в конечномерном пространстве 77

Мера Лебега на квадрате - Задача о встрече 77

Независимые случайные величины 78

Многомерное нормальное распределение 78

Числовые характеристики случайных величин и векторов 80

Интеграл Лебега – математическое ожидание 80

Свойства интеграла Лебега (математического ожидания) 81

Теоремы о предельном переходе под знаком интеграла Лебега 83

Неравенства 84

Вычисление математического ожидания. 87

Теорема Лебега о замене переменных 87

Вычисление интеграла Лебега на прямой. 88

Вычисление интеграла Лебега в произведении пространств. Теорема Фубини 89

Вычисление числовых характеристик важных распределений. 90

Абсолютная непрерывность вероятностных мер 91

Абсолютно непрерывные и сингулярные меры и распределения 91

Теорема Радона-Никодима 92

Суммирование независимых случайных величин 94

Распределение суммы независимых случайных величин 94

Распределение суммы двух независимых случайных величин. Формула свертки 94

Плотность распределения суммы двух независимых случайных величин 95

Кратные свертки 95

Примеры вычисления распределения сумм независимых случайных величин 95

Пуассоновский процесс 96

Сходимость последовательностей случайных величин и их распределений 97

Сходимость по вероятности 97

Сходимость в среднеквадратическом 98

Слабая сходимость распределений 98

Взаимосвязь различных видов сходимости 99

Закон больших чисел в форме Бернулли 101

Теорема Шеффе 104

Сглаживание распределений 105

Характеристические функции случайных величин и их распределений 105

Математическое ожидание комплекснозначной функции от случайной величины 105

Определение характеристической функции 106

Свойства характеристической функции 106

Преобразование Лапласа и производящая функция 106

Теорема единственности для характеристических функций и характеристические функции важных распределений 107

Предельные теоремы теории вероятностей 111

Схема суммирования независимых слагаемых 112

Классическая схема 112

Схема серий 112

Закон больших чисел в форме Чебышева 112

Закон больших чисел для схемы серий 113

Закон больших чисел в форме Хинчина 114

Центральная предельная теорема в форме Леви 114

Теорема Леви 114

Теорема Муавра-Лапласа 115

Центральная предельная теорема в форме Ляпунова 115

Условное математическое ожидание, условная вероятность и условное распределение 117

Определение и основные свойства условного математического ожидания 118

Теорема существования и единственности условного математического ожидания 121

Математическое ожидание одной случайной величины относительно другой 121

Свойства условного математического ожидания 121

Определение условной вероятности, условного распределения и условной плотности 123

Условная вероятность 123

Условное распределение 123

Вычисление условной плотности и условного математического ожидания 124

Индекс 193

Теория вероятностей Введение в теорию вероятностей Предмет теории вероятностей

Математическая модель - это средство описания объектов и процессов реального мира в математических терминах, с помощью первичных, возможно неопределяемых, символических объектов (точка, множество ...) и строго определяемых отношений между ними (функция, оператор...).

Теория вероятностей – это математическая дисциплина, изучающая математические модели случайных явлений. Предметом теории вероятностей является математический аппарат для построения и анализа математических моделей случайных явлений, возникающих в науке, технике, экономике, бизнесе и повседневной деятельности людей. Важным следствием построения такой модели является возможность находить вероятности случайных событий.

Возникновение и развитие теории вероятностей До появления аксиоматики Колмогорова

Развитие теории вероятностей как науки началось в середине XVII века в связи с расчетом шансов в азартных играх. Первые теоремы были доказаны Я.Бернулли и Муавром. В 1812 году появился первый большой трактат по теории вероятностей Лапласа. В это время теория вероятностей начинает применяться в естествознании, технике и военном деле (теория ошибок наблюдений, теория стрельбы). Во второй половине 19 века вероятностные методы уже используются в демографии, статистике и страховании. Первым российским математиком, внесшим значительный вклад в теорию вероятностей, был Чебышев, работы которого были продолжены Марковым и Ляпуновым.

В наше время

Современный период в развитии теории вероятностей начинается с работ Бернштейна, Бореля и Колмогорова. Теория вероятностей стала математической наукой в 1933 году после выхода книги Колмогорова "Основные понятия теории вероятностей", в которой предложена аксиоматика теории вероятностей. С помощью этой аксиоматики удалось объяснить многочисленные парадоксы теории вероятностей, в ее рамках теория вероятностей развивается до сих пор. Наиболее бурно развивающиеся сейчас разделы теории вероятностей это теория случайных процессов, стохастическая геометрия, статистические приложения теории вероятностей.

Необходимость теории вероятностей как науки

Теория вероятностей необходима тогда, когда требуется дать количественную оценку неопределенности, возникающей при анализе случайных явлений, предсказать наиболее вероятный исход опыта, оценить средние значения случайных факторов и отклонения от них, исследовать взаимосвязь явлений, между которыми нет жесткой зависимости. Теория вероятностей позволяет дать специальный язык для описания некоторых объектов реального мира. Методы теории вероятностей помогают анализировать большие объемы статистических данных и предлагать для них математические модели. Отказ от использования методов теории вероятностей при анализе даже простейших задач со случайными факторами или неправильное их применение может привести к значительным количественным ошибкам и ложным качественным заключениям.

Возможность анализа случайных явлений

Случайное явление – это представитель совокупности явлений, исход каждого из которых в отдельности непредсказуем, но которые все вместе подчиняются некоей общей закономерности.

Возможность анализа случайных явлений и получения точных количественных оценок основана на существовании объективной закономерности, которой подчиняется совокупность случайных явлений, рассматриваемая в целом. Например, невозможно предсказать, какая сторона монеты выпадет при конкретном бросании, но из опыта известно, что при большом числе бросаний симметричной монеты количество гербов и решек будет приблизительно одинаково.

Расчет шансов и прогнозирование последствий

Первые задачи на расчет вероятностей были связаны с анализом азартных игр. Знание шансов различных вариантов выпадения игральных костей может помочь в правильном определении ставок, знание вероятности появления в прикупе нужной комбинации карт может помочь принять правильное решение о выборе варианта игры. Первые ошибки в расчетах были связаны также с азартными играми.

Типичные ошибки при решении вероятностных задач без применения теории вероятностей

Ошибка шевалье де Мере (XVII век)

Рассмотрим опыт, состоящий в бросании трех симметричных игральных костей. Наблюдается сумма очков на их верхних гранях.

Вопрос:

Какое значение суммы вероятней – 11 или 12? Подсчет де Мере показывал, что шансы одинаковы, однако на опыте 11 выпадало чаще. Правильный ответ на вопрос Почему? дал Паскаль.

Ошибка Д’Аламбера

В семье из двух детей могут быть два мальчика, две девочки или мальчик и девочка. Следовательно, вероятность того, что в семье есть мальчик, равна (по Д'Аламберу) 2/3. На практике, однако, доля семей с двумя детьми, из которых один мальчик, близка к 1/2 . Почему?

Задача о днях рождения

Более половины всех типичных (24-30 студентов) студенческих групп содержат как минимум двух студентов с одинаковыми днями рождения. Опрос студентов о шансах такого совпадения дает величину вероятности порядка одной сотой - одной десятой. Почему вероятность > 0.5?

Понимание природы вещей и причин явлений

В результате занятий теорией вероятностей возникает так называемая вероятностная интуиция, помогающая лучше понимать природу окружающего мира и причины явлений. Принятие решений становится более обоснованным.

Парадокс движения автобусов

Интервал движения автобусов 10 минут. На первый взгляд кажется, что среднее время ожидания автобуса на остановке – 5 минут. Однако на практике оно больше, и может составлять те же 10 минут. Почему?

Игра с тремя разными костями

Правила игры просты: На 18 гранях трех игральных костей проставлены разные числа от 1 до 18. Игрок предлагает Вам на выбор любую игральную кость из трех. После этого он выбирает себе одну из оставшихся и предлагает Вам бросить эту пару костей. Если на Вашей кости выпадет больше, то выигрыш Ваш. Вы имеете полную возможность выбрать "наилучшую" кость из трех, попробовать снова и снова. Почему же Вы чаще проигрываете, чем выигрываете?