- •Теория вероятностей Введение в теорию вероятностей Предмет теории вероятностей
- •Возникновение и развитие теории вероятностей До появления аксиоматики Колмогорова
- •В наше время
- •Необходимость теории вероятностей как науки
- •Возможность анализа случайных явлений
- •Расчет шансов и прогнозирование последствий
- •Игра по крупному
- •Основные понятия и определения Первичные понятия Опыт (эксперимент)
- •Элементарный исход
- •Пространство элементарных исходов
- •Советы по построению пространства элементарных исходов.
- •Определения Подмножества
- •Операции над подмножествами
- •Случайные события
- •Информационный смысл понятия сигма - алгебра
- •Пересечение сигма-алгебр
- •Вероятностное пространство
- •Парадокс определения вероятностного пространства
- •Независимые события
- •Теорема (о непрерывности вероятностной меры)
- •Дискретная вероятностная модель
- •Конечное пространство элементарных исходов
- •Классическая вероятностная модель
- •Связь классической вероятностной модели с комбинаторикой
- •Основная формула комбинаторики
- •Факториал
- •Урновая схема
- •Общее определение вероятности для экспериментов с конечным или счетным числом исходов
- •Дискретное распределение и вероятность
- •Равномерное распределение - классическая вероятностная модель
- •Биномиальное распределение – схема Бернулли
- •Мультиномиальное распределение – схема бросания частиц по ячейкам
- •Геометрическое распределение – испытания до первого успеха
- •Распределение Паскаля – испытания до m-того успеха
- •Пуассоновское распределение - теорема Пуассона
- •Теорема Пуассона.
- •Сходимость по вариации - приближение одних моделей другими
- •Использование понятия независимости для построения моделей. Произведение вероятностных пространств.
- •Примеры построения моделей.
- •Расчет надежности при параллельном соединении элементов.
- •Расчет надежности при последовательном соединении элементов
- •Расчет надежности сложной системы.
- •Замечания к примерам.
- •Условная вероятность
- •Урновая схема
- •Марковская зависимость
- •Формула полной вероятности и формула Байеса
- •Случайные величины
- •Отображения вероятностных пространств
- •Случайная величина
- •Борелевская сигма-алгебра
- •Свойства случайных величин
- •Случайный вектор
- •Распределения случайных величин и векторов
- •Точки непрерывности и разрыва функции распределения
- •Несобственные функции распределения
- •Геометрическое распределение
- •Мера Лебега на прямой.
- •Плотность распределения
- •Вероятностный смысл плотности распределения
- •Бета-распределение на отрезке [0,1]
- •Смеси распределений.
- •Нормальное (гауссовское) распределение.
- •Экспоненциальное (показательное) распределение.
- •Гамма-распределение.
- •Построение меры в конечномерном пространстве Борелевская сигма-алгебра в конечномерном пространстве
- •Определение случайного вектора
- •Мера Лебега в конечномерном пространстве
- •Мера Лебега на квадрате - Задача о встрече
- •Независимые случайные величины
- •Многомерное нормальное распределение
- •Числовые характеристики случайных величин и векторов
- •Интеграл Лебега – математическое ожидание
- •Свойства интеграла Лебега (математического ожидания)
- •Теоремы о предельном переходе под знаком интеграла Лебега
- •Теорема Лебега о мажорируемой сходимости
- •Неравенства Неравенство Маркова
- •Неравенство Чебышева. Дисперсия
- •Неравенство Коши-Буняковского-Шварца. Ковариация
- •Неравенство Йенсена.Выпуклые функции
- •Неравенство Ляпунова.Моменты
- •Вычисление математического ожидания.
- •Теорема Лебега о замене переменных
- •Вычисление интеграла Лебега на прямой.
- •Вычисление интеграла Лебега в произведении пространств. Теорема Фубини
- •Теорема Фубини
- •Вычисление маргинальных плотностей
- •Вычисление числовых характеристик важных распределений.
- •Абсолютная непрерывность вероятностных мер
- •Абсолютно непрерывные и сингулярные меры и распределения
- •Теорема Радона-Никодима
- •Суммирование независимых случайных величин
- •Сходимость последовательностей случайных величин и их распределений
- •Сходимость почти наверное
- •Закон больших чисел в форме Бернулли
- •Теорема Шеффе
- •Преобразование Лапласа и производящая функция
- •Теорема единственности для характеристических функций и характеристические функции важных распределений
- •Предельные теоремы теории вероятностей
- •Классическая схема
- •Закон больших чисел в форме Чебышева
- •Закон больших чисел для схемы серий
- •Закон больших чисел в форме Хинчина
- •Условное математическое ожидание, условная вероятность и условное распределение
- •Определение и основные свойства условного математического ожидания
- •Теорема существования и единственности условного математического ожидания
- •Математическое ожидание одной случайной величины относительно другой
- •Свойства условного математического ожидания
- •Определение условной вероятности, условного распределения и условной плотности Условная вероятность
- •Условное распределение
- •Вычисление условной плотности и условного математического ожидания
Преобразование Лапласа и производящая функция
Если случайная величина неотрицательна, то для любого неотрицательного sвсегда существует
которое называется преобразование Лапласа распределения случайной величины .
Если случайная величина неотрицательна и целочисленна, то для любого z такого, чтовсегда существует
которое называется производящей функцией случайной величины
Заменой переменных эти преобразования можно выразить через характеристическую функцию.
Теорема единственности для характеристических функций и характеристические функции важных распределений
Соответствие между функциями распределения и характеристическими функциями является взаимнооднозначным. Каждой функции распределения соответствует одна и только одна характеристическая функция. Это свойство позволяет использовать характеристические функции для различения и определения распределений случайных величин. Прежде чем доказывать теорему единственности, подсчитаем характеристические функции наиболее важных распределений.
-
Название распределения
Характеристическая функция
Вырожденное в точке a
Биномиальное (n,p)
Геометрическое p
Пуассоновское
Нормальное стандартное
Нормальное
Равномерное на отрезке (0,1)
Равномерное на отрезке (a,b)
Бета
Экспоненциальное
Гамма
Заметим, что плотность и характеристическая функция стандартной нормальной случайной величины отличаются лишь множителем. Это позволяет нам доказать следующее важное равенство.
Равенство Парсеваля.
Пусть - случайная величина с функцией распределенияи характеристической функцией,
.
Тогда плотность случайной величины можно представить в виде
.
Доказательство.
Пусть
Рассмотрим очевидное равенство
умножим его на плотность случайной величины и проинтегрируем поt от до . Учитывая, что
получим требуемое утверждение
Доказательство завершено.
Меняя в доказательстве местами случайные величины иполучаем следующий вариант равенства Парсеваля
Очевидно, приведенные формулы справедливы и для несобственных функций распределения.
Теорема единственности для характеристических функций.
Соответствие между функциями распределения и характеристическими функциями является взаимнооднозначным.
Доказательство.
Интегрируя равенство
по отрезку [A,B], получаем
Левая часть этого равенства стремится к
,
а правая полностью зависит от . Таким образом функция распределенияопределяется пооднозначно.
Теорема доказана.
Формула
называется формулой обращения для характеристических функций.
Теорема непрерывности для характеристических функций
Важность характеристических функций для теории вероятностей определяется тем , что сходимость последовательности характеристических функций влечет за собой слабую сходимость последовательности соответствующих функций распределения.
Для того, чтобы это доказать, необходимо использовать следующую лемму и теорему.
Лемма о выборе.
Пусть - произвольная последовательность ограниченных в совокупности функций, заданных на прямой и- последовательность действительных чисел. Тогда существует подпоследовательность функцийкоторая сходится во всех точкахк некоторой предельной функции.
Доказательство.
Для доказательства теорем применим диагональный метод Кантора.
Из курса математического анализа известно, что любая ограниченная числовая последовательность имеет сходящуюся подпоследовательность. Последовательность следовательно, как ограниченная последовательность, имеет сходящуюся подпоследовательность. Из этой подпоследовательности выберем другую, сходящуюся в точке-и т.д. Тогда диагональная последовательностьсходится во всех точках
Доказательство закончено.
Выбрав в качестве множества точек множество рациональных чисел и учитывая что, функцию распределения достаточно задать лишь на всюду плотном множестве получаем следующую теорему.
Теорема о выборе.
Пусть - произвольная последовательность функций распределения. Тогда существует подпоследовательность последовательности, которая сходится во всех точках непрерывности к некоторой предельной неубывающей непрерывной слева функции.
Заметим, что функция не обязательно является функцией распределения, но (очевидно) обязательно является неубывающей функцией, такой что
(несобственной функцией распределения).
Например, последовательность функций распределения случайных величинсходится прик функции
Теорема непрерывности для характеристических функций.
Для того, чтобы
необходимо и достаточно, чтобы для всех t
Доказательство.
Пусть Тогда используя ограниченность, непрерывность поxдля любогоtфункциии теорему Хелли-Брея получаем
Доказательство необходимости завершено.
Пусть теперь Тогда, используя теорему о выборе, мы можем извлечь из любой подпоследовательности последовательности функций распределенияслучайных величин, сходящуюся к некоторой функцииподпоследовательность, при этом соответствующая подпоследовательность характеристических функцийкак подпоследовательность сходящейся последовательности характеристических функций сходится к. Покажем, что функцияявляется функцией распределения.
Полагая
и применяя к паре функций ,равенство Парсеваля
получаем, что, с одной стороны, для любого x
С другой стороны, для любых N,n и х
Таким образом:
Функция является собственной функцией распределения
Из любой подпоследовательности последовательности функций распределения случайных величинможно извлечь сходящуюся кподпоследовательность
Характеристическая функция совпадает с
Используя теорему единственности для характеристических функций получаем из 1) и 3), что функции исовпадают и из 2) следует утверждение второй части теоремы (доказательство от противного).
Доказательство завершено.