![](/user_photo/1409_eZHEC.jpg)
- •Теория вероятностей Введение в теорию вероятностей Предмет теории вероятностей
- •Возникновение и развитие теории вероятностей До появления аксиоматики Колмогорова
- •В наше время
- •Необходимость теории вероятностей как науки
- •Возможность анализа случайных явлений
- •Расчет шансов и прогнозирование последствий
- •Примеры практических задач, при решении которых применяется теория вероятностей
- •Игра по крупному
- •Основные понятия и определения Первичные понятия Опыт (эксперимент)
- •Элементарный исход
- •Пространство элементарных исходов
- •Советы по построению пространства элементарных исходов.
- •Определения Подмножества
- •Операции над подмножествами
- •Случайные события
- •Информационный смысл понятия сигма - алгебра
- •Пересечение сигма-алгебр
- •Вероятностное пространство
- •Парадокс определения вероятностного пространства
- •Независимые события
- •Теорема (о непрерывности вероятностной меры)
- •Дискретная вероятностная модель
- •Конечное пространство элементарных исходов
- •Классическая вероятностная модель
- •Связь классической вероятностной модели с комбинаторикой
- •Основная формула комбинаторики
- •Факториал
- •Урновая схема
- •Общее определение вероятности для экспериментов с конечным или счетным числом исходов
- •Дискретное распределение и вероятность
- •Равномерное распределение - классическая вероятностная модель
- •Биномиальное распределение – схема Бернулли
- •Мультиномиальное распределение – схема бросания частиц по ячейкам
- •Геометрическое распределение – испытания до первого успеха
- •Распределение Паскаля – испытания до m-того успеха
- •Пуассоновское распределение - теорема Пуассона
- •Теорема Пуассона.
- •Сходимость по вариации - приближение одних моделей другими
- •Использование понятия независимости для построения моделей. Произведение вероятностных пространств.
- •Примеры построения моделей.
- •Расчет надежности при параллельном соединении элементов.
- •Расчет надежности при последовательном соединении элементов
- •Расчет надежности сложной системы.
- •Замечания к примерам.
- •Условная вероятность
- •Урновая схема
- •Марковская зависимость
- •Формула полной вероятности и формула Байеса
- •Случайные величины
- •Отображения вероятностных пространств
- •Случайная величина
- •Борелевская сигма-алгебра
- •Свойства случайных величин
- •Случайный вектор
- •Распределения случайных величин и векторов
- •Точки непрерывности и разрыва функции распределения
- •Несобственные функции распределения
- •Геометрическое распределение
- •Мера Лебега на прямой.
- •Плотность распределения
- •Вероятностный смысл плотности распределения
- •Бета-распределение на отрезке [0,1]
- •Смеси распределений.
- •Нормальное (гауссовское) распределение.
- •Экспоненциальное (показательное) распределение.
- •Гамма-распределение.
- •Построение меры в конечномерном пространстве Борелевская сигма-алгебра в конечномерном пространстве
- •Определение случайного вектора
- •Мера Лебега в конечномерном пространстве
- •Мера Лебега на квадрате - Задача о встрече
- •Независимые случайные величины
- •Многомерное нормальное распределение
- •Числовые характеристики случайных величин и векторов
- •Интеграл Лебега – математическое ожидание
- •Свойства интеграла Лебега (математического ожидания)
- •Теоремы о предельном переходе под знаком интеграла Лебега
- •Теорема Лебега о мажорируемой сходимости
- •Неравенства Неравенство Маркова
- •Неравенство Чебышева. Дисперсия
- •Неравенство Коши-Буняковского-Шварца. Ковариация
- •Неравенство Йенсена.Выпуклые функции
- •Неравенство Ляпунова.Моменты
- •Вычисление математического ожидания.
- •Теорема Лебега о замене переменных
- •Вычисление интеграла Лебега на прямой.
- •Вычисление интеграла Лебега в произведении пространств. Теорема Фубини
- •Теорема Фубини
- •Вычисление маргинальных плотностей
- •Вычисление числовых характеристик важных распределений.
- •Абсолютная непрерывность вероятностных мер
- •Абсолютно непрерывные и сингулярные меры и распределения
- •Теорема Радона-Никодима
- •Суммирование независимых случайных величин
- •Сходимость последовательностей случайных величин и их распределений
- •Сходимость по вероятности
- •Сходимость в среднеквадратическом
- •Слабая сходимость распределений
- •Взаимосвязь различных видов сходимости
- •Закон больших чисел в форме Бернулли
- •Теорема Шеффе
- •Преобразование Лапласа и производящая функция
- •Теорема единственности для характеристических функций и характеристические функции важных распределений
- •Предельные теоремы теории вероятностей
- •Классическая схема
- •Закон больших чисел в форме Чебышева
- •Закон больших чисел для схемы серий
- •Закон больших чисел в форме Хинчина
- •Центральная предельная теорема в форме Леви Теорема Леви
- •Теорема Муавра-Лапласа
- •Центральная предельная теорема в форме Ляпунова
- •Условное математическое ожидание, условная вероятность и условное распределение
- •Определение и основные свойства условного математического ожидания
- •Теорема существования и единственности условного математического ожидания
- •Математическое ожидание одной случайной величины относительно другой
- •Свойства условного математического ожидания
- •Определение условной вероятности, условного распределения и условной плотности Условная вероятность
- •Условное распределение
- •Вычисление условной плотности и условного математического ожидания
Теорема Шеффе
Следующая теорема показывает, что из поточечной сходимости плотностей следует сходимость соответствующих им мер по вариации
Теорема Шеффе
Пусть
- вероятностные меры, абсолютно
непрерывные относительно меры
и
- соответствующие плотности мер
относительно меры
Тогда,
если
, то
Доказательство этой теоремы проведите самостоятельно по схеме доказательства соответствующего утверждения в теореме Пуассона с использованием теоремы Лебега о мажорированной сходимости.
Сглаживание распределений
Примером последовательности случайных величин, сходящихся в среднеквадратическом к нулю является последовательность
Так как
,
то для
любой случайной величины
и, следовательно,
во всех точках непрерывности функции
распределения
.
Так как , нормальное распределение имеет
плотность, то случайная величина
тоже имеет плотность даже для разрывной
функции распределения
и ее функция распределения при больших
n является гладким приближением функции
распределения
.
Характеристические функции случайных величин и их распределений
В данном разделе вводится определение характеристической функции случайной величины. Эти функции являются основным инструментом доказательства теорем о слабой сходимости в классической теории вероятностей.
Математическое ожидание комплекснозначной функции от случайной величины
Пусть
- случайная величина и
- комплекснозначная функция
.
Тогда математическое ожидание
Определение характеристической функции
Пусть
- случайная величина. Характеристической
функцией случайной величины
называется функция
действительного аргумента t
Свойства характеристической функции
Очевидные свойства характеристической функции приведем без доказательства
Характеристическая функция существует для любой случайной величины
равномерно непрерывна. Действительно
по теореме Лебега о мажорируемой сходимости.
Если существует
для некоторого k=1,2,..., то существует и
причем
. Для доказательства достаточно продифференцировать необходимое количество раз интеграл, определяющий характеристическую функцию, по параметру t.
Пусть
и
- две независимые случайные величины, тогда
. Это следует их того, что математическое ожидание произведения независимых случайных величин равно произведению их математических ожиданий.
Если
- плотность случайной величины
, то
- является преобразованием Фурье плотности. Подробно свойства преобразования Фурье рассматриваются в курсе математического анализа.
Преобразование Лапласа и производящая функция
Если случайная величина неотрицательна, то для любого неотрицательного sвсегда существует
которое
называется преобразование Лапласа
распределения случайной величины
.
Если
случайная величина неотрицательна и
целочисленна, то для любого z
такого, чтовсегда существует
которое
называется производящей функцией
случайной величины
Заменой переменных эти преобразования можно выразить через характеристическую функцию.
Теорема единственности для характеристических функций и характеристические функции важных распределений
Соответствие между функциями распределения и характеристическими функциями является взаимнооднозначным. Каждой функции распределения соответствует одна и только одна характеристическая функция. Это свойство позволяет использовать характеристические функции для различения и определения распределений случайных величин. Прежде чем доказывать теорему единственности, подсчитаем характеристические функции наиболее важных распределений.
-
Название распределения
Характеристическая функция
Вырожденное в точке a
Биномиальное (n,p)
Геометрическое p
Пуассоновское
Нормальное стандартное
Нормальное
Равномерное на отрезке (0,1)
Равномерное на отрезке (a,b)
Бета
Экспоненциальное
Гамма
Заметим, что плотность и характеристическая функция стандартной нормальной случайной величины отличаются лишь множителем. Это позволяет нам доказать следующее важное равенство.
Равенство Парсеваля.
Пусть
- случайная величина с функцией
распределения
и характеристической функцией
,
.
Тогда
плотность случайной величины
можно представить в виде
.
Доказательство.
Пусть
Рассмотрим очевидное равенство
умножим
его на плотность случайной величины
и проинтегрируем поt
от
до
.
Учитывая, что
получим требуемое утверждение
Доказательство завершено.
Меняя
в доказательстве местами случайные
величины
и
получаем следующий вариант равенства
Парсеваля
Очевидно, приведенные формулы справедливы и для несобственных функций распределения.
Теорема единственности для характеристических функций.
Соответствие между функциями распределения и характеристическими функциями является взаимнооднозначным.
Доказательство.
Интегрируя равенство
по отрезку [A,B], получаем
Левая часть этого равенства стремится к
,
а
правая полностью зависит от
.
Таким образом функция распределения
определяется по
однозначно.
Теорема доказана.
Формула
называется формулой обращения для характеристических функций.
Теорема непрерывности для характеристических функций
Важность характеристических функций для теории вероятностей определяется тем , что сходимость последовательности характеристических функций влечет за собой слабую сходимость последовательности соответствующих функций распределения.
Для того, чтобы это доказать, необходимо использовать следующую лемму и теорему.
Лемма о выборе.
Пусть
- произвольная последовательность
ограниченных в совокупности функций,
заданных на прямой и
- последовательность действительных
чисел. Тогда существует подпоследовательность
функций
которая сходится во всех точках
к некоторой предельной функции
.
Доказательство.
Для доказательства теорем применим диагональный метод Кантора.
Из
курса математического анализа известно,
что любая ограниченная числовая
последовательность имеет сходящуюся
подпоследовательность. Последовательность
следовательно, как ограниченная
последовательность, имеет сходящуюся
подпоследовательность
. Из этой подпоследовательности выберем
другую, сходящуюся в точке
-
и т.д. Тогда диагональная последовательность
сходится во всех точках
Доказательство закончено.
Выбрав
в качестве множества точек
множество рациональных чисел и учитывая
что, функцию распределения достаточно
задать лишь на всюду плотном множестве
получаем следующую теорему.
Теорема о выборе.
Пусть
- произвольная последовательность
функций распределения. Тогда существует
подпоследовательность последовательности
, которая сходится во всех точках
непрерывности к некоторой предельной
неубывающей непрерывной слева функции
.
Заметим,
что функция
не обязательно является функцией
распределения, но (очевидно) обязательно
является неубывающей функцией, такой
что
(несобственной функцией распределения).
Например,
последовательность функций распределения
случайных величин
сходится
при
к функции
Теорема непрерывности для характеристических функций.
Для того, чтобы
необходимо и достаточно, чтобы для всех t
Доказательство.
Пусть
Тогда
используя ограниченность, непрерывность
поxдля любогоtфункции
и теорему Хелли-Брея получаем
Доказательство необходимости завершено.
Пусть
теперь
Тогда,
используя теорему о выборе, мы можем
извлечь из любой подпоследовательности
последовательности функций распределения
случайных
величин
,
сходящуюся к некоторой функции
подпоследовательность
,
при этом соответствующая подпоследовательность
характеристических функций
как подпоследовательность сходящейся
последовательности характеристических
функций сходится к
.
Покажем, что функция
является функцией распределения.
Полагая
и применяя
к паре функций
,
равенство Парсеваля
получаем,
что, с одной стороны, для любого x
С другой
стороны, для любых N,n и х
Таким образом:
Функция
является собственной функцией распределения
Из любой подпоследовательности последовательности функций распределения
случайных величин
можно извлечь сходящуюся к
подпоследовательность
Характеристическая функция
совпадает с
Используя
теорему единственности для характеристических
функций получаем из 1) и 3), что функции
и
совпадают и из 2) следует утверждение
второй части теоремы (доказательство
от противного).
Доказательство завершено.