1. События. Действия над событиями

Событие – явление, которое может произойти или не произойти при осуществлении определённой совокупности условий.

• Событие является достоверным (Ω), если оно обязательно произойдёт в результате данного опыта.

• Событие называется невозможным ( ), если оно заведомо не произойдёт в результате данного опыта.

• Два события называются несовместимыми, если появление одного из них исключает появление другого события в одном и том же опыте. В противном случае события называются совместимыми.

• Полная группа событий (Ω) – это совокупность единственно возможных событий испытания.

Действия над событиями:

• С=А+В (сумма)

Событие С состоит в наступлении хотя бы одного из событий (или).

• С=А В (Произведение)

Событие С состоит в совместном наступлении событий (и).

• С=А В (Разность)

Событие С означает, что происходит событие А, но не происходит событие В

С= ¬А (Противоположное событие)

Событие С происходит тогда и только тогда, когда не происходит событие А

3. Основные правила комбинаторики. Сочетания, размещения, выбор без возвращения и с возвращением

Комбинаторика – раздел математики, который изучает задачи выбора и расположения элементов из некоторого основного множества в соответствии с заданными правилами.

Правило суммы: Если некоторый объект А может быть выбран из совокупности объектов m способами, а другой объект В может быть выбран n способами, то выбрать либо А, либо В можно m + n способами

Правило произведения: Если объект А можно выбрать из совокупности объектов m способами и после каждого такого выбора объект В можно выбрать n способами, то пара объектов (А, В) в указанном порядке может быть выбрана m*n способами

Основные комбинаторные соединения:

• Размещение

• Размещением из k по n называется n-элементное упорядоченное подмножество k-элементного множества

• Размещение без повторения

(Важен порядок и состав):

• Размещение с повторением (Важен порядок, состав и повторение):

• Перестановки

• Перестановкой из n элементов называется n-элементное упорядоченное множество

• Перестановки без повторений (Важен порядок):

• Перестановки с повторениями (Важен порядок и повторение):

• Сочетания

• Сочетанием из n по k называется k-элементное подмножество n-элементного множества.

• Сочетания без повторений (Важен состав):

• Сочетания с повторениями

(Важен состав и повторения):

2. Классическая вероятность. Свойства вероятностей.

Вероятность события A — отношение количества благоприятных событию A исходов к общему количеству всех равновозможных исходов.

Свойства:

• Вероятность достоверного события равна единице

• Вероятность невозможного события равна нулю

• Вероятность случайного события есть положительное число, заключенное между нулем и единицей.

3. Дискретная вероятность и ее свойства.

Прилагательное «дискретная» означает, что вероятности всех событий можно вычислить при помощи суммирования, а не интегрирования.

Из этого вытекают формулы и определения вероятности суммы произвольных событий:

• Определение 1: Будем говорить, что на множестве элементарных исходов Ω заданы вероятности элементарных исходов, если на множестве Ω определена неотрицательная функция Pr(ꙍ) такая,

что

• Определение 2: Вероятностью события А называется число Pr(A), определённое равенством

• Утверждение 1: Для любых событий А и В имеет место равенство:

• Утверждение 2: Для любых событий А, В, C имеет место равенство (вероятность суммы трёх событий):

• Утверждение 3: Формула включений-исключений

Свойства вероятностей:

• Неотрицательность:

• Нормированность:

• Аддитивность: Если , то

3. Общее определение вероятности (аксиоматика Колмогорова). Свойства вероятностей.

Определение вероятности по Колмогорову. Отныне мы будем считать, что нам дано не только пространство элементарных исходов , но и выделенная на неё σ-алгебра подмножеств (сигма алгебра событий). Событиями мы будем называть только элементы σ-алгебры , а саму σ-алгебру будем называть σ-алгеброй событий

P.s. σ – читается как сигма

Определение 1: Функцию Pr: ℝ, определённую на событиях из σ-алгебры , будем называть вероятностью, если она удовлетворяет следующим условиям свойств вероятности:

• Неотрицательность: для любого события

• Нормированность:

• Счётная аддитивность: Для любых попарно несовместимых событий А₁, А₂,… таких, что справедливо равенство

Определение 2: Тройка ( ) называется вероятностным пространством.

P.s. Соболезную, что попался этот вопрос

3. Условная вероятность и ее свойства.

Условной вероятностью события А при условии, что произошло событие В, называется отношение вероятности одновременного наступления событий А и В к вероятности события В, т.е. величина

Свойства:

• Неотрицательность:

• Нормированность:

• Аддитивность: Если события А и С несовместимы, т.е. АС = , тогда

3. Независимость событий. Свойства независимых событий.

Два события А и В называются независимыми если вероятность их одновременного наступления равна произведению вероятностей, т.е. Pr(AB) = Pr(A)Pr(B), либо такая запись ( )

Свойства:

• Если события А и В – независимые, то и независимы любые пары событий: А и В, , В

• Для независимых событий A и B формула сложения вероятностей имеет вид: P(A ∪ B) = P(A) + P(B) − P(A) * P(B)

• Если события A и B не пересекаются и их вероятности не равны нулю, то события A и B зависимы.

3. Пример Бернштейна. Независимость n событий.

События А₁, А₂,… А_n называются независимыми в совокупности, если

Квантор всеобщности

∏ - это, типо, факториал

Есть утверждение «Попарно независимые события не обязательно независимы в совокупности», которое доказывается на контрпримере (пример Бернштейна).

Доказательство или же сам пример Бернштейна: покрасим грани тетраэдра в 3 цвета: одну во все 3 цвета (красный, зелёный, жёлтый) и 3 других в различные

Рассмотрим следующие события:

• A_R = “На грани тетраэдра есть красный цвет”

• A_G = “На грани тетраэдра есть зелёный цвет”

• A_B = “На грани тетраэдра есть синий цвет”

Тогда:

Приведённые события попарно независимы, но не независимы в совокупности.

3. Схема Бернулли. Формула Бернулли. Наиболее вероятное число успехов.

Последовательность независимых испытаний, в каждом из которых возможно только два исхода (Успех, неудача), с одной и той же вероятностью успеха в каждом испытании, называется схемой Бернулли

Формула Бернулли

Пусть событие А состоит в том, что в n испытаниях Бернулли наступит ровно k успехов, тогда имеет место быть равенство:

Наиболее вероятное число успехов.

Обозначим k₀ такое число успехов в n испытаниях Бернулли, вероятность которого максимальна, т.е.: (k)

3. Теорема Бернулли.

Обозначим символом µ_n число успехов в n испытаниях Бернулли. Вероятность успеха в одном испытании равна 0 < p <1

Введём следующее обозначение: , где В – произвольное множество вещественных чисел.

Сама теорема Бернулли: Для любого Ɛ > 0 имеет место следующее утверждение:

3. Локальная и интегральная предельные теоремы Муавра - Лапласа.

Рассматривая последовательность n испытаний Бернулли с вероятностью успеха P в одном испытании и с вероятностью неудачи в одном испытании q = 1-p. Символом P_n(k) обозначим вероятность того, что в n испытаниях наступит ровно k успехов. Введём дополнительное обозначение.

Положим

Имеет место Локальная предельная теорема Муавра – Лапласа, которая предполагает, что k=k(n) зависит от n так, что , т.е. .

Тогда имеет место равенство , где числовая последовательность, сходящаяся к нулю равномерно по всем ,

Интегральная предельная теорема Муавра – Лапласа:

Справедливо следующее соотношение:

При этом сходимость имеет место равномерно по всем a и b в ограниченной области изменения

3. Теорема Пуассона.

Предположим, что нам нужна вероятность получить не менее семи успехов в тысяче испытаний схемы Бернулли с вероятностью успех 0,003. Высчитать эту вероятность довольно сложно, поэтому появилась теорема Пуассона, где так, что . Тогда для любого вероятность получить k успехов в n испытаний схемы Бернулли с вероятностью успеха p_n стремится к величине

:

3. Случайные величины. Функции распределения случайных величин. Характеризационные свойства функций распределения.

Случайной величиной называется функция элементарного исхода такая, что любого вещественного x множество

Функцией распределения называется функция определённая на всей числовой прямой равенством

Пусть – функция распределения некоторой случайной величины , тогда имеют место быть следующие свойства:

• Функция неотрицательна т.е. для любого ℝ

• Функция распределения монотонно не убывает по , т.е. для любых имеет место неравенство

• Функция распределения непрерывна слева, т.е.

• Для функции распределения справедливы соотношения

,

15. Функции распределения абсолютно непрерывного типа. Плотность распределения. Примеры.

Случайная величина ξ имеет абсолютно непрерывное распределение, если существует неотрицательная функция f_ξ(x) такая, что для любого х  R функция распределения F_ξ(x) представима в виде

При этом функция f_ξ(x) называется плотностью распределения случайной величины ξ.

15. Математическое ожидание. Примеры вычисления математического ожидания.

Пусть ξ – случайная величина абсолютно-непрерывного типа с плотностью распределения p(x). Математическим ожиданием случайной величины ξ называется следующая величина

(т.е. интеграл сходится)

Если , то говорят, что математического ожидания не существует

Вместо термина «математическое ожидание» часто используют термины «среднее значение» или «ожидаемое значение»

Существуют примеры через:

• Распределение Бернулли.

• Биноминальное распределение.

• Равномерное распределение

3. Функции распределения дискретного типа. Примеры.

Функция распределения дискретного типа является кусочно-постоянной функцией с разрывами в точках, соответствующим возможным значениям z₁, z₂ , … случайные величины ξ и величиной разрыва равной вероятности p_k в точке , т.е.

P.s. - я без понятия почему в скобке стоит +, но в учебнике написано так

Примеры:

• Распределение Бернулли

• Распределение Радемахера

• Биноминальное распределение

• Геометрическое распределение

• Распределение Пуассона

15. Свойства математического ожидания.

Свойство 1: Если ξ 0 с вероятностью 1 и математическое ожидание существует, то Еξ 0

Это свойство непосредственно следует из определения математического ожидания.

Свойство 2: Если P{ξ = a} = 1, то Еξ =a

т.е. если случайная величина равна константе с вероятностью равной 1, то её математическое ожидание равно этой же константе.

Свойство 3: Линейность. Е(αξ + βη) = αЕξ + βЕη

Свойство 4: Монотонность.

15. Дисперсия. Примеры вычисления.

Дисперсией случайной величины ξ называется величина

Свойства:

• Дисперсия неотрицательна

• Дисперсия не меняется при сдвиге

• Дисперсия является однородной функцией второго порядка

• Дисперсия суммы равна сумме дисперсия плюс удвоенная ковариация

Пример:

Найти дисперсию числа очков при одном подбрасывании кубика.

ξ: 1|2|3|4|5|6

p: | | | | | |

M(ξ)=3,5

15. Ковариация. Коэффициент корреляции и его свойства.

Ковариацией случайных величин ξ, η называется следующая величина

Свойства:

• Если ξ, η – независимые случайные величины, то

• Ковариация случайной величины с собой равна дисперсии

• Ковариация симметрична:

• В силу линейности математического ожидания ковариация может быть записана как

• Если α и β – числа, то

15. Случайные векторы. Функция совместного распределения. Дискретный тип. Абсолютно непрерывный тип.

15. Независимость случайных величин. Математическое ожидание произведения независимых случайных величин

Случайные величины с функциями распределения называются независимыми в совокупности, если функция их совместного распределения удовлетворяет равенству F(x₁,…,x_n) = F₁(x₁)*…* F_n(x_n) для всех значений x₁,…,x

Если случайные величины X и Y независимы, то E(XY) = E(X)E(Y) и, более-того, для широкого класса функций g(x) и h(y)

E(g(X) h(Y)) = E(g (X))E(g (Y))

15. Моменты старших порядков. Неравенство Йенсена, неравенство Ляпунова.

Моменты старших порядков:

• k-ый момент (или момент порядка k) -

• абсолютный k-ый момент X -

• центральный k-ый момент X –

• абсолютный центральный k-ый момент X -

15. Виды сходимости случайных величин.

24. Закон больших чисел. Неравенство Маркова. Теорема Чебышева.

24. Теорема Хинчина. Теорема Колмогорова.

Теорема Хинчина.

Пусть ξ₁, ξ₂, …, ξ_n – независимые, однако распределённые случайные величины с конечным математическим ожиданием, т.е. E| ξ_i | < ∞, E ξ_i = a. Тогда k последовательности применим закон больших чисел, т.е. по вероятности.

24. Центральная предельная теорема. Теорема Леви. Теорема Ляпунова.

24. Цепи Маркова. Конечномерные распределения. Уравнение Чепмена Колмогорова

24. Классификация состояний цепи.

24. Стационарное распределение. Теорема Маркова.

Теорема Маркова.

Если множество состояний цепи образует один класс существенных непериодических состояний, то для всех i.j = 1,…,N существует предел

Более того, для всех j = 1,…,N выполнены соотношения ,

Стационарное распределение.

24. Понятие выборки и генеральной совокупности.

Случайной выборкой объёма n, отвечающей случайной величине X с функцией распределения F(x), называется набор n независимых случайных величин X₁, X₂,…, X_n каждая из которых имеет распределение F(x)

Генеральная совокупность — это множество всех возможных элементов однородной совокупности. Из этого определения следует, что каждый элемент генеральной совокупности обладает характеристиками генеральной совокупности, но в силу воздействия на него множества случайных факторов эти характеристики в каждом элементе наблюдаются с некоторым отклонением.

24. Выборочная функция распределения. Теорема Гливенко. Теорема Колмогорова.

24. Выборочное среднее.

В качестве оценки для математического ожидания m = E(X) используется оценка , которая называется выборочным средним

Выборочное среднее является средним значением для эмпирической функции распределения.

24. Выборочная дисперсия.

Выборочная дисперсия – это оценка теоретической дисперсии распределения, рассчитанная на основе данных выборки.

Она характеризует среднеквадратичное отклонение выборочных величин от выборочного среднего

Выборочные дисперсии бывают: смещёнными и несмещёнными.

Формула выборочной дисперсии:

24. Точечное оценивание. Несмещенность, состоятельность, эффективность

Точечная оценка параметра a определяется ее оценкой , и ее точность характеризуется дисперсией оценки.

Несмещенной называется оценка = такая, что .

Состоятельной называется оценка параметра a такая, что .

Эффективной называется оценка такая, что , где — любая другая оценка параметра a.

24. Неравенство Рао-Крамера. Количество информации по Фишеру. Эффективные оценки

, где — оценка параметра , а – информационное количество Фишера (количество информации о , содержащееся в случайной величине X, равное .

Согласно неравенство Р.-К. среднеквадратичное отклонение оценки от оцениваемого параметра не может быть меньше величины, обратной к информационному количеству Фишера.

Несмещенная оценка , для которой неравенство Р.-К. обращается в равенство, будет эффективной, т.е. такая оценка имеет мин. дисперсию.

24. Квантили. Вариационный ряд

Квантиль– значение, которое заданная случайная величина не превышает с фиксированной вероятностью.

Вариационный ряд– набор упорядоченных случайных величин.

Дискретным вариационным рядом называют упорядоченную совокупность значений случайной величины с соответствующими им частотами или относительными частотами.

Интервальным вариационным рядом называют упорядоченную совокупность интервалов варьирования значений случайной величины с соответствующими частотами или относительными частотами попаданий в каждый из них значений величины.

24. Метод моментов. Выборочный метод.

Метод моментов заключается в том, что любой момент случ. величины зависит от параметра . Но тогда и параметр может оказаться функцией от теоретического -го момента. Подставив в эту функцию вместо неизвестного теоретического -го момента его выборочный аналог, получим вместо параметра 𝜃 оценку .

Пусть – выборка объема из параметрического семейства распределений . Выберем некоторую функцию так, чтобы существовал момент . Тогда в качестве оценки для возьмем решение уравнения .

Суть выборочного метода заключается в том, что для оценки всей совокупности необходимые сведения собираются из определенного числа наблюдений из этой совокупности.

24. Метод максимального правдоподобия

Функцией правдоподобия для случайных наблюдений с плотностью распределения называется функция

.

Оценкой параметра θ, построенной методом максимального правдоподобия по наблюдениям , называется оценка , определяемая равенством

.

24. Оценки параметров линейной регрессии

Имеется зависимость

Предполагается, что являются одинаково распределенными независ. случ. величинами (iid), независящими от величин , которые интерпретируются как ошибки измерения. В свою очередь величины тоже являются независимыми со средним ноль ( ) и конечной дисперсией ( ). По наблюдениям значений пар случайных величин нужно определить параметры . Такая модель называется простой линейной регрессией.

Оценки параметров: ,

24. Доверительный интервал

– неизвестный параметр распределения случ. величины , и – некоторое число между [0, 1], а – две случ. функции от выборки .

Интервал ( , ) называется доверительным интервалом для оценки параметра , отвечающим доверительной вероятности , если .

Доверительный интервал для среднего с известной дисперсией имеет вид ( ; ), где — это квантиль нормального распределения уровня .

таблицы, с помощью которых по значениям α и можно определить такое число , что . – квантиль порядка распределения Стьюдента с степенями свободы, поскольку .

Таким образом, доверительный интервал для среднего с неизвестной дисперсией принимает вид:

24. Проверка статистических гипотез. Общие положения. Ошибки первого и второго рода

Статистическая гипотеза — любое предположение о распределении ген. совокупности.

Гипотеза наз. простой, если она однозначно определяет распределение ген. совокупности. Иначе она сложная.

Предположим, что функция распр. случ. величины нам неизвестна, но мы располагаем случ. выборкой По наблюдениям выборки мы хотим дать ответ на вопрос: совпадает ли функция распределения с некоторой наперед заданной функцией распределения или нет. При постановке такой задачи говорят, что речь идет о проверке статистической гипотезы.

Используя наблюдения выборки, нужно либо принять гипотезу о том, что функция распределения совпадает с заданной функцией распределения , либо ее отвергнуть. Правило принятия одного из этих двух решений называется статистическим критерием.

Вероятность ошибки I рода — вероятность отвергнуть гипотезу при условии, что она верна.

Вероятность ошибки II рода — вероятность принять гипотезу , при условии, что верна гипотеза .

24. Лемма Неймана-Пирсона…

Лемма Неймана-Пирсона– утверждение о том, что в задаче проверки простой статистической гипотезы против простой альтернативы критерий, основанный на отношении правдоподобия, является наиболее мощный.

Критерий Неймана-Пирсона. Согласно этому критерию, выбирается такое правило, которое обеспечивает минимально возможную величину вероятности ошибок второго рода при условии, что вероятность ошибки первого рода не больше заданной величины .

Проверка гипотезы о генеральном среднем с известной дисперсией. В качестве 0-ой гипотезы возьмем , в качестве альтернативной гипотезы – одну из трех: , или .

В качестве статистики критерия можно взять функцию

(1), где – выборочное среднее, найденное по выборке .

Алгоритм:

1. Выдвигаем нулевую гипотезу и одну из альтернативных;

2. Задаем уровень значимости критерия ;

3. Вычисляем значение статистики по формуле (1);

4. Находим критическую область, соответствующую каждой из альтернатив. В случае, когда , рассматривается правосторонняя критическая область – ( ), где – квантиль уровня стандартного нормального распределения. В случае же, когда , рассматривается левосторонняя критическая область – интервал ( ), где – квантиль уровня α стандартного нормального распределения.

24. Критерий Пирсона

Критерий Пирсона, или критерий (хи-квадрат) — применяют для проверки гипотезы о соответствии эмпирического распределения предполагаемому теоретическому распределению при большом объеме выборки . Использование критерия предусматривает разбиение размаха варьирования выборки на интервалы и определения числа наблюдений (частоты) для каждого из интервалов. Для удобства оценок параметров распределения интервалы выбирают одинаковой длины. Число интервалов зависит от объема выборки.

Для проверки вводится статистика: (t–theor, e–emp)

, где – предполагаемая вероятность попадания в ый интервал, – соотв. эмпирическое значение; – число элементов выборки из го интервала; – объем выборки.

Правило критерия: если полученная статистика превосходит квантиль закона распределения заданного уровня значимости с или с степенями свободы, где – число наблюдений или число интервалов, а – число оцениваемых параметров закона распределения, то гипотеза отвергается; в противном случае гипотеза принимается на заданном уровне значимости .

24. Критерий Колмогорова

Критерий Колмогорова– непараметрический критерий согласия, в классическом понимании предназначен для проверки простых гипотез о принадлежности анализируемой выборки некоторому известному закону распределения. Наиболее известно применение данного критерия для проверки исследуемых совокупностей на нормальность распределения.

В основе лежит статистика вида , где – точная верхняя грань множества , – функция распределения исследуемой совокупности, — функция нормального распределения.

Интерпретация значения критерия Колмогорова: если статистика значима ( ), то гипотеза о том, что соответствующее распределение нормально, должна быть отвергнута.