20. Основные понятия математической статистики.

МС – наука, которая изучает вероятностные свойства ГС.

Генеральная совокупность (ГС) – совокупность объектов, из которых производится выборка.

Задача МС : изучить вероятн-ые свойства генеральной совокупности.

Выборка – совокупность,случайно отобранных объектов (выборочная совокупность).

Числа выборки, упорядоченные по возрастанию,образуют вариационный ряд:

X ≤ X ≤ …≤ X

Статистики вида:

называются соответственно выборочным средним и выборочной дисперсией.

– несмещенная оценка DX (исправленная выборочная дисперсия)

Статистическая оценка – любая функция от выборки. Свойства статистической оценки:

1. Несмещенность

2. Состоятельность

3. Эффективность

Теорема: Оценки и – несмещенные, а оценка – состоятельная.

Доказательство: Сначала докажем несмещенность оценок. Нужно проверить, что M =a, M =σ .

По определению имеем

M =M = =a.

Далее,

M = , где

Выполним тождественные преобразования:

= = =

Далее воспользуемся тем, что MX = σ +a , и при M (X X )=MX ·MX ( случайные величины X и X независимы)

= σ +a )– =(1– ) σ , то есть M =σ .

Докажем состоятельность оценки . Для этого вычислим D :

D = → 0.

Если D и M → 0, то – состоятельная оценка параметра x.

21. Методы получения оценок: метод моментов и метод наибольшего правдоподобия, функция правдоподобия( дискретный и непрерывный случаи), примеры.

Метод моментов

Пусть x , x … x – независимая выборка из распределения с плотностью p(x; θ ,…, θ ), зависящей от параметров θ ,…, θ .

Определение: Интеграл вида

m ( θ ,…, θ )= называется теоретическим моментом порядка k, а статистика называется выборочным моментом порядка k.

Предположим, что при k=1,2….r, все теоретические моменты m ( θ ,…, θ ) конечны и что система уравнений m ( θ ,…, θ ), k=1,2,…,r однозначна разрешима, причем решение m ( b ,…, b ), k=1,2,…r дается непрерывными обратными функциями m . При этих условиях имеет место

Теорема о методе моментов. Оценки , получаемые как решения системы уравнений m ( b ,…, b ), k=1,2,…r состоятельны.

Пример 1. Найти методом моментов по выборке x , x … x точечную оценку неизвестного параметра λ показательного распределения с плотностью p(x)= λe (x >0).

Решение. Здесь неизвестный параметр один, поэтому вычисляем теоретический и выборочный моменты: m = = ,

Искомая оценка имеет вид .

Метод наибольшего правдоподобия

Случай непрерывных распределений

Пусть x , x … x – независимая выборка из непрерывного распределения с плотностью p(x; θ).

Определение 1: Функция вида L(x , x … x ; θ)=p(x ; θ)…p(x ; θ) называется функцией правдоподобия.

Определение 2: Оценкой наибольшего правдоподобия параметра θ называют число , которое находится из условия L(x , x … x ; )=max L(x , x … x ; θ)

При выполнении некоторых условий, смысл которых состоит в том, что p(x; θ) – достаточно гладкая функция, а интеграл =1 достаточно быстро сходится, оценка максимального правдоподобия обладает следующими свойствами:

1. она состоятельна

2. она асимптотически нормальна, т.е при больших n можно рпиближенно считать, распределение приближенно нормельным.

3. она асимптотически эффективна, т.е при больших n оценку можно считать близкой к эффективной.

Недостатком метода является то, что иногда оценки получаются смещенными.

Случай дискретного расределения

Определение 1: Пусть P( )=P , где – число из выборки, а – та случайная величина, которая приняла значение . Функция вида L(x , x … x ; θ)=P(x ; θ)…P(x ; θ) называется функцией правдоподобия в дискретном случае.

Оценкой наибольшего правдоподобия параметра θ называют число , которое находится из условия L(x , x … x ; )=max L(x , x … x ; θ).

Пример: Методом наибольшего правдоподобия найти оценку параметра λ распределения Пуассона P = , λ>0, – целые неотрицательные числа.

Решение. Составляем функцию правдоподобия L(x , x … x ; λ)=

И находим, что ее максимум достигается в точке = .

22. Доверительные интервалы, доверительная вероятность. Построение доверительных интервалов для математического ожидания нормального распределения (с известной и неизвестной дисперсией).

Пусть x_1, x_2,…,x_n — выборка из некоторого распределения с плотностью распределения p(x; θ), зависящей от параметра θ. Задача состоит в том, чтобы построить для θ доверительный интервал.

Опр: Интервал называется доверительным, если с вероятностью (1-α) неизвестный параметр θ попадает в этот интервал. Тогда (1-α) — доверительная вероятность.

Доверит. интервал для a при известном параметре σ.

Пусть x_1, x_2,…,x_n — выборка из N(a, σ), причем a неизвестно, а σ известно.

Построить доверительный интервал для a при заданной доверительной вероятности (1- a).

Для решения задачи воспользуемся следующим фактом.

Пусть X₁, X₂, X_n, — независимые случайные величины, распределение которых нормально с параметрами a и σ. Тогда случайная величина нормальна с параметрами a и . Для обоснования этого утверждения достаточно вычислить плотность распределения .

Статистика имеет нормальное распределение с параметрами (0,1)(стандартное нормальное распределение). Пусть — квантиль порядка стандартного нормального распределения. Тогда , следовательно

. Таким образом статистики задаются равенствами , , и доверит. интервал для a построен.

Доверит. интервал для a при неизвестном параметре σ.

Пусть x_1, x_2,…,x_n — выборка из N(a, σ), причем a и σ неизвестны.

Построить доверительный интервал для a при заданной доверительной вероятности (1- a).

,

Для решения воспользуемся теоремой: Пусть x_1, x_2,…,x_n — выборка из N(a, σ), Статистика имеет распределение Стьюдента с (n - 1) степенью свободы. (Без доказательства)

Построим, пользуясь этой теоремой, доверительный интервал для a. Для этого прежде всего заметим, что плотность вероятности распределения Стьюдента с (n - 1) степенью свободы является четной и положительной функцией x. Поэтому, если — квантиль распределения Стьюдента с (n - 1) степенью свободы порядка (то есть корень уравнения F(U) = , где F(U) — функция распределения Стьюдента с (n - 1) степенью свободы), то , следовательно,

,

.

Итак, , , и задача решена.

23.Доверительные интервалы для дисперсии нормального распределения случайной величины (с известным и неизвестным математическим ожиданием).

Доверительный интервал для σ при известном параметре a.

Пусть x_1, x_2,…,x_n — выборка из N(a, σ), причем σ неизвестно, а a известно.

Построить доверительный интервал для σ при заданной доверительной вероятности (1- a).

Воспользуемся тем, что статистика имеет распределение χ² с n степенями свободы. Пусть K_n(x) — соответствующая функция распределения, , — квантили этого распределения порядков и соответственно. Тогда

,

поэтому , , и задача решена.

Доверительный интервал для σ при неизвестном параметре a.

Пусть x_1, x_2,…,x_n — выборка из N(a, σ), причем σ и a неизвестны.

Построить доверительный интервал для σ при заданной доверительной вероятности (1- a).

Эту задачу будем решать так же, как предыдущую, только неизвестный параметр a заменим его оценкой . Тогда статистика тоже будет иметь распределение χ², но не с n, a с (n-1) степенью свободы. Пользуясь этим и рассуждая как в предыдущем пункте, получаем , , где , — квантили распределения χ² с (n-1) степенью свободы порядков и ( ) соответственно.