terver_23-60

Производную суммы искать ощутимо проще чем производную произведения, а точки экстремума у 6 и 7 совпадают

Пример.

0 1

mn

Получили ту же самую оценку для вероятности что и при методе моментов - относительную частоту события.

Зам. Если оцениваемых параметров несколько, метод по сути не меняется.

L(Θ1; : : : ; Θl) = A(P1n1 (Θ1; : : : ; Θl)P2n2 (Θ1; : : : ; Θl)Pknk (Θ1; : : : ; Θl))

(b)Непрерывная случайная величина Рассмотрим общий случай - k-мерную непрерывную случайную величину с плотностью p(x1; x2; : : : ; xn). Вокруг т. xi возьмем некоторый интервал dxi. Вероятность попасть в k-мерный параллелепипед с центром в т.(x1; x2; : : : ; xn) и с ребрами длины dx1; : : : ; dxk равна

Далее аналогично.

Достоинства метода:

•Уравнение максимального правдоподобия имеет решение, которое является состоятельной оценкой для оцениваемого параметра.

•Оценка является асимптотически эффективной для оцениваемого параметра.

11

•Решение уравнения максимального правдоподобия является асимптотически нормальным распределением. Это значит что при n → ∞ распределение стремится к нормальному.

•Если у параметра существует эффективная оценка, то она будет получена методом максимального правдоподобия.

Недостатки метода:

•Оценка по методу максимального правдоподобия может оказаться смещенной.

•Громоздкость метода.

12

3ОСНОВНЫЕ РАСПРЕДЕЛЕНИЯ

3.1Квантиль и квартиль

Квантилью порядка p функции распределения F(x) называется обратное распределение p = F −1(p). То есть F ( p) = p. 0<p<1. Нарисовать график функции распределения и показать где откладывается квантиль (на оси Ox). Медиана - квантиль порядка 1/2. Квартиль - квантиль порядка 1/4 или 3/4.

3.2Основные распределения теории вероятностей

Напомним основные распределения тервера, потому что они активно будут использоваться в дальнейшем в рамках данного курса.

Нарисовать графики плотностей и функций распределений.

1. Равномерное распределение. Характеризуется равной вероятностью в лю-

13

бой точки отрезка. Пример: равномерной случайной величиной на [a,b] является координата случайно выбранной точки на отрезке.

2.Показательное распределение. Характеризуется свойством отсутствия памяти:

P(x1 < < x1 + ∆x) = 1 − e− ∆x = P(x2 < < x2 + ∆x)

Пример: Время работы большинства современных технических устройств. Вероятность, что телевизор проработает еще год одинакова, несмотря на то сколько он уже проработал: хоть 1 год, хоть 10 лет.

3.Нормальное распределение. Характеризуется наибольшей вероятностью средних значений и уменьшения вероятностей при смещения к крайним значениям. Пример: считается, большинство реальных случайных величин распределены по нормальному закону.

Стандартизация нормального распределения: Приведение к стандартному нормальному распределения N(0,1).

.

Эти распределения интересны нам именно потому, что они моделируют многие явления реальной жизни и могут использоваться как приблизительные распределения рассматриваемых в статистике наблюдений.

3.3Основные распределения статистики

0; 1; : : : ; n - независимые стандартизованные нормально распределенные случайные величины. ( i N(0; 1))

•Величина 2n = 12 + · · · + n имеет распределение хи-квадрат с n степенями свободы. Обозначается 2(n − 1).

степенями свободы (t-распределение).

14

свободы n1 и n2.

Плотности этих величин могут быть найдены в явном виде, однако они довольно громоздки и не используются в дальнейшем, так как все эти распределения протабулированы. Это значит что есть таблицы, по которым можно найти любую квантиль распределения по заданному x и степеням свободы.

Доказательство. Следует из определения распределения Фишера и теоремы 1.

15

По определению распределения Фишера:

/

16

4ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ

4.1Постановка задачи

Как я рассказывал на 2ой лекции, кроме точечных оценок бывают еще интервальные. К ним относятся оценки, представляющие из себя целый интервал, то есть множество значений. Точечные оценки в подавляющем большинстве случаев не совпадают с оцениваемым параметром, на практике обычно бывает интереснее найти интервал, в который оцениваемая величина попадает с заданной вероятностью. В интервальных оценках задается вероятность, называемая надежностью, на основе которого вычисляются 2 числа: начало и конец интервала. Говорят, что оцениваемый параметр попадает в полученный интервал с вероятностью, равной надежности.

x1; x2; : : : ; xn - выборка наблюдений. Тогда на основании выборки вычисляет-

ся Θ(x1; x2; : : : ; xn) и Θ(x1; x2; : : : ; xn), такие что P(Θ < Θ < Θ) = . И интервал [Θ; Θ]

будет называться интервальной оценкой параметра Θ с заданной надежностью . Его еще также называют доверительным интервалом.

4.2Методы построения доверительного интервала

Существуют разные методы построения поставленной задачи. Наиболее известны 2 подхода:

1.Метод Байеса

2.Метод доверительных интервалов Неймана

Про метод Байеса я рассказывать не буду, скажу только что в его основе лежит формула Байеса, которую мы проходили в курсе тервера.

Далее я более подробно расскажу про метод Неймана, который мы будем в дальнейшем использовать для построения доверительного интервала. Рассмотрим оцениваемый параметр Θ. Θn - его статистическая оценка. Θn можно рассматривать как случайную величину с некоторой плотностью. Задаем 0 < < 1 - надежность для доверительного интервала (обычно берется близким к 1). Далее строим график зависимости оценки от оцениваемого параметра. 1(Θ); 2(Θ) - таким образом построенные линии, что P ( 1(Θ) < Θn < 2(Θ)) = . D - область между 1 и 2.

с надежностью . Тогда Θ = 1−1(Θ), Θ = 2−1(Θ).

Зам. Исходя из условия P ( 1(Θ) < Θn < 2(Θ)) = доверительный интервал строится неоднозначно. Дополнительным критерием для выбора 1 и 2 является то, чтобы интервал ( 1−1(Θ); 2−1(Θ)) был наиболее узким.

Зам. Кроме двусторонних интервалов рассматривают и односторонние, когда 1 и 2 заменяются на крайние значения (±∞; 0; : : : ).

17

4.3Построение доверительного интервала для математического ожидания при известной дисперсии 2 нормально распределенной генеральной совокупности

N(a; ) Надо построить доверительный интервал для a, если известно. Имеется выборка x1; x2; : : : ; xn. Каждое xi можно сопоставить с i N(a; ). Рассмотрим тогда выборочное среднее как случайную величину. Сумма нормально распределенных случайных величин - тоже нормально распределенная случайная величина. Следовательно x N(a1; 1). Найдем a1 и 1.

надежность 0 < < 1. Обычно она берется близкой к 1 (0.9, 0.95, 0.99). Тогда можно

2Φ(t ) = . Φ(t ) = 2. Отсюда следует, что t - обратное значение функции Лапласа.

Если выражать через t через функцию распределения нормального стандартного распределения, надо помнить что F (x)N(0;1) = Φ(x)+ 12 . Отсюда Φ(x) = F (x)N(0;1) − 12 . Подставляя сюда вместо x t и учитывая 9, получаем

Следовательно t можно посчитать по таблицам квантилей функции Лапласа или стандартной нормальной функции распределения. Осталось найти сам доверитель-

x − a

Если находим односторонний интервал, то используем тот же принцип. P ( √ <= n

t ) = F (t ) = . В данном случае t = F −1( ).

18

4.4Построение доверительного интервала для математического ожидания при неизвестной дисперсии нормально распределенной генеральной совокупности

Вообще говоря, можно неизвестную дисперсию заменить ее оценкой (лучше несмещенной) и использовать метод, описанный в предыдущем пункте. Однако при небольших n данная замена может быть очень неточной, поэтому применяется другой подход, описанный далее.

Имеется выборка x1; x2; : : : ; xn. Вспомним смещенную оценку дисперсии: m2 =

Задаем надежность 0 < < 1. Обозначим плотность распределения Стьюдента с (n-1) степенями свободы через n−1(x) (чтобы не путать с квантилем). Тогда исходя

−t

Такая запись возможна, т.к. распределение Стьюдента симметрично. Отсюда t может быть вычислено. Нужно внимательнее обращать внимание на квантили распределения Стьюдента, где то они берутся для приведенного случая (как в Excel), где то надо приводить эту формулу к выражению через функцию распределения Стьюдента. (Нарисовать график плотности распределению Стьюдента и еще раз показать разницу между квантилем и выражением из уравнения). Как я говорил при описании общего метода построения доверительных интервалов Неймана, должен выбираться самый узкий интервал, из тех, что удовлетворяют условию. Но у распределения Стьюдента (как и у нормального распределения) наибольшая плотность содержится в середине распределения, и при движении к краям она уменьшается. Тогда можно показать, что симметричный относительно моды интервал распределения будет самым узким.

Зам. Этот метод применяется для небольших n<50, при больших n замена дисперсии ее оценкой является довольно точной, и поэтому применяется метод, описанный в предыдущем пункте пункте с заменой дисперсии на ее оценку.

19

4.5Построение доверительного интервала для математического ожидания в случае неизвестного закона распределения

Этот метод применяется только для большого размера выборки (n>50). При таком

n имеет место центральная предельная теорема, исходя из которой x = 1 ∑n

n i=1

пределена по нормальному распределению. Исходя из этого дальнейшие выкладки совпадают с описанными в п.1. В случае неизвестной дисперсии при большом n она может заменяться выборочной дисперсией m2. Тогда доверительный интервал примет вид

4.6Построение доверительного интервала для среднеквадратического отклонения и дисперсии в случае нормально распределенной генеральной совокупности.

2 и 2 выбираются неоднозначно. Отличие от распределения Стьюдента еще состоит в том, что распределение хи-квадрат не является четным (хоть и симметрично), следовательно нельзя брать 2 = − 2, как было в распределении Стьюдента. (нарисовать график плотности, площадь под графиком плотности должна равняться ). Однако можно показать, что самый узкий интервал будет симметричен относительно моды. Чтобы это условие выполнялось, подберем такие 2 и 2, чтобы площади