Закон больших чисел:

Мы говорим, что последовательность случайных величин x₁,…x_n, одинаково распределенных, удовлетворяет закону больших чисел, если

(2), когдаn. Среднее сходится по вероятности.

Теорема:Если случайные величины имеют конечную дисперсию (DX<) – независимы и одинаково распределены, то они удовлетворяют закону больших чисел. Выполняется соотношение (2). Они удовлетворяют сходимости по вероятности.

Док-во:

Соотношение (2) можно переписать: , поэтому достаточно показать, чтоDлевой части0, и можно считать, чтоEx_i=0, тогда нужно доказать, что, раскроем скобки и заметим, чтоEсмешанных произведений =0, т.к.Exy=ExEy=0.

Т.о. , тогда среднее арифметическое стремится к 0. Ч.т.д.

Рассмотрим частный случай закона больших чисел Бернулли.

Пусть существует схема Бернулли.

p– вероятность успеха одного испытания.

x₁,…,x_n,x_i={1,p– успех вiиспытании; 0,q– неудача}, тогда число успехов:x=ⁿ_i=1x_i– это независимые одинаково распределенные величины.

^m/_n– частота успеха

- закон больших чисел Бернулли.

Закон больших чисел:

приминимо =½, при>½ будет0

при ½ будет предел в каком-то смысле

при ½ - бесконечные колебания.

7. Вывод закона больших чисел, через характерные функции.

Ex_i=m;Dx_i=²<, основное предположение

(n)

Имея характеристические функции можно доказать, что E(x_i)<(не нужно условиеDx_i<), при этом выполняется закон больших чисел.

Рассмотрим

Пусть Ex_i=0

Обозначим через f_nхарактеристическую функцию.

Через f– характеристическую функциюx₁(они одинаковы), используя свойство характеристических функций получимf_n(t)=fⁿ(^t/_n).

Возьмем ln

lnf_n(t)=nlnf(^t/_n)= свойство характеристических функций по формуле Тейлора =

=n[ln(1+0(¹/_n)]=n[0(¹/_n)]=0(1)

lnf_n(t)0 тогдаf_n(t)1=e^it0

т.е. f_n(t) стремится к характеристической функцииx=0.

Т.е. функция распределения p(<x)F(x) приn

Функция распределения, у которой x=0

это F(x)={1,x>0; 0,x<0}

т.е. функция распрделения разрывна в нуле, тогда

p(||<)F()-F)=1, т.к.F()=1,F()=0

Вероятность противоположного неравенства будет сходится к 0. ч.т.д.

8. Понятие о центральной предельной теореме.

Пусть x₁,…,x_n– независимые случайные величины, одинаково распределенные.

Обозначим Ex_i=m,aDx_i=², тогда:

1. нормальная случ. величина со средним 0 и дисперсией 1

- будет сходится при любыхx, где Ф(х)=

2. sup_x|

sup_x|

Интегральная теорема Муавра-Лапласа – это частный случай, следствие теоремы Леви.

В схеме Бернулли мы вводим

X_i={1, успех вi-том испытании; 0, неудача вi-том испытании}, тогдаx_iнезависимы, одинаково распределены.

Ex_i=p;Dx_i=pq

ⁿ_i=1x_i=m– суммарное число успехов.

Получаем по теореме Леви

Доказательство:

1. Пусть m=0,²=1 (мат.ожидание=0, дисперсия=1)

тогда P(, тогдаEX₁=0;DX₁=1

Пусть f(t) – характеристическая функция случайной величиныx. Обозначим черезf_n(t) – характеристическую функцию для

2. Как связаны f(t) иf_n(t)

x₁f(t) по свойству линейного преобразования

^X1/_n=f(^t/_n), чему соответствует сумма, если слагаемы независимы?

fⁿ(^t/_n) это значитf_n(t)=fⁿ(^t/_n)

3. Надо доказать, что она стремится к характеристической функции.

Если мы прологарифмируем, то nlnf(^t/_n)-t²/2

4. Докажем, что lnfⁿ(^t/_n) -t²/2

к характеристической функции применяем разложение в ряд Тейлора, где будет Е=0, тогда применим еще раз разложение Тейлора к ln, получим

=, это означает, чтоf_n(t)

по свойству непрерывности получаем f_n(t)равномерно сходится к функции распределения, т.е. сходимость есть в каждой точкеx.

Мы доказали для случая E=0,D=1

Для общего случая:

P(, обозначим черезy_i=, тогда получимP(Ф(x)

y_i– обладают теми же свойствами, что и в пунктеa)

т.к. Ey_i=

Dy_i=Dx_i/²=1

9. Свойства характеристических функций.

Характеристическая функция случайной величины х – это есть мат.ожидание e^itx

f(t)=Ee^itx=E(costx)+iE(sintx) – функция вещественных переменных, но с комплексными значениями. В частном случае – преобразование Лапласа.

Свойства характеристической функции:

Существует плотность распределения

f(t)=

f(t)=

когда есть плотность, то dF(x)=p(x)dx, когда дискретные:dF(x)=F(x⁺)-F(x)=P(X=x)

Для дискретных x:f(t)=ⁿ_j=1e^itx_jp(X=x_j)

1. f(0)=1

2. |f(t)|<1, т.к.|e^itx|<1

|EX|<E|x|

3. Пусть y=ax+b, где a,b – const, тогда f_y(t)=e^itbf_x(at), т.к. f_y(t)=Ee^it(ax+b)=Ee^i(ta)xe^itb=e^itbf_x(at)

4. Если случайные величины x,y – независимы, то f_x+y(t)=f_x(t)f_y(t), т.к. f_x+y(t)=E(e^it(x+y))= =E(e^itxe^ity)=Ee^itxEe^ity= f_x(t)f_y(t)

Вполняется для любого количества независимых случайных величин.

Существует x₁,…,x_n– независимых случайных величин

S_n=x₁+…+x_n, тогда f_Sn(t)=Пⁿ_i=1f_Xi(t)

5. a) ПустьE|x| - конечна иf(t) - это характеристическая функция, тогдаf(t) дифференцируема и производная =

f`(t)|_t=0=iEx

b) ЕслиE|x|²– конечна, то функцияf(t) – дважды дифференцируема:

f `(t)|_t=0=iEx,

f ``(t)|_t=0=-Ex²

c) ЕслиE|x|ⁿ– конечна, функцияf(t) –nраз дифференцируема:

f⁽ⁿ⁾(t)|_t=0=(i)ⁿExⁿ

В случае aсуществует разложениеf(t)=1+iExt+0(t)

В случае bсуществует разложениеf(t)=1+iExt-Ex²t²/2+0(t)

В случае cсуществует разложениеf(t)=1+iExt-Ex²t²/2+…+(i)ⁿExⁿtⁿ/n!+0(t)

Доказательство:

1. f `(t)|_t=0=iEx

E– это интеграл, поэтому, когда мы берем производную по интегралу, по параметру – когда интеграл равномерно и абсолютно сходится, то дифференцирование под знаком интеграла.

Надо проверить:

Продифференцировать, будет ли такой интеграл равномерно сходится.

E|ixe^itx|=E|x| - пусть плоское распределение.

E|x|=, сходится равномерно, если интеграл по множеству, гдеx>Aилиx<-Aстремится к 0, когдаA.

Это выполняется, т.к. это свойство любого интеграла.

Следовательно f`(t)=E(ixe^itx)=iEx, еслиt=0

b,c) точно также доказывается, что можно дифференцировать под знаком интеграла.

f ``(t)=E(-x²e^itx)=-Ex² при t=0

f⁽ⁿ⁾(t)=E((ix)ⁿe^itx)=(i)ⁿExⁿ при t=0

a,b,c) Вторая часть это разложение по формуле Тейлора с остаточным членом в форме Пиано.

6. Между функциями распределения и характеристическими функциями существует взаимнооднозначное соответствие: каждой характеристической функции соответствует 1 функция распределения и наоборот.

F(x)f(t)

7. Свойство непрерывности.

2 свойства равносильны

F_n(x)F(x) в каждой точке, сходимость слабая равносильна

f_n(t)f(t), сходимости характеристических функций в каждой точке.

8) Обозначим через tхарактеристическую функцию стандартного нормального закона.

Это значит,, тогда характеристическая функция

Доказательство:

Обозначим

= ==

С другой стороны ^`(t)=

Получим дифференциальное уравнение.

`(t)=-t(t) - оно имеет следующее решение.

=-tПроинтегрируем

ln(t)=-t²/2+C

(t)=C- какая-то постоянная

Пусть t=0(t)=1 1 – это постоянная =>

(t)=C, т.е.(t)=, ч.т.д.

10. Свойства производящих функций

Пусть существует X- случайная величина дискретного типа, то есть принимает значениягдеXцелочисленное 0,1,2,…,kс вероятностямиp₀,p₁,…p_k, тогда производящей функцией мы называем,

где Z- комплексная переменная, аX– случайная величина.

Свойства производящих функций:

1)

2)

3)Возьмем - разложим в ряд Тейлора в точке (0).сравним (1) и (2).

По производящей функции можно восстановить вероятности p_k.

4)

Если от в (1) брать производные так какприможно брать любые производные.

приZ>1 тогда приZ=1

Необходимо, чтобы правая часть была конечна.

Частный случай:

5) Если Y=aX+bто(следует из определения)

6) Если случайные величины X,Y–независимы, то

гденезависимы.

Пример:

1. Вычислить производящую функцию распределения Пуассона.

Случайная величина принимает значения.

гдеk=0,1,2,… тогда

где

Следствие:

Пусть -n– независимых случайных величин, которые имеют распределение Пуассонаcпараметром., тогдаYтоже имеет распределение Пуассона с параметром.

Мы получили

2. Пусть. Найти закон распределения, который соответствует данной производящей функции.

еслиn>2; то производная 0

Случайная величина принимает значение 0, 1, 2, с вероятностями

3. Производящая функция называется производящей функцией момента (т.к. м. вычислить момент).

Вычислить для распределения Пуассона с параметром.

Для распределения Пуассона получим формулу.

11. Свойства семейства - распределений

- обозначениеГ– семейства.

для целых

Если у XсуществуетГ– распределение, то легко считать мат. ожидание:

это естьГ– функция в точке

Свойства Г– функции:

Что произойдет если :

по свойству (1)

:

Свойство распределений.

Теорема:

Пусть существует две случайные величены (и)- они независимы, которые имеют- распределениеи существует две другие случайные величины

Тогда - независимы, и мы знаем их распределение.

-имеет- распределение:

-имеет- бета распределение.

Для бета распределения:

где

Вспомним теорему:

1) Пусть существует и, тогда

у нас - независимы

тогда:

надо из уравнения (2) выразить через= перемножив их получим:

Напишем

- меняется от 0 до,меняется между 0 и 1

Пусть >0 ,

это было бы - распределение если бы внутри стояло бы

Частный случай - распределения является распределение хи-квадрат распределение

- распределение сстепенями свободы.

- это распределение квадрата стандартной нормальной случайной величины

- имеет

-плотность, дифференцируем

но- четная функция поэтому

подставим

_{, Y>0; q(Y)=0, Y<0}

Является ли -- распределением, если да, то с какими параметрами.

тогдаимеет

- распределениенезависимых нормальных случайных величин

имеет

- не меняется:_{=1/2; p=n/2.}

12.  - распределение, связь с порядками статистики

- распределение это распределение с плоскостью

где

Распределение порядковых статистик:

Пусть существует независимых случайных величин, каждая из которых имеет равномерное распределение

Расположим эти величины в порядке возрастания:

- называется-ая порядковая статистика.

- имеетраспределение с некоторыми параметрами.

p_i(X) – непрерывная плотность распределения

q_i(X) – плотность распределяетсяX_(i).

-ая порядковая статистика попадает в этот интервал, оказывается, что попадает только 1 случайная величина, если 2 случайные величины – то меньше.

Пусть попала 1 случайная величина - это есть - ая порядковая статистика.

Вероятность попадания в

Д.б. чтобы первого исхода было , второго – 1, третьего –n-i.

для -ой порядковой статистики. В частности, если равномерное распределение, то

тогда - распределение.

Экспоненциальные семейства:

Вектор принадлежит семейству экспоненциального распределения, если имеет плотность распределения:

- нелинейные функции от аргумента.

- параметры

- случайный вектор.

13. Выборка, соответствие между теоретическими и выборочными характеристиками. Пример.

Генеральная совокупность.

Выборка – число измерений.

На основе выборки можно сделать выводы о генеральной совокупности.

Термины: Генеральное распределение, выборочное распределение, теоретическое распределение.

Пример:как по выборочному распределению оценить теоретическое.

Пусть xимеет(x,) – дискретное непрерывное распределение,- параметр.

Дальше мы наблюдаем (x₁,x₂, …x_n) – выборка, тогда по выборке можем сделать выводы о параметрах.

1. (x₁,x₂, …x_n) – независимые случайные величины, или случайные величины.

x=(x₁,x₂, …x_n)cфункцией распределенияF(x), либо неизвестной, либо частично известной.

Пусть F(x,) – частично известна, т.е. известно к какому семейству принадлежит функция распределения.

p(x,) – плотность распределения.

Выборка – то, что наблюдается непосредственно (1) и задача - сделать выводы на основе выборке о p(x,),F(x,).

Пусть это случайные величины, с другой стороны это набор чисел. x₁,x₂, …x_n

По нему мы составляем вспомогательную случайную величину^

X^*:x₁,x₂, …x_n

¹/_n ¹/_n ¹/_n

Каждое из выборочных значений принимается с вероятностью ¹/_n.

Если по х^*построим функцию распределения:F^*(x)=_xi<xp_i=^m(x)/_n– выборочная функция распределения.

m(x)=ⁿ_i=1(x_i<x) - число наблюдений.

Выборочная функция распределения – это случайная функция т.к. она зависит от выборки, а выборка – это случайная величины.

Теорема Гливенко:ЕслиF(x) – непрерывна, тоSup|F^*(x)-F(x)|0 (n)

Доказательство:Надо доказать для любогоx,F^*(x)F(x) – это следствие закона больших чисел Бернулли:

Пусть х – фиксированное, введем схему Бернулли. Если i-й элемент выборки <x– это успех, иначе неудача.

Частота успеха ^m/_npm– число успехов.

Тогда m=m(x), а вероятность успеха в отдельном испытанииp=P(x_i<x)=F(x), т.е.F^*(x)F(x).

Теорема Колмогорова:

P(nsup|F^*(x)-F(x)|<z)k(z), гдеk(z)=^_l=-(-1)^lexp{-2l²z²};z>0.

Можно считать, что F^*(x)F(x)

Если мы интересуемся мат. ожиданием, то мы должны вычислить мат.ожидание F^*(x) и получаем набор кандидатов и оцениваем характеристики.

В качестве оценки для m=EX=_-^xdF(x) возьмём:

m^*=_-^xdF^*(x)=ⁿ_i=1x_ip_i^*=¹/_nⁿ_i=1x_i=x– среднее арифметическое.

Т.о. можем считать оценкой для Eслужит среднее арифметическое.

F(x)	M	EXk=mk	DX
F*(x)	x	mk*=1/nni=1xik	S2=1/nni=1(xix)2= =1/nni=1(xi)2x2

Для вычисления EX^k– те же рассуждения.

DX=EX²-(EX)²=¹/_nⁿ_i=1x_i²¹/_nⁿ_i=1x_i)²

k=cov(x,y)

k^*=¹/_nⁿ_i=1(x_ix) (y_iy)=¹/_nⁿ_i=1(x_iy_i-xy)