19. Различие двух простых гипотез. Байесовский подход. Теорема об оптимальном правиле

Имеется источник информации(И) и получатель(П). Источник посылает через каналы связи сигналы(S=0 или S=1) получателю. На сигнал также накладывается помехи(), которые имеют случайный характер.– случайная величина имеющая нормальный закон распределения с параметрами 0 и. Получатель же на выходе имеет таким образом нельзя достоверно выяснить какой сигнал был посланS=1 или S=0 . Источник повторяет n раз сообщение, в результате получатель на выходе имеет значения . По этим значениям получатель должен сделать выбор между двумя гипотезами:

. Нужно найти правило по которому получатель мог бы выносить решения для любыхо верности той или иной гипотезы. При конструировании решающего правила, т.е при разбиенииn-мерного пространства на Г₀ – те значения и Г₁ – значения , необходимо воспринимать значениякак одну из множества возможных реализации независимых случайных величин. В этом случае гипотезыH₀ и H₁ превращаются в гипотезы относительно распределения независимых случайных величин . ТогдаH₀ означает, что распределение нормальное , аH₁ ,что распределение нормальное . При разбиениивозможны ошибки 2х родов: 1) принять гипотезуH₁ в то время как верна гипотеза H₀ 2) принять гипотезу H₀ в то время как верна гипотеза H_1.

Байесовский подход: пусть появление H₀ или H₁ –событие случайное. Пусть H₀ появляется с вероятностью , а H₁ с вероятностью . Пусть также за ошибку 1го рода платиться штраф а за ошибку 2го рода штраф. Считаем средний штраф (средний риск)R(Г), который платиться при использовании решающего правила, определяемого разбиениме Г. При истинности гипотезы H₀ правило ошибается с вероятностьюи при каждой ошибке платиться штраф, при истинностиH₁ соответсвенно ошибается с и штраф. Получаем:

Оптимальное Г₀ имеет вид .

Док-во: - произвольное разбиение.

Минимизирую по различным ’.Первый интеграл остается постоянным а второй меняется. Относительно каждогоx нужно решить включать его или нет, решается просто если x такое что то его нужно включить в Г₀ , т.к это уменьшит интервал, а если наоборот то не нужно. В итоге получаем оптимальную область решения:

что аналогично ф-ле, которую нужно было доказать.

Теорема: оптимальным правилом разбиения Г(Г₀,Г₁) называется такое при котором при условиизаданный уровень где

20. Различие двух простых гипотез. Подход Неймана-Пирсона. Теорема об оптимальном Правиле.

21. Последовательный критерий Вальда. Связь порогов с вероятностями ошибок.

22Последовательный критерий Вальда. Тождество Вальда. Среднее число наблюдений

24. Линейный регрессионный анализ. Оценка дисперсии. Доверительные интервалы для коэффициентов регрессии. 

25. Метод статистических испытаний Монте-Карла(идея, области применения, способы вычисления интегралов)

26. Метод статистических испытаний Монте Карло.

Идея – стара, восходит по меньшей мере к испытателю Бюффону(Жорж Луи Лекрерк 1707-1788)

Он заметил, что если иголку бросать случайным образом на разлинованную плоскость, то посчитывая количество пересечений ее с линиями(вернее посчитывая долю пересечений среди всех бросаний), можно вычислять число π.

Пусть х – расстояние от центра иглы до ближайшей прямой: 0≤x≤l/2, ϕ – угол наклона.

1 ϕ

х

1

Вероятность пересечения: P=P{x<l/2 cos ϕ}= 2l / π. Действительно x и ϕ – независимые сл. Вел, распределенные равномерно. (х, ϕ) – распределена равномерно в прямоугольнике.

P=S_∩ / S□ =

Проделав много N бросаний среди которых M закончились пересечений линий, оценив вероятность p ≈=M/N. Можно оценить π = 2l/. Область применения методов можно разделить на две части:

1-я область: собственно задачи вычислительной математики: вычисление интегралов, обращение матриц, решение слау, решение уравнений в частных производных и другие задачи. Находится случайный процесс или случайная величина, статистическая характеристика которой равна интересующей нас величине.

Пример 1. Вычисление y=

1способ. Случайная величина ξ ` R[a,b]. => η = f(ξ) имеет мат ожидание M η = y/(b-a).

Имея много реализаций ξ, можно оценить значение матожидания величиной и приближенным значением дляy является .

Линейно деформируем отрезок и функцию так чтобы:

1. Отрезок [a,b] перешел в [0,1]

2. 

3. 

2способ.Пусть (ζ,η) – случайная точка в квадрат. Вероятность попасть в заштрихованную область . ПроводимN бросаний, M раз попали. является оценкой интеграла. Формально пусть тогда =

Пример2. Интегралы вида J=линейной заменой можно привести к видуJ=

К этому виду можно привести также интеграл простым преобразованием

Если ξ - случайная величина, имеющая плотность p(x), то J= Мξ), и тогда J. Многомерные интегралы вычисляются аналогично. Чем больше размерность интеграла, тем быстрей он считается методом статистического моделирования, по сравнению с численными методами.

2-ая область: моделирование случайных процессов и явлений с целью выяснения их статистических характеристик. Та область характерна следующим. Имеется математическое описание случайных явлений; вообще говоря, характеристики, в принципе, можно вычислить через интегралы, функцию, дифференциальное уравнения в частных производных итд. Но сделать это очень трудно. В этих случаях придумывать случайные процессы (как в первой области) для моделирования не надо: он задан самой задачей и его то и надо реализовать. Примеры:

А) вычисление распределений случайных величин. Заданы случайные величины ξ₁ , … ,ξ_n с плотностью f1(x), … , fn(x); пусть η = Ф(ξ₁ , … ,ξ_n ), где Ф(.) – не извесна. Нужно вычислить распределиние для η: F_n (y)

Например: ξ₁ , ξ₂ ,ξ₃ , η = 2 ξ₁ + , где ξ₁ ` N(0,1), ξ<sub>2</sub> ` N(1,2),ξ₃ ` N(2,3). Для решения нужно много раз разыгрывать серии ξ₁ , ξ₂ ,ξ₃

Моделирование сложных вероятностных процессов физики, химии, техники, систем управления с целью выяснения их качества, например стрельба по многим целям из совокупности орудий, находящихся на различном расстоянии и имеющих различную вероятность поражения. Вычислить такие характеристики, как распределение времени на уничтожение целей(или среднее время уничтожения), распределение числа залпов до уничтожения – практически не возможно. Записать в формальном виде эти характеристики, хотя вероятностный процесс задан, весьма трудно. Проделывать физический эксперимент – весьма накладно. Разумный способ в проведении статистичесекого эксперимента на цифровой модели.

Точность метода. Выбор числа испытаний

При реализации метода Монте-Карло возникает вопрос о числе испытаний N. Пусть ξ₁ , … ,ξ_n – независимые наблюдения, причем M ξ_i = m, i=1..N. рассматривается оценка = для m. Требуется выбрать N таким образом, чтобы погрешность σ = была по модулю не больше допустимой величиы σ₀ с вероятностью не меньше заданной p₀ , то есть p{ (1)

Для решений необходимо оценить вероятность в левой части неравенства как функцию N. С этой целью можно использовать неравенство Чебышева или центральную предельную теорему. Неравенство Чебышева:

p{ (2)

сравнивая (1) и (2), получаем, что tнужно выбрать из равенства , а затем изNиз равенства

получим N=t²D/=D/((t- )) (3)

Используем центральную предельную теорему:

p{, сравнивая (1)и (3), получаем, чтоtнужно выбрать из равенства