15 Повторение испытаний. Схема Бернулли и полиномиальная.

Если производится некоторое количество испытаний, в результате которых может произойти или не произойти событие А, и вероятность появления этого события в каждом из испытаний не зависит от результатов остальных испытаний, то такие испытания называются независимыми относительно события А. Допустим, что событие А наступает в каждом испытании с вероятностью Р(А)=р. Определим вероятность Рт,п того, что в результате п испытаний событие А наступило ровно т раз. Теорема. Если Вероятность p наступления события Α в каждом испытании постоянна, то вероятность того, что событие A наступит k раз в n независимых испытаниях, равна: , где . Доказательство Так как в результате независимых испытаний, проведенных в одинаковых условиях, событие наступает с вероятностью , следовательно противоположное ему событие с вероятностью . Обозначим — наступление события в испытании с номером . Так как условия проведения опытов одинаковые, то эти вероятности равны. Пусть в результате опытов событие наступает раз, тогда остальные раз это событие не наступает. Событие может появиться раз в испытаниях в различных комбинациях, число которых равно количеству сочетаний из элементов по . Это количество сочетаний находится по формуле: . При этом вероятность каждой комбинации равна произведению вероятностей: . Применяя теорему сложения вероятностей несовместных событий, получим окончательную Формулу Бернулли: , где . Схему независимых испытаний Бернулли еще называют биномиальной схемой, поскольку она рассматривает последовательности испытаний с двумя исходами. От нее можно перейти к более общей полиномиальной схеме последовательных независимых испытаний, в каждом из которых возможны исходов с вероятностями , , . В этом случае пространство элементарных исходов содержит таких событий. Вероятность того, что из испытаний закончатся первым исходом, – вторым исходом, …, – -ым исходом равна: .

16 Случайные величины, ф-я распределения. Случайной называется величина, которая в результате испытания может принять то или иное возможное значение, неизвестное заранее, но обязательно одно. Различают дискретные и непрерывные случайные величины. Если множество возможных значений случайной величины конечно или образуют бесконечную числовую последовательность, то такая случайная величина называется дискретной. Случайная величина, множество значений которой заполняет сплошь некоторый числовой промежуток, называется непрерывной. Заметим, что дискретные и непрерывные величины не исчерпывают все типы случайных величин. Если случайная величина не относится ни к дискретным, ни к непрерывным случайным величинам, то ее называют смешанной. Для полной характеристики дискретной случайной величины мало знать ее значения. Необходимо им поставить в соответствие вероятности. Соответствие между всеми возможными значениями дискретной случайной величины и их вероятностями называется законом распределения данной случайной величины. Простейшая формой задания закона распределения дискретной случайной величины является таблица:

Х	х1	х2	…	хn	…
Р	р1	р2	…	рn	…

Такая таблица называется рядом распределения. р1+р2+… +рn=1. Можно закон распределения изобразить и графически, откладывая на оси абсцисс возможные значения случайной величины, а на оси ординат – соответствующие вероятности. Для большей выразительности полученные точки соединяются прямолинейными отрезками. Получающая при этом фигура называется многоугольником (полигоном) распределения. Функция распределения вероятностей. Функцией распределения случайной величины Х называют функцию F(x), определяющую для каждого значения х, вероятность того, что случайная величина Х примет значение меньше х, т.е. F(x) = P (X <x). Иногда функцию F(x) называют интегральной функцией распределения. Функция распределения обладает следующими свойствами: 1) Значение функции распределения принадлежит отрезку [0,1]: 0 ≤ F(x) ≤ 1. 2) Функции распределения есть неубывающая функция. 3) Вероятность того, что случайная величина Х примет значение, заключенное в интервале (а, b), равна приращению функции распределения на этом интервале: Р(а < X < b) = F(b) – F(а). 4) Если все возможные значения случайной величины Х принадлежат интервалу (а, b), то F(x) = 0 при х ≤ а; F(x) = 1 при х ≥ b. 5) Справедливы следующие предельные отношения: . Для дискретной случайной величины Х, которая может принимать значения х1, х2, …,хn, функция распределения имеет вид , где неравенство под знаком суммы означает, что суммирование касается всех тех значений хi, величина которых меньше х. Предположим теперь, что для непрерывной случайной величины Х ее функция распределения F(x) имеет непрерывную производную F'(x)= φ(x). Функцию φ(x) называют плотностью вероятности (для данного распределения) или дифференциальной функцией.

17 Дискретное вероятностное пространство, ф-ии распределения для биномиального, геометрического и пуассоновского распределений. Если множество элементарных исходов конечно или счетно: , то соответствующее вероятностное пространство называется дискретным. Опр. Пусть — конечная последовательность независимых случайных величин с распределением Бернулли, то есть . Построим случайную величину : . Тогда , число единиц (успехов) в последовательности , имеет биномиальное распределение с степенями свободы и вероятностью «успеха» . Пишем: . Её функция вероятности задаётся формулой: где — биномиальный коэффициент. Функция распределения биномиального распределения может быть записана в виде суммы: , где обозначает наибольшее целое, не превосходящее число , или в виде неполной бета-функции: . Связь с другими распределениями: 1) Если , то, очевидно, получаем распределение Бернулли. 2) Если большое, то в силу центральной предельной теоремы , где — нормальное распределение с математическим ожиданием и дисперсией .

Если большое, а  — фиксированное число, то , где  — распределение Пуассона с параметром . Геометрическое распределение в теории вероятностей — распределение дискретной случайной величины равной количеству испытаний случайного эксперимента до наблюдения первого «успеха». Опр. Пусть — бесконечная последовательность независимых случайных величин с распределением Бернулли, то есть . Построим случайную величину — количество «неудач» до первого «успеха». Распределение случайной величины называется геометрическим с вероятностью «успеха» , что обозначается следующим образом: . Функция вероятности случайной величины имеет вид: Распределение Пуассона моделирует случайную величину, представляющую собой число событий, произошедших за фиксированное время, при условии, что данные события происходят с некоторой фиксированной средней интенсивностью и независимо друг от друга. Опр. Выберем фиксированное число и определим дискретное распределение, задаваемое следующей функцией вероятности: , Тот факт, что случайная величина имеет распределение Пуассона с параметром , записывается: .

18 Непрерывная случайная величина. Плотность вероятности. Примеры. Случайную величину называют непрерывной, если ее функция распределения вероятностей есть непрерывная, кусочно-дифференцируемая функция с непрерывной производной. Плотностью распределения вероятностей непрерывной случайной величины называют функцию – первую производную от функции распределения вероятностей : . Свойства плотности распределения вероятностей: 1) Плотность распределения вероятностей – неотрицательная функция: .2) Несобственный интеграл от плотности распределения вероятностей в пределах от до равен единице: . Вероятностный смысл плотности распределения вероятности. Вероятность того, что непрерывная случайная величина примет значение, принадлежащее интервалу , приближенно равна (с точностью до бесконечно малых высшего порядка относительно ) произведению плотности распределения вероятности в точке на длину интервала : .

19 Понятие n мерной случайной величины. Опр. Многомерной (n-мерной) случайной величиной называется где Случайные величины называются компонентами Например, положение центра тяжести самолета — трехмерная случайная величина Рассмотрим дискретные и непрерывные двумерные СВ. Закон распределения дискретной двумерной СВ может быть задан в виде таблицы распределения вероятностей:

причем . Закон распределения дискретной и непрерывной СВ можно задать в виде функции распределения. Обозначим вероятность того, что удовлетворяет неравенствам через . Опр. Функцией распределения вероятностей СВ называется

Для непрерывной СВ вводится понятие плотности распределения вероятностей. Опр. Плотностью распределения вероятностей СВ с функцией распределения F(x,y) называется непрерывная в функция такая, что Аналогично случаю одномерной СВ имеем формулы для вычисления вероятности того, что значения двумерной СВ с плотностью распределения окажутся в области и функции распределения СВ . причем Математическое ожидание двумерной СВ где

20 Математическое ожидание. Математическое ожидание — среднее значение случайной величины, распределение вероятностей случайной величины, рассматривается в теории вероятностей. Опр. Пусть задано вероятностное пространство и определённая на нём случайная величина . То есть, по определению, — измеримая функция. Если существует интеграл Лебега от по пространству , то он называется математическим ожиданием, или средним (ожидаемым) значением и обозначается или . . Основные формулы для математического ожидания: Если  — функция распределения случайной величины, то её математическое ожидание задаётся интегралом Лебега — Стилтьеса: . Математическое ожидание дискретного распределения: Если — дискретная случайная величина, имеющая распределение , то прямо из определения интеграла Лебега следует, что . Простейшие свойства математического ожидания: 1) Математическое ожидание числа есть само число.  — константа; 2) Математическое ожидание линейно, то есть , где  — случайные величины с конечным математическим ожиданием, а  — произвольные константы; 3) Математическое ожидание сохраняет неравенства, то есть если почти наверное, и  — случайная величина с конечным математическим ожиданием, то математическое ожидание случайной величины также конечно, и более того ; 5) Математическое ожидание не зависит от поведения случайной величины на событии вероятности нуль, то есть если почти наверное, то . 6) Математическое ожидание произведения двух независимых случайных величин равно произведению их математических ожиданий .

21 Дисперсия. Дисперсия случайной величины — мера разброса данной случайной величины, то есть её отклонения от математического ожидания. Квадратный корень из дисперсии, равный , называется среднеквадратичным отклонением, стандартным отклонением или стандартным разбросом. Опр. Пусть — случайная величина, определённая на некотором вероятностном пространстве. Тогда где символ обозначает математическое ожидание. Замечания: 1) Если случайная величина вещественна, то, в силу линейности математического ожидания, справедлива формула: 2) Дисперсия является вторым центральным моментом случайной величины; 3) Дисперсия может быть бесконечной. 4) Дисперсия может быть вычислена с помощью производящей функции моментов : ; 5) Дисперсия целочисленной случайной величины может быть вычислена с помощью производящей функции последовательности. Свойства: 1) Дисперсия любой случайной величины неотрицательна: 2) Если дисперсия случайной величины конечна, то конечно и её математическое ожидание; 3) Если случайная величина равна константе, то её дисперсия равна нулю: Верно и обратное: если то почти всюду; 4) Дисперсия суммы двух случайных величин равна: , где  — их ковариация; 5) Для дисперсии произвольной линейной комбинации нескольких случайных величин имеет место равенство: , где ; 6) В частности, для любых независимых или некоррелированных случайных величин, так как их ковариации равны нулю; 7) 8) 9) . . Пример: Пусть случайная величина имеет стандартное непрерывное равномерное распределение на то есть её плотность вероятности задана равенством Тогда математическое ожидание квадрата случайной величины и математическое ожидание случайной величины Тогда дисперсия случайной величины

22 Неравенство Чебышева. Неравенство Чебышева в теории вероятностей утверждает, что случайная величина в основном принимает значения, близкие к своему среднему. Говоря более точно, оно даёт оценку вероятности, что случайная величина примет значение, далёкое от своего среднего. Пусть случайная величина определена на вероятностном пространстве , а её математическое ожидание и дисперсия конечны. Тогда , где . Если , где  — стандартное отклонение и , то получаем .

В частности, случайная величина с конечной дисперсией отклоняется от среднего больше, чем на стандартных отклонения, с вероятностью меньше . Она отклоняется от среднего на стандартных отклонения с вероятностью меньше .

23 Закон больших чисел. Т-мы Чебышева и Бернулли. Закон больших чисел в теории вероятностей утверждает, что эмпирическое среднее (среднее арифметическое) достаточно большой конечной выборки из фиксированного распределения близко к теоретическому среднему (математическому ожиданию) этого распределения. В зависимости от вида сходимости различают слабый закон больших чисел, когда имеет место сходимость по вероятности, и усиленный закон больших чисел, когда имеет место сходимость почти всюду. Общий смысл закона больших чисел — совместное действие большого числа случайных факторов приводит к результату, почти не зависящему от случая. На этом свойстве основаны методы оценки вероятности на основе анализа конечной выборки. Наглядным примером является прогноз результатов выборов на основе опроса выборки избирателей. Слабый закон больших чисел. Пусть есть бесконечная последовательность (последовательное перечисление) одинаково распределённых и некоррелированных случайных величин , определённых на одном вероятностном пространстве . То есть их ковариация . Пусть . Обозначим выборочное среднее первых членов: . Тогда . Усиленный закон больших чисел: Пусть есть бесконечная последовательность независимых одинаково распределённых случайных величин , определённых на одном вероятностном пространстве . Пусть . Обозначим выборочное среднее первых членов: . Тогда почти наверное. Теоремы Чебышева и Бернулли. Теорема Чебышева Если Х1, Х2,…, Хп – попарно независимые случайные величины, дисперсии которых равномерно ограничены ( D(Xi) ≤ C), то для сколь угодно малого числа ε вероятность неравенства будет сколь угодно близка к 1, если число случайных величин достаточно велико. Теорема Бернулли. Если в каждом из п независимых опытов вероятность р появления события А постоянна, то при достаточно большом числе испытаний вероятность того, что модуль отклонения относительной частоты появлений А в п опытах от р будет сколь угодно малым, как угодно близка к 1:

24 Центральная предельная теорема — класс теорем в теории вероятностей, утверждающих, что сумма достаточно большого количества слабо зависимых случайных величин, имеющих примерно одинаковые масштабы (ни одно из слагаемых не доминирует, не вносит в сумму определяющего вклада), имеет распределение, близкое к нормальному. Так как многие случайные величины в приложениях формируются под влиянием нескольких слабо зависимых случайных факторов, их распределение считают нормальным. При этом должно соблюдаться условие, что ни один из факторов не является доминирующим. Центральные предельные теоремы в этих случаях обосновывают применение нормального распределения. Классическая формулировка Ц.П.Т. Пусть есть бесконечная последовательность независимых одинаково распределённых случайных величин, имеющих конечное математическое ожидание и дисперсию. Обозначим последние и , соответственно. Пусть также . Тогда по распределению при , где — нормальное распределение с нулевым математическим ожиданием и стандартным отклонением, равным единице. Обозначив символом выборочное среднее первых величин, то есть , мы можем переписать результат центральной предельной теоремы в следующем виде:

по распределению при .

Скорость сходимости можно оценить с помощью неравенства Берри-Эссеена.

25 Ковариация, моменты. Опр. Ковариация - числовая характеристика совместного распределения двух случайных величин, равная математич. ожиданию произведения отклонений случайных величин от их математич. ожиданий. К. определяется для случайных величин Х 1 и Х 2 с конечными дисперсиями и обычно обозначается cov (X1, Х 2). Таким образом, при этом cov(Х1,X2)=cov(X2,X1);cov(X,Х)=DХ. К. естественным образом появляется в выражении для дисперсии суммы случайных величин Если величины Х1 и Х2 независимы, то cov(X1,X2)=0. К. служит характеристикой взаимозависимости случайных величин, с помощью К. определяется корреляции коэффициент. В математич. статистике оценкой К. служит выборочная К., вычисляемая по формуле где i=l,..., n, - независимые величины, а -Х арифметические средние.

Опр.

Если дана случайная величина определённая на некотором вероятностном пространстве, то: -м начальным моментом случайной величины где называется величина если математическое ожидание в правой части этого равенства определено; -м центральным моментом случайной величины называется величина если математическое ожидание в правой части этого равенства определено. Вычисление моментов: 1) Часто моменты могут быть вычислены напрямую через определение путём интегрирования соответствующих степеней случайной величины. В частности, для абсолютно непрерывного распределения с плотностью имеем: а для дискретного распределения с функцией вероятности 2) Если распределение таково, что для него в сколь угодно малой окрестности нуля определена производящая функция моментов или характеристическая функция то моменты могут быть вычислены по формулам: или

26 Элементы математической статистики, введение. Математическая статистика – это наука, занимающаяся методами обработки экспериментальных данных. Математическая статистика решает следующие задачи: 1) систематизировать полученный статистический материал; 2) на основании полученных экспериментальных данных оценить интересующие нас числовые характеристики наблюдаемой случайной величины; 3) определить число опытов, достаточное для получения достоверных результатов при минимальных ошибках измерения. Одной из задач третьего типа является задача проверки правдоподобия гипотез. Переменная величина называется случайной, если в результате опыта она может принимать действительные значения с определёнными вероятностями. Наиболее полной, исчерпывающей характеристикой случайной величины является закон распределения. Закон распределения – функция (таблица, график, формула), позволяющая определять вероятность того, что случайная величина  Х  принимает определенное значение хi или попадает в некоторый интервал. Случайная величина Х называется дискретной, если существует такая неотрицательная функция (1) которая ставит в соответствие значению хi переменной  Х  вероятность  рi , с которой она принимает это значение. Случайная величина Х называется непрерывной, если для любых   a < b  существует такая неотрицательная функция  f ( x ), что (2) Функция  f ( x ) называется плотностью распределения непрерывной случайной величины. Вероятность того, что случайная величина  Х  (дискретная или непрерывная) принимает значение, меньшее  х , называется функцией распределения случайной величины Х  и обозначается  F ( x ) : (3) Относительной частотой (или просто частотой) случайного события А называется отношение числа nA появлений этого события к общему числу n проведенных испытаний. При большом числе испытаний n отношение nx / n (частоты попадания в интервалы) должны быть близки к вероятностям попадания в эти интервалы. Зависимость частот nx / n от интервалов определяет эмпирическое распределение вероятностей случайной величины Х, графическое представление которой называется гистограммой. Математическим ожиданием дискретной случайной величины  Х , принимающей конечное число значений  хi   с вероятностями  рi , называется сумма: (6а) Математическим ожиданием непрерывной случайной величины  Х  называется интеграл от произведения ее значений х на плотность распределения вероятностей f(x): Дисперсией случайной величины  Х  называется число: Среднее квадратичное отклонение:

27 Статистическая оценка параметров. Точечные оценки параметров распределения. Обычно в распоряжении исследователя имеются лишь данные выборки, полученные в результате n наблюдений (здесь и далее наблюдения предполагаются независимыми). Рассматривая значения количественного признака как независимые случайные величины, можно сказать, что найти статистическую оценку неизвестного параметра теоретического распределения - это значит найти функцию от наблюдаемых случайных величин, которая и дает приближенное значение оцениваемого параметра. Итак, статистической оценкой неизвестного параметра теоретического распределения называют функцию от наблюдаемых случайных величин. Для того чтобы статистические оценки давали «хорошие» приближения оцениваемых параметров, они должны удовлетворять определенным требованиям: оценка должна быть несмещенной, эффективной и состоятельной. Поясним каждое из понятий. Несмещенной называют статистическую оценку Q*, математическое ожидание которой равно оцениваемому параметру Q при любом объеме выборки, т. е. M(Q*) = Q. Смещенной называют оценку, математическое ожидание которой не равно оцениваемому параметру. Эффективной называют статистическую оценку, которая (при заданном объеме выборки п) имеет наименьшую возможную дисперсию. При рассмотрении выборок большого объема (n велико!) к статистическим оценкам предъявляется требование состоятельности. Состоятельной называют статистическую оценку, которая при п стремится по вероятности к оцениваемому параметру. Например, если дисперсия несмещенной оценки при п стремится к нулю, то такая оценка оказывается и состоятельной. Интервальные оценки параметров распределения. Интервальной называют оценку, которая определяется двумя числами—концами интервала. Интервальные оценки позволяют установить точность и надежность оценок .

Пусть найденная по данным выборки статистическая характеристика Q* служит оценкой неизвестного пара­метра Q. Будем считать Q постоянным числом (Q может быть и случайной величиной). Ясно, что Q* тем точнее определяет параметр Q, чем меньше абсолютная величина разности |Q- Q*|. Другими словами, если >0 и |Q- Q*| < , то чем меньше  , тем оценка точнее. Таким образом, положительное число  характеризует точность оценки. Надежностью (доверительной вероятностью) оценки называют вероятность  , с которой осуществляется неравенство |Q—Q* | <. Обычно надежность оценки задается наперед, причем в качестве  берут число, близкое к единице. Наиболее часто задают надежность, равную 0,95; 0,99 и 0,999. Интервал (Q* -  Q* +) называется доверительным интервалом , который покрывает неизвестный параметр с надежностью .

28 Метод максимального правдоподобия. или метод наибольшего правдоподобия в математической статистике — это метод оценивания неизвестного параметра путём максимизации функции правдоподобия. Основан на предположении о том, что вся информация о статистической выборке содержится в функции правдоподобия. Оценка максимального правдоподобия дает уникальный и простой способ определить решения в случае нормального распределения. Метод оценки максимального правдоподобия применяется для широкого круга статистических моделей, в том числе: линейные модели и обобщенные линейные модели; факторный анализ; моделирования структурных уравнений; многие ситуации, в рамках проверки гипотезы и доверительного интервала формирования; дискретные модели выбора.

Пусть есть выборка из распределения , где  — неизвестный параметр. Пусть  — функция правдоподобия, где . Точечная оценка называется оценкой максимального правдоподобия параметра . Таким образом оценка максимального правдоподобия — это такая оценка, которая максимизирует функцию правдоподобия при фиксированной реализации выборки.Замечание. Так как функция монотонно возрастает на всей области определения, максимум любой функции является максимумом функции , и наоборот. Таким образом ,; где  — логарифмическая функция правдоподобия; Оценки максимального правдоподобия, вообще говоря, могут быть смещёнными, но являются состоятельными, асимптотически эффективными и асиптотически нормальными оценками; Если  — оценка метода максимального правдоподобия, параметров , то является оценкой максимального правдоподобия для , где g-непрерывная функция (функциональная инвариантность). Таким образом, законы распределения данных можно параметризовать различным образом.