Математическая статистика – это математическая наука посвященная разработке методов описания и анализа статистических экспериментальных данных, полученных в результате наблюдений массовых случайных явлений.

Генеральная и выборочная совокупности

Значительная часть математической статистики связана с описанием и анализом больших совокупностей объектов, объединенных по некоторому качественному или количественному признаку . Такая группа объектов называется статистической совокупностью. Если исследуемая совокупность слишком многочисленна, либо ее элементы малодоступны, либо имеются другие причины, не позволяющие изучать сразу все ее элементы, прибегают к изучению какой-то части этой совокупности. Эта выбранная для полного исследования группа элементов называется выборочной совокупностью или выборкой, а все множество изучаемых элементов – генеральной совокупностью. Под выборкой понимается последовательность независимых, одинаково распределенных случайных величин, т. е. каждая выборка значений случайной величины рассматривается как результат независимых повторных испытаний. Объемом совокупности называется число объектов, входящих в эту совокупность. Например, если из 10 000 микросхем для проверки качества отобрано 200 штук, то объем генеральной совокупности равен 10 000, а выборочной – 200.

Естественно стремиться сделать выборку так, чтобы она наилучшим образом представляла всю генеральную совокупность, т. е. была бы, как говорят, представительной (репрезентативной). Это обеспечивается как независимостью результатов наблюдений в выборке и случайностью выбора объектов из генеральной совокупности, так и правильным определением объема выборки с учетом всех конкретных условий. Чтобы этого добиться, применяются различные способы получения выборки или отбора.

 Отбор, не требующий разбиения генеральной совокупности на части, например простой случайный бесповторный отбор и простой случайный повторный отбор.

 Отбор, при котором генеральная совокупность разбивается на части, например типический, механический, серийный и комбинированный отборы.

На практике чаще всего используют бесповторный отбор, так как повторный отбор в некоторых случаях может оказаться нереализуемым из-за разрушения одного или нескольких элементов.

Статистическая совокупность, расположенная в порядке возрастания или убывания значений изучаемого признака , называется вариационным рядом, а ее объекты – вариантами.

Вариационный ряд называется дискретным, если его члены принимают конкретные изолированные значения. Если элементы вариационного ряда заполняют некоторый интервал, то такой ряд называется непрерывным.

Типичные задачи математической статистики

Методы математической статистики нашли широкое применение в различных областях науки (физике, биологии, медицине, экономике, социологии и др.) и могут применяться для решения различных задач. Однако можно сформулировать три основные (типичные) задачи математической статистики, наиболее часто встречающиеся на практике.

1. Определение закона распределения случайной величины. По результатам независимых наблюдений случайной величины требуется оценить неизвестную функцию распределения или плотность вероятности этой случайной величины.

2. Задача проверки правдоподобия гипотез. Из обширного круга задач, связанных с проверкой статистических гипотез, наиболее типичными являются две задачи. Первая: как согласуются результаты эксперимента с гипотезой о том, что исследуемая случайная величина имеет плотность распределения ? Вторая: не противоречит ли полученная оценка неизвестного параметра выдвинутой гипотезе о значении данного параметра?

3. Задача оценки неизвестных параметров распределения. Предполагается, что закон распределения исследуемой случайной величины известен до опыта из физических или теоретических предположений (например, нормальный). Возникает более узкая задача – определить некоторые параметры (числовые характеристики) случайной величины, т. е. по экспериментальным данным необходимо оценить значения этих параметров. С этой задачей отыскания "подходящих значений" числовых характеристик тесно связана задача оценки их точности и надежности.

Выборочная функция распределения

Пусть изучается некоторая случайная величина (признак) с неизвестным законом распределения. Нужно определить закон из опыта и проверить гипотезу о том, что распределение случайной величины подчиняется именно этому закону. Для этого над случайной величиной производится ряд независимых испытаний (наблюдений), в каждом из которых принимает то или иное значение , ; – количество проведенных опытов. Вот эта совокупность наблюдаемых значений случайной величины и есть выборочная совокупность или выборка, которая представляет собой первичный статистический материал, подлежащий обработке и анализу. Выборка оформляется в виде таблицы, в первом столбце которой записаны номера опытов , а во втором – наблюдаемые значения случайной величины.

Пример. Случайная величина – значения напряжения на выходе генератора шума, взятые через 20 миллисекунд. Выборочная совокупность представлена в виде табл. 8.1.

Таблица 8.1

1	-2	8	8	15	2
2	-6	9	-3	16	-3
3	0	10	1	17	11
4	-5	11	11	18	1
5	-9	12	9	18	12
6	0	13	-8	20	-2
7	-7	14	-3

Упорядоченные в порядке возрастания значения признака дадут вариационный ряд, который может быть обработан различными методами. Один из таких способов – построение выборочной функции распределения случайной величины.

Выборочной функцией распределения случайной величины называется частота события

.

Для получения значений для заданного аргумента достаточно подсчитать число испытаний, в которых случайная величина приняла значение, меньшее чем , и разделить на общее число проведенных экспериментов.

На рис. 8.1 представлен график выборочной функции распределения случайной величины – напряжения на выходе генератора шума.

В ыборочная функция распределения любой случайной величины, как непрерывной, так и дискретной, представляет собой неубывающую, прерывистую, ступенчатую функцию. При этом разрывы функции происходят при значениях аргумента, равных наблюдаемым значениям случайной величины, а величины разрывов равны частотам этих значений. Если каждое значение встречается по одному разу, то все скачки будут равны .

При увеличении числа опытов , согласно теореме Бернулли (следствие закона больших чисел), для любых частота события приближается (сходится по вероятности) к вероятности этого события. Таким образом, при увеличении выборочная функция распределения сходится по вероятности к истинной функции распределения случайной величины .

Если – непрерывная случайная величина, то при увеличении числа наблюдений число скачков функции увеличивается, а величина скачков уменьшается, и график функции сходится к плавной кривой .

Статистическое распределение выборки. Полигон и гистограмма

Практически построение решает задачу описания экспериментального материала. Однако при больших построение слишком трудоемко и не всегда наглядно по сравнению с другими видами закона распределения, например .

Для придания выборочной совокупности или вариационному ряду компактности и наглядности статистический материал подвергается дополнительной обработке, т. е. строится так называемое статистическое распределение выборки. Для дискретного вариационного ряда статистическое распределение представляется в виде табл. 8.2, в первой строке которой записываются в возрастающем порядке варианты (элементы выборки) , а во второй – соответствующие им частоты .

Таблица 8.2

Варианты			…		…
Частоты			…		…

Для непрерывного вариационного ряда весь диапазон наблюдаемых значений случайной величины разбивается на интервалы и подсчитывается количество значений , приходящихся на каждый -й интервал. После деления на общее число опытов , получается частота, соответствующая каждому интервалу:

.

Сумма этих частот должна быть равна единице.

Затем строится таблица, в первой строке которой приводятся в порядке возрастания интервалы, а во второй – соответствующие частоты. Табл. 8.3 и есть статистическое распределение непрерывной выборки.

Таблица 8.3

Интервалы			…		…
Частоты			…		…

Если наблюдаемое значение случайной величины попадает точно на границу двух интервалов, то такая величина в равной степени принадлежит к обоим интервалам, и поэтому к значениям того и другого разряда прибавляется по .

Ч исло интервалов, на которые необходимо группировать статистические данные, не должно быть слишком большим, так как в этом случае статистический ряд становится невыразительным, а частоты в нем могут иметь незакономерные колебания. Но, с другой стороны, количество интервалов не должно быть и слишком малым, потому что в этом случае особенности распределения описываются статистическим распределением лишком грубо. Из практических соображений число интервалов выбирается порядка 10 20.

Графически статистическое распределение дискретного статистического ряда представляют в виде полигона (см. рис. 8.2), который строится следующим образом. На оси абсцисс откладываются значения варианта , а на оси ординат соответствующие им частоты . Полученные точки соединяются ломаной линией

Графическое представление статистического распределения непрерывного вариационного ряда называется гистограммой (см. рис. 8.3). На оси абсцисс откладываются интервалы, и на каждом из них, как на основании, строится прямоугольник, площадь которого равна частоте соответствующего разряда. Для одинаковых по ширине интервалов высоты прямоугольников пропорциональны соответствующим частотам. Полная площадь гистограммы равна единице. При увеличении числа испытаний можно выбирать все меньшую и меньшую ширину интервалов и гистограмма будет приближаться к кривой распределения .

С татистическое распределение выборки можно использовать для приближенного построения выборочной функции распределения случайной величины, так как построение точной с несколькими сотнями скачков для всех наблюдаемых значений случайной величины очень трудоемко. На практике достаточно построить по нескольким точкам, в качестве которых выбираются границы интервалов , находящиеся в первой строке статистического распределения. Таким образом, имеем:

.

С оединив полученные точки ломаной линией или плавной кривой, получим приближенный график выборочной функции распределения (см. рис. 8.4).

В зависимости от конкретного содержания задачи в схему построения гистограммы могут быть внесены некоторые изменения. Например, в некоторых задачах целесообразно отказаться от требований равной длины интервалов.

На практике в большинстве случаев закон распределения случайной величины неизвестен, и по результатам наблюдений необходимо оценить числовые характеристики (например, математическое ожидание, дисперсию или другие моменты) или неизвестный параметр , который определяет закон распределения (плотность распределения) изучаемой случайной величины. Так, для показательного распределения или распределения Пуассона достаточно оценить один параметр, а для нормального распределения подлежат оценке уже два параметра – математическое ожидание и дисперсия.

Виды оценок

Случайная величина имеет плотность вероятности , где – неизвестный параметр распределения. В результате эксперимента получены значения этой случайной величины: . Произвести оценку по существу означает, что выборочным значениям случайной величины необходимо поставить в соответствие некоторое значение параметра , т. е. создать некоторую функцию результатов наблюдений , значение которой принимается за оценку параметра . Индекс указывает на количество проведенных опытов.

Любая функция, зависящая от результатов наблюдений, называется статистикой. Так как результаты наблюдений являются случайными величинами, то и статистика тоже будет случайной величиной. Следовательно, оценку неизвестного параметра следует рассматривать как случайную величину, а ее значение, вычисленное по экспериментальным данным объемом , – как одно из возможных значений этой случайной величины.

Оценки параметров распределений (числовых характеристик случайной величины) подразделяются на точечные и интервальные. Точечная оценка параметра определяется одним числом , и ее точность характеризуется дисперсией оценки. Интервальной оценкой называют оценку, которая определяется двумя числами, и – концами интервала, накрывающего оцениваемый параметр с заданной доверительной вероятностью.

Классификация точечных оценок

Чтобы точечная оценка неизвестного параметра была наилучшей с точки зрения точности, необходимо, чтобы она была состоятельной, несмещенной и эффективной.

Состоятельной называется оценка параметра , если она сходится по вероятности к оцениваемому параметру, т. е.

. (8.8)

На основании неравенства Чебышева можно показать, что достаточным условием выполнения соотношения (8.8) является равенство

.

Состоятельность является асимптотической характеристикой оценки при .

Несмещенной называется оценка (оценка без систематической ошибки), математическое ожидание которой равно оцениваемому параметру, т. е.

. (8.9)

Если равенство (8.9) не выполняется, то оценка называется смещенной. Разность называется смещением или систематической ошибкой оценки. Если же равенство (8.9) выполняется лишь при , то соответствующая оценка называется асимптотически несмещенной.

Необходимо отметить, что если состоятельность – практически обязательное условие всех используемых на практике оценок (несостоятельные оценки используются крайне редко), то свойство несмещенности является лишь желательным. Многие часто применяемые оценки свойством несмещенности не обладают.

В общем случае точность оценки некоторого параметра , полученная на основании опытных данных , характеризуется средним квадратом ошибки

,

который можно привести к виду

,

где – дисперсия, – квадрат смещения оценки.

Если оценка несмещенная, то

.

При конечных оценки могут различаться средним квадратом ошибки . Естественно, что, чем меньше эта ошибка, тем теснее группируются значения оценки около оцениваемого параметра. Поэтому всегда желательно, чтобы ошибка оценки была по возможности наименьшей, т. е. выполнялось условие

. (8.10)

Оценку , удовлетворяющую условию (8.10), называют оценкой с минимальным квадратом ошибки.

Эффективной называется оценка , для которой средний квадрат ошибки не больше среднего квадрата ошибки любой другой оценки, т. е.

,

где – любая другая оценка параметра .

Известно, что дисперсия любой несмещенной оценки одного параметра удовлетворяет неравенству Крамера – Рао

,

где – условная плотность распределения вероятностей полученных значений случайной величины при истинном значении параметра .

Таким образом, несмещенная оценка , для которой неравенство Крамера – Рао обращается в равенство, будет эффективной, т. е. такая оценка имеет минимальную дисперсию.

Точечные оценки математического ожидания и дисперсии

Если рассматривается случайная величина , имеющая математическое ожидание и дисперсию , то оба эти параметра считаются неизвестными. Поэтому над случайной величиной производится независимых опытов, которые дают результаты: . Необходимо найти состоятельные и несмещенные оценки неизвестных параметров и .

В качестве оценок и обычно выбираются соответственно статистическое (выборочное) среднее значение и статистическая (выборочная) дисперсия:

; (8.11)

. (8.12)

Оценка математического ожидания (8.11) является состоятельной согласно закону больших чисел (теорема Чебышева):

. Математическое ожидание случайной величины

.

Следовательно, оценка является несмещенной. Дисперсия оценки математического ожидания:

.

Если случайная величина распределена по нормальному закону, то оценка является также и эффективной. Математическое ожидание оценки дисперсии

.

В то же время

.

Так как , а , то получаем . (8.13)

Таким образом, – смещенная оценка, хотя является состоятельной и эффективной.

Из формулы (8.13) следует, что для получения несмещенной оценки следует видоизменить выборочную дисперсию (8.12) следующим образом:

, (8.14)

которая считается "лучшей" по сравнению с оценкой (8.12), хотя при больших эти оценки практически равны друг другу.

Проверка гипотезы о равенстве двух дисперсий

Проверка гипотезы о равенстве дисперсий особенно важна в различных экспериментах над случайными величинами, поскольку знание дисперсии позволяет оценить степень рассеивания случайной величины и соответственно судить о точности и надежности результатов. Как и в предыдущей задаче, проводятся две серии опытов по и испытаний, а полученные экспериментальные данные имеют нормальное распределение с параметрами и соответственно. По опытным данным найдены несмещенные оценки и . Ставится задача определить, лежит ли различие между этими оценками в границах возможных случайных изменений, т. е. можно ли оба значения рассматривать как оценки дисперсии одной и той же случайной величины , имеющей нормальное распределение.

Таким образом, необходимо проверить гипотезу . В качестве альтернативной гипотезы выбирается гипотеза .

При сравнении дисперсий в качестве проверочной статистики выбирается случайная величина

. (8.26)

Распределение величины находим из условия, что при справедливости гипотезы дисперсии равны, т. е. . Поэтому перепишем выражение (8.26), учитывая (8.19) в виде

. (8.27)

Соотношение (8.27) не зависит от неизвестного параметра . Случайная величина имеет распределение Фишера или F-распределение с и степенями свободы.

Критическими для проверяемой гипотезы являются значения:

; .

Для сокращения объема таблиц процентных точек распределения Фишера за значение принимается большая из полученных оценок дисперсии.

Пример. В двух сериях опытов над нормальной случайной величиной объемом соответственно и испытаний получены оценки дисперсии: ; . Необходимо проверить гипотезу о равенстве гипотез при уровне значимости .

Величина проверочной статистики равна

.

По таблице процентных точек F-распределения Фишера находим критическое значение

.

Получили, что . Поэтому нулевая гипотеза о равенстве дисперсий принимается с уровнем значимости 0,1.

Методы получения оценок параметров распределения

Часто на практике на основании анализа физического механизма, порождающего случайную величину , можно сделать вывод о законе распределения этой случайной величины. Однако параметры этого распределения неизвестны, и их необходимо оценить по результатам эксперимента, обычно представленных в виде конечной выборки . Для решения такой задачи чаще всего применяются два метода: метод моментов и метод максимального правдоподобия.

Метод моментов. Метод состоит в приравнивании теоретических моментов соответствующим эмпирическим моментам того же порядка.

Эмпирические начальные моменты -го порядка определяются формулами:

,

а соответствующие им теоретические начальные моменты -го порядка – формулами:

для дискретных случайных величин,

для непрерывных случайных величин,

где – оцениваемый параметр распределения.

Для получения оценок параметров распределения, содержащего два неизвестных параметра и , составляется система из двух уравнений

где и – теоретический и эмпирический центральные моменты второго порядка.

Решением системы уравнений являются оценки и неизвестных параметров распределения и .

Приравняв теоретический эмпирический начальные моменты первого порядка, получаем, что оценкой математического ожидания случайной величины , имеющей произвольное распределение, будет выборочное среднее, т. е. . Затем, приравняв теоретический и эмпирический центральные моменты второго порядка, получим, что оценка дисперсии случайной величины , имеющей произвольное распределение, определяется формулой .

Подобным образом можно найти оценки теоретических моментов любого порядка.

Метод моментов отличается простотой и не требует сложных вычислений, но полученные этим методом оценки часто являются неэффективными.

Метод максимального правдоподобия. Метод максимального правдоподобия точечной оценки неизвестных параметров распределения сводится к отысканию максимума функции одного или нескольких оцениваемых параметров.

Пусть – непрерывная случайная величина, которая в результате испытаний приняла значения . Для получения оценки неизвестного параметра необходимо найти такое значение , при котором вероятность реализации полученной выборки была бы максимальной. Так как представляют собой взаимно независимые величины с одинаковой плотностью вероятности , то функцией правдоподобия называют функцию аргумента :

.

Оценкой максимального правдоподобия параметра называется такое значение , при котором функция правдоподобия достигает максимума, т. е. является решением уравнения

,

которое явно зависит от результатов испытаний .

Поскольку функции и достигают максимума при одних и тех же значениях , то часто для упрощения расчетов используют логарифмическую функцию правдоподобия и ищут корень соответствующего уравнения

,

которое называется уравнением правдоподобия.

Если необходимо оценить несколько параметров распределения , то функция правдоподобия будет зависеть от этих параметров. Для нахождения оценок параметров распределения необходимо решить систему уравнений правдоподобия

.

Метод максимального правдоподобия дает состоятельные и асимптотически эффективные оценки. Однако получаемые методом максимального правдоподобия оценки бывают смещенными, и, кроме того, для нахождения оценок часто приходится решать достаточно сложные системы уравнений.

Интервальные оценки параметров

Точность точечных оценок характеризуется их дисперсией. При этом отсутствуют сведения о том, насколько близки полученные оценки истинным значениям параметров. В ряде задач требуется не только найти для параметра подходящее численное значение, но и оценить его точность и надежность. Необходимо узнать, к каким ошибкам может привести замена параметра его точечной оценкой и с какой степенью уверенности следует ожидать, что эти ошибки не выйдут за известные пределы.

Такие задачи особенно актуальны при малом числе опытов , когда точечная оценка в значительной степени случайна и приближенная замена на может привести к значительным ошибкам.

Более полный и надежный способ оценивания параметров распределений заключается в определении не единственного точечного значения, а интервала, который с заданной вероятностью накрывает истинное значение оцениваемого параметра.

Пусть по результатам опытов получена несмещенная оценка параметра . Необходимо оценить возможную ошибку. Выбирается некоторая достаточно большая вероятность (например ), такая, что событие с этой вероятностью можно считать практически достоверным событием, и находится такое значение , для которого

. (8.15)

В этом случае диапазон практически возможных значений ошибки, возникающей при замене на , будет , а большие по абсолютной величине ошибки будут появляться лишь с малой вероятностью .

Выражение (8.15) означает, что с вероятностью неизвестное значение параметра попадет в интервал

. (8.16)

Вероятность называется доверительной вероятностью, а интервал , накрывающий с вероятностью истинное значение параметра, называется доверительным интервалом. Заметим, что неправильно говорить, что значение параметра лежит внутри доверительного интервала с вероятностью . Используемая формулировка (накрывает) означает, что хотя оцениваемый параметр и неизвестен, но он имеет постоянное значение и, следовательно, не имеет разброса, поскольку это не случайная величина.

Задача определения доверительного интервала может быть решена только тогда, когда удается найти закон распределения случайной величины . В общем случае этот закон зависит от закона распределения случайной величины и, следовательно, и от его неизвестных параметров (в частности, и от самого оцениваемого параметра). Однако иногда удается перейти при получении оценки к таким функциям опытных данных, закон распределения которых зависит только от величины и закона распределения случайной величины и не зависит от неизвестных параметров.

Пусть проведено независимых испытаний над случайной величиной , числовые характеристики которой – математическое ожидание и дисперсия – неизвестны. Для этих параметров получены точечные оценки:

; . (8.17)

Требуется найти доверительный интервал , соответствующий доверительной вероятности , для математического ожидания случайной величины .

Так как случайная величина представляет собой сумму независимых и одинаково распределенных случайных величин , то согласно центральной предельной теореме при достаточно больших (на практике порядка 1020) ее закон распределения близок к нормальному. Таким образом получаем, что случайная величина распределена по нормальному закону с математическим ожиданием и дисперсией (см. (7.3–7.4)). Если величина дисперсии неизвестна, то в качестве ее оценки можно использовать . В этом случае найдем такое , для которого

.

При использовании формулы (4.37) получаем

,

где – среднее квадратичное отклонение оценки .

Из уравнения

находим значение :

, (8.18)

где – функция, обратная , – квантиль порядка стандартного нормального распределения.

Таким образом, приближенно решена задача построения доверительного интервала в виде

,

где определяется формулой (8.18).

Чтобы избежать при вычислении обратного интерполирования в таблицах функции , обычно составляется небольшая таблица, в которой приводятся значения квантилей в зависимости от наиболее часто используемых значений доверительной вероятности (табл. 8.4).

Таблица 8.4
0,9	1,643
0,95	1,960
0,99	2,576
0,9973	3,000
0,999	3,290

Величина определяет для нормального закона распределения число средних квадратичных отклонений, которое нужно отложить вправо и влево от центра рассеивания для того, чтобы вероятность попадания на этот участок была равна .

С использованием величины доверительный интервал будет иметь вид

.

Интервальные оценки математического ожидания и дисперсии нормальных случайных величин

Для случайной величины , имеющей гауссово распределение, найдены точные методы построения доверительных интервалов оценок математического ожидания и дисперсии.

Если случайная величина распределена нормально с математическим ожиданием и дисперсией , то случайная величина

(8.19)

имеет распределение с степенями свободы, а случайная величина

(8.20)

подчиняется закону распределения Стьюдента с степенями свободы.

В формулах (8.19–8.20) и – точечные оценки математического ожидания и дисперсии в соответствии с (8.17).

Для обоих неизвестных параметров и необходимо построить доверительные интервалы.

Для математического ожидания величину (половину длины доверительного интервала) выбираем из условия

. (8.21)

В левой части выражения (8.21) перейдем от случайной величины к величине , распределенной по закону Стьюдента. Для этого умножим обе части неравенства на положительную величину и получим , а при использовании (8.20)

,

где величину находим из условия

или .

По таблице процентных точек распределения Стьюдента (прил. 4) находим значение и получаем

,

и соответственно доверительный интервал оценки математического ожидания будет иметь вид

. (8.22)

Для нахождения доверительного интервала оценки дисперсии выразим случайную величину через величину в соответствии с (8.19):

.

Знание закона распределения случайной величины позволяет найти доверительный интервал, в который эта величина попадает с вероятностью . Поскольку распределение асимметрично (см. рис. 8.8), брать интервал симметричным, как для нормального распределения или распределения Стьюдента, неправомерно. Поэтому доверительный интервал строят так, чтобы площади под кривой распределения от 0 до и от до бесконечности были равны :

; (8.23)

. (8.24)

Для интеграла (8.24) при заданном по таблице процентных точек распределения (прил. 3) находят . Для получения перепишем выражение (8.23) в виде

, откуда .

Таким образом, получаем для случая неизвестного математического ожидания

,

а доверительный интервал (8.25)

накрывает неизвестную дисперсию с заданной вероятностью .

Пример. Проведено независимых измерений случайной величины , имеющей нормальное распределение. Получены следующие результаты: 20, 21, 21, 25, 19, 22, 23, 23, 18, 21, 21, 17, 18, 24, 20, 22, 21, 19, 19, 22, 18, 23, 22, 18, 20. Необходимо определить 90 %-ные доверительные интервальные оценки математического ожидания и дисперсии измеренной случайной величины.

Точечные оценки математического ожидания и дисперсии:

; .

По таблице процентных точек t-распределения Стьюдента для и (прил. 4) находим, что . Поэтому в соответствии с (8.22) получаем интервальную оценку математического ожидания в виде

.

По таблице процентных точек распределения для и (прил. 3) находим, что и . Таким образом, согласно (8.25) интервальная оценка дисперсии гауссовой случайной величины будет иметь вид

.

Определение статистической гипотезы

Статистической называется гипотеза о предполагаемом виде неизвестного распределения или утверждение относительно значений одного или нескольких параметров известного распределения. Например, совокупность наблюдаемых значений распределена по закону Пуассона, математическое ожидание случайной величины равно – статистические гипотезы.

Гипотеза, которая подвергается проверке, называется нулевой и обозначается . Альтернативной гипотезой называется гипотеза, конкурирующая с нулевой, т. е. ей противоречащая. Простой называется гипотеза, содержащая только одно предположение. Сложная гипотеза состоит из конечного или бесконечного числа простых гипотез.

Пример. Пусть проверяется гипотеза о равенстве некоторого параметра значению , т. е. гипотеза . В этом случае альтернативной гипотезой можно рассматривать одну из следующих гипотез: ; ; ; . Все приведенные гипотезы простые, и только – сложная гипотеза.

Выбор альтернативной гипотезы определяется формулировкой решаемой задачи. Причина выделения нулевой гипотезы состоит в том, что чаще всего такие гипотезы рассматриваются как утверждения, которые более ценны, если они опровергаются. Это основано на общем принципе, в соответствии с которым теория должна быть отвергнута, если есть противоречащий ей факт, но не обязательно должна быть принята, если противоречащих ей фактов на текущий момент нет.

Правило, по которому выносится решение принять или отклонить гипотезу , называется статистическим критерием. Проверка статистических гипотез осуществляется по результатам наблюдений (экспериментов, опытов), из которых формируют функцию результатов наблюдений, называемую проверочной статистикой. Таким образом, статистический критерий устанавливает, при каких значениях этой статистики проверяемая гипотеза принимается, а при каких она отвергается.

Пусть по независимым наблюдениям случайной величины получена некоторая оценка . Предположим, что есть основания считать истинное значение оцениваемого параметра равным некоторой величине . Однако даже если истинное значение параметра и равно , то оценка , скорее всего, не будет в точности равняться из-за статистической изменчивости, присущей . Поэтому возникает вопрос. Если предположить, что , то при каком отклонении от это предположение (гипотеза) должно быть опровергнуто как несостоятельное? Ответ на этот вопрос можно получить, вычислив вероятность любого значимого отклонения от , используя закон распределения случайной величины .

Если вероятность превышения разности и заданного уровня мала, то этот уровень следует считать значимым и гипотезу следует отвергнуть. Если вероятность превышения данной разности не является малой, то наличие этой разности можно отнести за счет обычной статистической изменчивости и гипотезу можно считать правдоподобной. Природа статистических выводов такова, что при отклонении гипотезы можно заранее оценить вероятность возможной ошибки (отклонения истинной гипотезы); напротив, если гипотеза принята, то это не означает, что она подтверждена с заданной вероятностью. Это лишь означает, что гипотеза согласуется с опытными данными, но возможно, что для другого эксперимента гипотеза будет отвергнута.

П риведенные рассуждения представляют собой простейший вид статистической процедуры, называемой проверкой гипотез. Предполагаем, что – несмещенная оценка параметра – имеет плотность распределения . Если гипотеза верна, то функция должна иметь среднее значение , как это показано на рис. 8.9.

Вероятность того, что величина не будет превышать нижнего уровня , равна

,

а вероятность того, что превзойдет верхнюю границу , составит

.

Таким образом, вероятность того, что выйдет за пределы интервала с границами и , составит . Величина выбирается настолько малой, чтобы попадание за пределы интервала, заключенного между и , было бы практически невозможным событием. Если в результате эксперимента величина выходит за пределы интервала , то в этом случае есть серьезные основания сомневаться в справедливости проверяемой гипотезы . В самом деле, если гипотеза верна, то значение будет маловероятным, и поэтому гипотезу о равенстве параметра величине следует отвергнуть. С другой стороны, если оценка попадает в интервал , то нет серьезных оснований подвергать сомнению справедливость проверяемой гипотезы , и гипотезу о равенстве следует принять.

Малое значение вероятности , используемое при проверке гипотезы, называется уровнем значимости критерия. Интервал значений , для которых гипотезу следует отвергнуть, называется областью отклонения гипотезы, или критической областью. Интервал значений , при которых гипотезу следует принять, носит название области принятия гипотезы (см. рис. 8.9). Приведенный способ проверки гипотезы называется двусторонним критерием, так как если гипотеза верна, то величина может быть как больше, так и меньше . Необходимо проверять значимость расхождения между и с обеих сторон. В некоторых задачах может оказаться достаточно одностороннего критерия. Например, пусть гипотеза состоит том, что . В этом случае гипотеза будет ошибочной только тогда, когда , а критерий будет использовать только нижнюю границу плотности распределения .

При проверке статистических гипотез возможны ошибки двух типов. Во-первых, гипотеза может быть отклонена, хотя в действительности она верна. Эта возможная ошибка называется ошибкой первого рода. Во-вторых, гипотеза принимается, хотя фактически она неверна. Такая ошибка называется ошибкой второго рода. Как видно на рис. 8.9, ошибка первого рода происходит в том случае, когда при справедливости гипотезы попадает в область ее отклонения. Таким образом, вероятность ошибки первого рода равна , т. е. уровню значимости критерия.

Д ля того чтобы найти вероятность ошибки второго рода, следует определить каким-то образом величину отклонения истинного значения параметра от гипотетического значения параметра , которое требуется определить. Предполагается, что истинное значение параметра в действительности равно или (см. рис. 8.10). Если согласно гипотезе , а на самом деле , то вероятность того, что попадет в область принятия гипотезы , т. е. в интервал , составляет . Таким образом, вероятность ошибки второго рода равна при выявлении отклонения истинного значения параметра на от гипотетической величины .

Вероятность называется мощностью критерия. Понятно, что при заданном значении (объеме опытных данных) вероятность ошибки первого рода может быть сделана сколь угодно малой за счет уменьшения уровня значимости . Однако при этом растет вероятность – ошибка второго рода (уменьшается мощность критерия). Единственный способ уменьшить и , и состоит в увеличении объема выборки , используемой при вычислении . Исходя из этих соображений определяется объем необходимых опытных данных в статистических экспериментах.

Проверка гипотезы о равенстве статистических средних значений

При проведении статистических экспериментов со случайными величинами самой различной природы большое внимание уделяется воспроизводимости результатов опытов при неоднократном повторении серии экспериментов. Часто возникает ситуация, когда среднее значение в одной серии опытов заметно отличается от величины этого параметра в другой серии. Естественно возникает вопрос, чем объяснить обнаруженное расхождение средних значений: либо случайными ошибками, либо это расхождение вызвано какими-то незамеченными или даже неизвестными ранее закономерностями.

Пусть над случайной величиной проводятся две серии опытов. Первая серия объемом испытаний: . Вторая серия экспериментов объемом испытаний: . При этом известно, что случайная величина распределена по нормальному закону с математическим ожиданием и дисперсией в первой серии опытов и параметрами и – во второй.

По экспериментальным данным получены статистические средние значения и . Необходимо проверить гипотезу при альтернативной гипотезе .

Для случая, когда дисперсии и известны, оценки и имеют нормальное распределение с параметрами и соответственно (см. 7.3 и 7.4). Так как случайные величины и независимы, то их разность тоже имеет нормальный закон распределения с параметрами и (нормальный закон устойчив к композиции).

Таким образом, случайная величина

,

которая является нормированной разностью оценок математических ожиданий, имеет нормальное распределение с нулевым математическим ожиданием и единичной дисперсией. Эта величина выбирается в качестве проверочной статистики.

Критическим для проверяемой гипотезы являются значения

,

где – квантиль порядка стандартного нормального распределения, т. е. значение гауссовой случайной величины, вероятность попасть правее которой равна (см. рис. 8.9).

Когда дисперсии и неизвестны, то сначала их необходимо оценить по экспериментальным данным. Пусть получены оценки и , которые незначительно отличаются друг от друга. В этом случае считается, что , и получают оценку так называемой "объединенной" дисперсии, используя результаты обеих серий опытов:

.

Случайная величина имеет распределение с степенями свободы. В качестве статистики для проверки гипотезы о равенстве математических ожиданий выбирается случайная величина

,

имеющая распределение Стьюдента с .

Критическими для проверяемой гипотезы являются значения

,

где – -процентная точка распределения Стьюдента с степенями свободы.

Пример. В двух сериях опытов над нормальной случайной величиной объемом соответственно и испытаний оценены математические ожидания и получено, что в первой серии , а во второй – . Дисперсия случайной величины известна: . Нужно при уровне значимости проверить нулевую гипотезу при альтернативной гипотезе .

Значение проверочной статистики равно

.

С использованием табл. 8.4 получаем, что . Так как , то нулевая гипотеза принимается, т. е. математические ожидания совпадают с уровнем значимости 0,1.

Если предположить, что дисперсия случайной величины неизвестна, то ее оценки по результатам обеих серий испытаний оказались равными: и . Кроме этого, предполагаем, что полученные оценки мало отличаются одна от другой, и поэтому вычисляем оценку объединенной дисперсии по формуле

,

а значение проверочной статистики

.

Используя таблицу процентных точек t-распределения Стьюдента (прил. 4), получаем

.

Так как и в этом случае , то гипотеза о равенстве математических ожиданий принимается.

Критерий согласия

На практике часто возникает задача аппроксимации построенной гистограммы аналитическим выражением, представляющим собой некоторый теоретический закон распределения (плотности вероятности ). При этом стремятся к тому, чтобы такая аппроксимация была в определенном смысле наилучшей. Заметим, что любая аналитическая функция , с помощью которой аппроксимируется статистическое распределение, должна обладать основными свойствами плотности распределения:

.

Чтобы оценить, насколько хорошо выбранный теоретический закон распределения согласуется с экспериментальными данными, используются так называемые критерии согласия. Таких критериев существует несколько, но наиболее часто применяется критерий согласия , предложенный Пирсоном.

Критерий согласия является непараметрическим критерием проверки статистических гипотез в отличие от ранее рассмотренных критериев, которые являются параметрическими.

Пусть проведено независимых опытов, в каждом из которых случайная величина приняла определенное значение. Результаты опытов сведены в интервалов, и построены статистический ряд, выборочная функция распределения и гистограмма, т. е. экспериментальные данные описываются выборочным законом распределения . Необходимо проверить, согласуются ли экспериментальные данные с гипотезой о том, что случайная величина имеет выбранный теоретический закон распределения , который может быть задан функцией распределения или плотностью . Альтернативная гипотеза в этом случае – .

Знание теоретического закона распределения позволяет найти теоретические вероятности попадания случайной величины в каждый интервал ( , : .

Проверка согласованности теоретического и статистического распределений сводится к оценке расхождений между теоретическими вероятностями и полученными частотами . В качестве меры расхождения удобно выбрать сумму квадратов отклонений , взятых с некоторыми "весами" :

.

Смысл коэффициентов ("весов" интервалов) состоит в том, что отклонения, относящиеся к разным интервалам, нельзя считать одинаковыми по значимости. То есть одно и то же по абсолютной величине отклонение может быть мало значимым, если сама вероятность велика, и, наоборот, быть заметным, если эта вероятность мала. Естественно, веса выбирать по величине обратно пропорционально вероятностям .

Пирсон доказал, что если выбрать , то при больших закон распределения случайной величины (см. выражение 8.1) практически не зависит от функции распределения и числа испытаний , а зависит только от числа разрядов и стремится к распределению .

Обозначив через меру расхождения , получаем

. (8.28)

Распределение зависит от параметра , называемого числом "степеней свободы". Для критерия согласия Пирсона , где – число интервалов, – число независимых условий ("связей"), накладываемых на частоты и параметры распределения. Так, при аппроксимации нормального распределения , а при исследовании распределения Пуассона .

Схема применения критерия для оценки согласованности теоретического и статистического распределения сводится к следующим процедурам (этапам):

1. На основании полученных экспериментальных данных рассчитываются значения частот в каждом из интервалов.

2. Вычисляются, исходя из теоретического распределения, вероятности попадания значений случайной величины в интервалы .

3. По формуле (8.28) рассчитывается значение .

4. Определяется число степеней свободы .

5. По таблице процентных значений распределения (прил. 3) определяется вероятность того, что случайная величина, имеющая распределение с степенями свободы превзойдет полученное на этапе 3 значение . Если эта вероятность мала, то гипотеза отбрасывается как неправдоподобная. Если же эта вероятность относительно велика, то гипотезу можно признать не противоречащей опытным данным.

Пример. Пусть случайная величина – значения напряжения на выходе генератора шума. Проверим, согласуются ли полученные данные с нормальным законом распределения.

Получено значений, при этом оценки математического ожидания и среднего квадратичного значения соответственно равны: . Для теоретического нормального распределения с полученными параметрами и вычисляем вероятности попадания в каждый из 10 интервалов по формуле

,

где – границы -го интервала, – функция Лапласа, таблица значений которой приведена в прил. 2.

Затем создается таблица, содержащая число попаданий в каждый разряд и соответствующие значения для .

Интервалы	-10-8	-8-6	-6-4	-4-2	-20	02	24	46	68	810
	5	9	47	85	112	122	69	34	12	5
	2,25	10,32	32,75	72,36	110,94	118,12	88,34	44,84	15,98	3,95

По формуле (8.28) получаем

.

Так как число степеней свободы , то по таблице процентных точек распределения (прил. 3) находим, что . Поскольку для малой вероятность , следует признать: полученные экспериментальные данные противоречат проверяемой гипотезе о том, что случайная величина распределена по нормальному закону.

При использовании критерия согласия ( или любого другого) положительный ответ нельзя рассматривать как утвердительный о правильности выбранной гипотезы. Определенным является лишь отрицательный ответ, т. е. если полученная вероятность мала, то можно отвергнуть выбранную гипотезу и отбросить ее как явно не согласующуюся с экспериментальными данными. Если же вероятность велика, то это не может считаться доказательством справедливости гипотезы , а указывает только на то, что гипотеза не противоречит экспериментальным данным.

При использовании критерия согласия достаточно большими должны быть не только общее число опытов (несколько сотен), но и значения в отдельных интервалах. Для всех интервалов должно выполняться условие . Если для некоторых интервалов это условие нарушается, то соседние интервалы объединяются в один.

Неравенство Чебышева

Если у случайной величины известна дисперсия , то она в некотором смысле является мерой "случайности" величины .

Так, для случайной величины, имеющей равномерный закон распределения

,

дисперсия равна .

При малых мала и дисперсия, но невелико и отличие любого значения случайной величины от ее математического ожидания.

Аналогично для нормального распределения: чем больше дисперсия, тем больше область вероятных (имеющих отличные от нуля вероятности) значений случайной величины , хотя и с меньшей вероятностью.

Таким образом, чем больше величина дисперсии , тем более вероятны значительные отклонения возможных значений случайной величины от центра группирования – математического ожидания .

Если у случайной величины известна плотность распределения , то для любого положительного можно вычислить вероятность события вида .

Однако чаще встречается вариант, когда при неизвестном законе распределения, но по известной дисперсии необходимо оценить вероятность события . Эту задачу решил Чебышев Пафнутий Львович (1821–1894) посредством неравенства, названного его именем.

Неравенство Чебышева. Для любой случайной величины, имеющей конечную дисперсию и математическое ожидание , для любого положительного имеет место неравенство

.

Доказательство. Для дискретной случайной величины , заданной рядом распределения

Х:			…
			…		,

изобразим возможные значения этой величины на числовой оси в виде точек (см. рис. 7.1).

Зададимся некоторым значением и вычислим вероятность того, что случайная величина отклонится от своего математического ожидания на величину, большую чем :

,

т. е. вероятность того, что попадет не внутрь отрезка , а вне его,

.

Чтобы вычислить эту вероятность, необходимо просуммировать вероятности всех значений , которые лежат вне отрезка , т. е.

, (7.1)

где запись под знаком суммы означает, что суммирование распространяется на все значения , для которых точки лежат вне отрезка .

По определению дисперсия дискретной случайной величины

.

Так как все члены суммы неотрицательны, то эта сумма только уменьшится, если распространить суммирование не на все значения , а только на те, что лежат вне отрезка :

.

Так как , то при замене под знаком суммы величины на , значение этой суммы еще больше уменьшится, и будем иметь неравенство

.

Стоящая в правой части сумма есть не что иное, как вероятность непопадания случайной величины на отрезок (см. выражение 7.1), и поэтому

,

откуда окончательно получаем

;

.

Как и всякий общий результат, не использующий данные о конкретном виде распределения случайной величины , неравенство Чебышева дает лишь грубую оценку сверху для вероятности события . Если оценивать вероятность события для случайной величины с неизвестным законом распределения, то получим по неравенству Чебышева

.

Для нормального распределения эта вероятность равна 0,0027 – разница в 40 раз.

Теорема Чебышева. Если – последовательность попарно независимых случайных величин, имеющих конечные дисперсии, ограниченные одной и той же постоянной

,

и математические ожидания

,

то, каковы бы ни были постоянные и ,

либо

; ,

т. е. среднее арифметическое последовательности независимых случайных величин сходится по вероятности к их математическому ожиданию.

Доказательство. Применим для случайной величины

с и

неравенство Чебышева

.

Но из условия теоремы получаем

.

Следовательно, каким бы малым ни было число , можно взять таким большим, чтобы выполнялось неравенство

,

где – сколь угодно малое число.

И тогда получаем

,

и, переходя к противоположному событию, имеем

.

Обобщенная теорема Чебышева. Если законы распределения случайной величины от опыта к опыту изменяются, то приходится иметь дело со средним арифметическим последовательности случайных величин с различными математическими ожиданиями и с различными дисперсиями. Для таких случайных величин существует обобщенная теорема Чебышева.

Теорема (без доказательства). Если – последовательность попарно независимых случайных величин, имеющих конечные дисперсии, ограниченные одной и той же постоянной

,

и математические ожидания

,

то, каковы бы ни были постоянные и ,

или

,

т. е. среднее арифметическое последовательности независимых случайных величин сходится по вероятности к среднему арифметическому их математических ожиданий.

Теорема Маркова. Закон больших чисел может быть распространен и на зависимые случайные величины. Это обобщение принадлежит Маркову.

Теорема (без доказательства). Если имеются зависимые случайные величины и при

,

то среднее арифметическое наблюдаемых значений случайных величин сходится по вероятности к среднему арифметическому их математических ожиданий:

.

Теорема Я. Бернулли, устанавливающая связь между частотой события и его вероятностью, может быть доказана как прямое следствие закона больших чисел (теоремы Чебышева).

Теорема Бернулли. Если производится независимых испытаний, в каждом из которых может появиться или не появиться некоторое событие , вероятность появления которого в каждом опыте равна , то при неограниченном увеличении числа опытов частота события сходится по вероятности к его вероятности .

Обозначив частоту события через , теорему Бернулли можно записать в виде

или ,

где и – сколь угодно малые положительные числа.

Доказательство. Рассмотрим независимые случайные величины: – число появлений события в первом опыте; – число появлений события во втором опыте; …; – число появлений события в -м опыте. Все эти случайные величины дискретны и имеют один и тот же закон распределения в виде индикатора событий. Поэтому математическое ожидание каждой из величин равно , а дисперсия равна , где .

Частота представляет собой не что иное, как среднее арифметическое случайных величин

,

которая, согласно теореме Чебышева, сходится по вероятности к общему математическому ожиданию этих случайных величин, равному .

Теорема Бернулли утверждает свойство устойчивости частот при постоянных условиях опыта, но и при изменяющихся условиях испытаний аналогичная устойчивость также существует.

Теорема Пуассона (следствие обобщенной теоремы Чебышева). Если производится независимых опытов и вероятность появления события в -м опыте равна , то при неограниченном увеличении числа опытов частота события сходится по вероятности к среднему арифметическому вероятностей :

или .

Центральная предельная теорема

Докажем центральную предельную теорему для случая одинаково распределенных случайных величин (в форме Ляпунова).

Теорема: Если – независимые случайные величины, имеющие одно и то же распределение с математическим ожиданием и дисперсией , то при увеличении закон распределения суммы неограниченно приближается к нормальному.

Доказательство. Докажем теорему для случая непрерывных случайных величин, применив аппарат характеристических функций. Согласно одному из свойств, характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых. Случайные величины имеют одну и ту же плотность распределения , а значит, и одну и ту же характеристическую функцию . Не нарушая общности, можно перенести начало отсчета всех случайных величин в их общее математическое ожидание , что равнозначно их центрированию и, значит, тому, что математическое ожидание каждой из них будет равно нулю.

Для доказательства теоремы найдем характеристическую функцию гауссовой случайной величины с нулевым математическим ожиданием и единичной дисперсией, плотность распределения которой

.

Получили, что , следовательно,

,

но это и есть характеристическая функция нормально распределенной случайной величины с нулевым математическим ожиданием и единичной дисперсией (см. выражение (7.5)). Следовательно, и линейно связанная со случайной величиной случайная величина имеет нормальное распределение.

Понятие о функции случайной величины

Среди практических приложений теории вероятностей особое место занимают задачи, требующие нахождения законов распределения и/или числовых характеристик функций случайных величин. В простейшем случае задача ставится следующим образом: на вход технического устройства поступает случайное воздействие ; устройство подвергает воздействие некоторому функциональному преобразованию и на выходе дает случайную величину (см. рис. 6.1). Нам известен закон распределения случайной величины , и требуется найти закон распределения и/или числовые характеристики случайной величины .

Можно выделить три основные возникающие задачи:

1. Зная закон распределения случайной величины (или случайного вектора ), найти закон распределения выходной случайной величины (или ).

2. Зная закон распределения случайной величины , найти только числовые характеристики выходной случайной величины.

3. В некоторых случаях (при особых видах преобразования ) для нахождения числовых характеристик выхода не требуется знать закон распределения входной случайной величины , а достаточно знать только его числовые характеристики.

Рассматриваем случайную величину , зависящую функционально от случайной величины , т. е. . Пусть случайная величина дискретна и известен ее ряд распределения:

Х:			…		…
			…		…		,

,

где .

При подаче на вход значения случайной величины на выходе получим с вероятностью . И так для всех возможных значений случайной величины . Таким образом, получаем табл. 6.1.

Таблица 6.1

		…		…
		…		…

Полученная табл. 6.1 в общем случае может не быть рядом распределения случайной величины , так как значения в верхней строке таблицы могут быть расположены в невозрастающем порядке, а некоторые могут даже совпадать.

Для преобразования табл. 6.1 в ряд распределения случайной величины необходимо упорядочить возможные значения по возрастанию, а вероятности совпадающих значений нужно сложить.

Для нахождения числовых характеристик случайной величины преобразовывать (6.1) в ряд распределения нет необходимости, так как их можно вычислить по таблице (6.1). Действительно, находя сумму произведений возможных значений случайной величины на их вероятности, получаем

. (6.1)

Таким образом, зная только закон распределения аргумента , можно найти математическое ожидание функции случайной величины.

Аналогично находим дисперсию случайной величины :

.

Аналогично определяем начальные и центральные моменты любых порядков случайной величины :

.

Для непрерывной случайной величины , имеющей плотность распределения , получаем

; ;

.

Видим, что для нахождения числовых характеристик функции вовсе не нужно знать ее закон распределения – достаточно знания закона распределения аргумента .

Теоремы о числовых характеристиках функций случайных величин

В некоторых задачах числовые характеристики системы случайных величин можно определить как функции числовых характеристик системы случайных величин . В этом случае не требуется даже знание закона распределения аргумента, например совместную плотность распределения , а достаточно иметь только числовые характеристики этой системы случайных величин. Для решения таких задач сформулированы следующие теоремы о числовых характеристиках функций случайных величин:

1. , 3. ,

2. , 4. ,

где – неслучайная величина.

5. для любого числа слагаемых, как независимых, так и зависимых, коррелированных и некоррелированных.

6. Математическое ожидание от линейной комбинации случайных величин равно той же линейной функции от математических ожиданий рассматриваемых случайных величин:

.

7. Дисперсия суммы случайных величин равна сумме всех элементов корреляционной матрицы этих случайных величин .

Так как корреляционная матрица симметрична относительно главной диагонали, на которой находятся дисперсии, то последнюю формулу перепишем в виде .

Если случайные величины не коррелированы, то справедлива теорема о сложении дисперсий:

.

8. Дисперсия линейной функции случайных величин определяется по формуле

.

9. Математическое ожидание произведения двух случайных величин равно произведению математических ожиданий плюс ковариация .

Математическое ожидание произведения двух некоррелированных случайных величин равно произведению их математических ожиданий .

10. Дисперсия произведения независимых случайных величин выражается формулой

Если случайные величины независимые и центрированные, получаем

.

Закон распределения функции случайного аргумента

Есть непрерывная случайная величина с плотностью распределения , связанная со случайной величиной функциональной зависимостью . Требуется найти закон распределения случайной величиной .

Рассмотрим случай, когда строго монотонна, непрерывна и дифференцируема на интервале всех возможных значений случайной величиной .

Функция распределения случайной величиной по определению есть . Если функция монотонно возрастает на участке всех возможных значений случайной величиной , то событие эквивалентно событию , где есть функция, обратная функции . Когда случайная величина принимает з начения на участке , то случайная точка перемещается по кривой (ордината полностью определяется абсциссой) (см. рис. 6.2). Из строгой монотонности следует монотонность , и поэтому функцию распределения случайной величиной можно записать следующим образом:

.

Дифференцируя это выражение по , входящему в верхний предел интеграла, получаем плотность распределения случайной величиной в виде

. (6.2)

Если функция на участке возможных значений случайной величиной монотонно убывает, то, проведя аналогичные выкладки, получаем

. (6.3)

Диапазон возможных значений случайной величиной может быть в выражениях (6.2) и (6.3) от до .

Так как плотность распределения не может быть отрицательной, то формулы (6.2) и (6.3)можно объединить в одну . (6.4)

Пример. Пусть функция случайной величины является линейной, т. е. , где . Непрерывная случайная величина имеет плотность распределения , и тогда, используя выражение (6.4), найдем закон распределения , учитывая, что обратная функция есть , а модуль ее производной равен , . (6.5)

Если случайная величина имеет нормальное распределение ,

то согласно (6.5) получаем .

Это по-прежнему нормальный закон распределения с математическим ожиданием , дисперсией и средним квадратичным отклонением .

В результате линейного преобразования нормально распределенной случайной величины получаем случайную величину , также распределенную по нормальному закону.

Закон распределения суммы двух случайных величин. Композиция законов распределения

Имеем систему двух непрерывных случайных величин и их сумму – случайную величину . Необходимо найти закон распределения случайной величины , если известна совместная плотность распределения системы .

Функция распределения – это площадь области на плоскости , где выполняется неравенство (см. рис. 6.3), т. е.

.

П родифференцировав это выражение по , получаем плотность распределения вероятности случайной величины

.

Учитывая симметрию слагаемых, можно записать аналогичное соотношение

.

Если случайные величины и независимы, т. е. выполняется равенство , то две последние формулы примут вид:

; (6.6)

. (6.7)

В том случае, когда складываются независимые случайные величины и , то говорят о композиции законов распределения. Для обозначения композиции законов распределения иногда применяется символьная запись: .

Закон распределения называется устойчивым к композиции, если при композиции законов распределения этого типа получается снова тот же закон, но с другими значениями параметров. Например, если сложить две независимые нормальные случайные величины, то результирующая случайная величина будет иметь нормальный закон распределения, т. е. нормальный закон устойчив к композиции. Кроме нормального закона, устойчивыми к композиции являются законы распределения Эрланга, биноминальный, Пуассона.

Метод линеаризации функций случайных величин

В некоторых частных случаях числовые характеристики функций случайных величин можно найти, используя только числовые характеристики аргументов таких функций. Особенно простые соотношения существуют между числовыми характеристиками функций и числовыми характеристиками аргументов, если функции линейны. Во многих практических применениях нелинейные зависимости в определенном диапазоне заменяются линейными.

Линеаризацией функции называется приближенная замена нелинейной функции линейной, что позволяет достаточно просто находить числовые характеристики функций случайных величин.

Рассмотрим задачу линеаризации функции одного случайного аргумента

,

где и – непрерывные случайные величины.

Считая, что некоторая функция дифференцируема, разложим ее в ряд Тейлора в окрестности точки :

.

Линеаризация есть приближенное представление функции случайной величины первыми двумя членами ряда Тейлора; при этом разложение проводится в окрестности точки математического ожидания . Это приближение тем точнее, чем меньше диапазон возможных значений случайного аргумента.

Таким образом, при приближенной замене нелинейной функции линейной получаем

.

Необходимо отметить, что при выводе формулы совершен переход от неслучайного аргумента к случайному, что, строго говоря, можно делать с оговорками, так как дифференцировать по случайной величине в общем случае нельзя.

Геометрическая интерпретация метода линеаризации сводится к замене участка кривой для диапазона отрезком касательной – линеаризованной функцией , проходящей через точку с абсциссой и ординатой (см. рис. 6.4).

Если такая замена удовлетворяет по точности, то для линеаризованной зависимости между случайными величинами и можно найти числовые характеристики :

;

;

.

П олучили, что математическое ожидание линеаризованной функции приблизительно равно функции от математического ожидания аргумента, а ее дисперсия – дисперсии аргумента, умноженной на квадрат производной функции в точке, соответствующей математическому ожиданию аргумента.

Заметим, что плотность непрерывной случайной величины , как правило, больше в областях, близких к математическому ожиданию . Поэтому наилучшее приближение нелинейной функции к линейной будет в области математического ожидания случайной величины.

Комплексные случайные величины

Комплексной случайной величиной называется случайная величина вида ,

где и – действительные случайные величины; .

При этом – действительная часть комплексной случайной величины , а – мнимая часть.

Случайная величина называется комплексно сопряженной случайной величине .

Комплексная случайная величина может быть представлена либо случайной точкой , либо случайным вектором на комплексной плоскости (см. рис. 6.5).

Случайная величина – длина случайного вектора называется модулем комплексной случайной величины : .

Случайная величина является действительной.

Случайный угол (фазовый угол) называется аргументом комплексной величины . Действительная случайная величина определяется выражением

.

Математическим ожиданием комплексной случайной величины является комплексное число .

Центрированной комплексной случайной величиной называется случайная величина

,

где – действительные центрированные случайные величины.

Дисперсией комплексной случайной величины называется математическое ожидание квадрата модуля соответствующей центрированной случайной величины:

, где .

Вычислим произведение

и, воспользовавшись теоремой сложения математических ожиданий (математическое ожидание суммы случайных величин равно сумме математических ожиданий), получим

.

Дисперсия комплексной случайной величины есть действительное неотрицательное число, равное сумме дисперсий действительной и мнимой частей.

Если есть две комплексные случайные величины и , то определим ковариацию как математическое ожидание произведения центрированной комплексной случайной величины на центрированную комплексно сопряженную случайную величину :

.

Используя теорему сложения математических ожиданий, получаем

,

где – ковариации действительных случайных величин и .

При этом , так как .

Ковариация комплексных случайных величин и равна комплексно сопряженной корреляции комплексных величин и .

Характеристическая функция случайной величины и ее свойства

Введем комплексную случайную величину ,

где – действительная случайная величина с известным законом распределения; – параметр, имеющий размерность, обратную размерности случайной величины .

Характеристической функцией случайной величины называется математическое ожидание комплексной случайной величины : . (6.8)

Для дискретной случайной величины , принимающей значения с вероятностями , характеристическая функция будет иметь вид . (6.9)

Если случайная величина непрерывна и имеет плотность распределения , то получаем

. (6.10)

То есть характеристическая функция непрерывной случайной величины представляет собой преобразование Фурье плотности распределения и однозначно определяется этой плотностью. Отсюда следует, что и плотность распределения также однозначно выражается через характеристическую функцию посредством обратного преобразования Фурье: . 6.11)

Основные свойства характеристической функции:

1. Характеристическая функция неслучайной величины равна .

2. Характеристическая функция случайной величины ( и – неслучайные величины) связана с характеристической функций случайной величины следующим выражением:

.

3. Если у случайной величины существует начальный момент -го порядка , то существует -я производная характеристической функции ,

которая при выражается формулой ,

откуда получаем выражение для вычисления начальных моментов -го порядка случайной величины посредством -й производной характеристической функции в нуле: . (6.12)

4. Характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых.

Доказательство. Пусть и заданы характеристические функции случайных величин ( ). Характеристическая функция случайной величины будет равна

.

По теореме умножения математических ожиданий независимых случайных величин окончательно получаем

. 5. Из свойств 2 и 4 следует, что если и случайные величины независимы, то

.

Функция распределения системы

двух случайных величин

Функцией распределения системы двух случайных величин называется вероятность совместного выполнения двух неравенств – и

. (5.1)

Событие в фигурных скобках означает произведение событий и :

.

Геометрическое истолкование функции распределения – это вероятность попадания случайной точки в бесконечный квадрант с вершиной в точке , лежащей левее и ниже этой точки (см. рис. 5.3). Правая и верхняя границы в квадрант не включаются.

Из приведенной геометрической интерпретации можно вывести основные свойства функции распределения системы двух случайных величин:

1. Функция распределения есть неубывающая функция обоих своих аргументов, т. е.

при

при

На рис. 5.3 видно, что при увеличении или заштрихованная область возрастает.

2. Если или обращаются в , то функция распределения равна нулю:

.

3. Если оба аргумента равны , то функция распределения равна единице:

.

В этом случае квадрант заполняет всю плоскость, и попадание в него случайной точки есть достоверное событие.

4. Если один из аргументов обращается в , то функция распределения становится равной функции распределения случайной величины, соответствующей другому аргументу:

где – функция распределения случайной величины ; – функция распределения случайной величины .

В этом случае квадрант превращается в полуплоскость, вероятность попадания в которую есть функция распределения случайной величины, соответствующей другому аргументу (см. рис. 5.4–5.5).

Из определения функции распределения следует, что она непрерывна слева по любому аргументу. При геометрической интерпретации функции – это некоторая поверхность, обладающая указанными свойствами, а вид этой поверхности зависит от того, будут ли входящие в систему случайные величины дискретными или непрерывными.

Знание функции распределения позволяет решить задачу о вычислении вероятности попадания случайной точки в прямоугольник (см. рис. 5.6). Решение оказывается достаточно простым, если учесть определение (5.1) функции :

.

Вычисление сводится к вычитанию из большого квадранта двух других и добавке дважды вычтенного квадранта с вершиной в точке .

Функции распределения – наиболее универсальная форма закона распределения, пригодная как для дискретных, так и непрерывных случайных величин.

Система двух дискретных случайных величин.

Матрица распределения

Пусть множества возможных значений системы случайных величин конечны, т. е.

Обозначим через

, (5.2)

где событие есть произведение событий и .

Используя выражение (5.2), можно построить матрицу распределения – прямоугольную таблицу, в которой записаны все вероятности .

Сумма всех вероятностей матрицы распределения равна единице:

.

При наличии матрицы распределения системы двух дискретных случайных величин ее функция распределения находится суммированием всех вероятностей , для которых и , т. е.

.

Если множества возможных значений дискретных случайных величин и бесконечные, но счетные, то тогда матрица распределения имеет бесконечные размеры, но ее свойства остаются теми же, что и при конечных и .

По матрице распределения системы можно найти законы (ряды) распределения отдельных случайных величин и . Для это обозначим

.

Событие представим как сумму несовместных вариантов:

.

Просуммировав соответствующие вероятности, получаем

;

.

Таким образом, чтобы найти вероятность того, что отдельная случайная величина, входящая в систему, примет определенное значение, надо просуммировать вероятности , стоящие в соответствующей этому значению строке (столбце) матрицы распределения.

Начальные и центральные моменты

Обычно рассматривают в качестве числовых характеристик системы случайных величин начальные и центральные моменты различных порядков.

Начальным моментом порядка системы двух случайных величин называется математическое ожидание произведения на : . (5.17)

Центральным моментом порядка системы двух случайных величин называется математическое ожидание произведения на : , (5.18)

где , – центрированные случайные величины.

Для системы дискретных случайных величин

; ,

а для системы непрерывных случайных величин

; .

Порядок моментов определяется суммой индексов .

Начальные моменты первого порядка – это математические ожидания случайных величин и :

; .

Отметим, что точка представляет собой характеристику положения случайной точки , и разброс возможных значений системы случайных величин происходит вокруг этой точки.

Центральные моменты первого порядка равны нулю: .

Начальные моменты второго порядка:

; ;

. (5.19)

Начальный момент называется смешанным начальным моментом второго порядка и обозначается как .

Центральные моменты второго порядка:

; ;

. (5.20)

Первые два центральных момента – это дисперсии случайных величин и . Момент называется смешанным центральным моментом второго порядка или ковариацией (корреляционным моментом) и обычно обозначается как .

Система двух непрерывных случайных величин.

Совместная плотность распределения

Система двух случайных величин называется непрерывной, если ее функция распределения есть непрерывная функция, дифференцируемая по каждому из аргументов, и у которой существует вторая смешанная производная . Обе составляющие системы и должны быть непрерывными случайными величинами.

Для определения плотности распределения рассмотрим на плоскости малый прямоугольник , примыкающий к точке с размерами на (см. рис. 5.7). Вероятность попадания на этот прямоугольник равна

.

При переходе к пределу получаем

.

Так как условились, что непрерывна и дифференцируема по каждому из аргументов, то последнее выражение есть не что иное, как вторая смешанная производная функции распределения

, (5.3)

которая является совместной плотностью распределения системы двух непрерывных случайных величин .

Геометрически совместная плотность изображается поверхностью распределения (см. рис. 5.8).

Свойства плотности распределения:

1. Совместная плотность распределения, положительно определенная функция по обоим аргументам,

.

2. Двойной интеграл в бесконечных пределах от плотности распределения равен единице (условие нормировки):

, (5.4)

т. е. объем под поверхностью распределения равен единице.

Вводится понятие элемента вероятности для системы двух непрерывных случайных величин в виде

,

который равен вероятности попадания случайной точки на элементарный прямоугольник . Приближенно эта вероятность равна объему элементарного параллелепипеда с высотой , опирающегося на прямоугольник .

Вероятность попадания случайной точки в некоторую область будет равна

.

Если область представляет собой прямоугольник (см. рис. 5.6), то

. (5.5)

Если использовать "опору на квадранты", то можно записать функцию распределения:

. (5.6)

Положив в выражении (5.6) , докажем второе свойство (см. выражение (5.4)) совместной плотности распределения, т. е.

.

Выразим законы распределения отдельных случайных величин, входящих в систему, через закон распределения системы двух случайных величин .

Для того чтобы получить функцию распределения одной из случайных величин, входящих в систему, нужно положить в выражении (5.6) аргумент, соответствующий другой случайной величине, равным , т. е.

, (5.7)

. (5.8)

Продифференцировав выражения (5.7) и (5.8) по соответствующим переменным, получим

, (5.9)

. (5.10)

Таким образом, чтобы получить плотность распределения одной из величин, входящих в систему, нужно проинтегрировать совместную плотность распределения в бесконечных пределах по другой случайной величине.

Зависимые и независимые случайные величины.

Условные законы распределения

Решение обратной задачи – отыскание закона распределения системы по законам распределения входящих в систему случайных величин – в общем случае невозможно.

В частном случае, когда случайные величины независимы, задача решается достаточно просто.

Две случайные величины и называются независимыми, если независимы все связанные с ними события: и , и и т. д.

Зависимость и независимость всегда взаимны. Таким образом, две случайные величины называются независимыми, если закон распределения каждой из них не зависит от того, какое значение приняла другая величина.

Функция распределения для независимых случайных величин будет иметь вид

, т. е. . (5.11)

Для зависимых случайных величин вводится понятие условного закона распределения.

Условным законом распределения случайной величины , входящей в систему , называется ее закон распределения, вычисленный при условии, что другая случайная величина приняла определенное значение. Условный закон распределения можно задавать или как условную функцию распределения , или как условную плотность .

Для произвольного типа систем случайных величин условная функция распределения может быть записана в виде

.

Условная вероятность , т. е. вероятность события при условии, что величина приняла значение меньшее, чем , и называется условной функцией распределения случайной величины при условии . Ее обозначают так: .

Таким образом, получаем .

На практике чаще применяют другой вид условного закона распределения: закон распределения одной из случайных величин при условии, что другая приняла вполне определенное значение.

Теорема умножения плотностей (без доказательства). Совместная плотность системы двух зависимых непрерывных случайных величин равна произведению плотности одной из них на условную плотность другой при заданном значении первой:

, (5.12)

. (5.13)

Теорема аналогична правилу умножения вероятностей в схеме событий и может быть выведена из него.

Для независимых случайных величин теорема умножения плотностей будет иметь вид

, (5.14)

т. е. совместная плотность распределения независимых случайных величин равна произведению плотностей обеих случайных величин, входящих в систему.

Из формул (5.12) и (5.13) можно получить выражения для определения условных плотностей распределения

. (5.15)

Условные плотности и обладают свойствами обычных плотностей, т. е. они положительно определенные и интеграл от них в бесконечных пределах равен единице (условие нормировки). Обе формулы (5.15) запишем следующим образом, учитывая выражения (5.9) и (5.10):

, (5.16)

о ткуда следует, что геометрическая интерпретация кривой условной плотности может быть получена путем сечения поверхности распределения плоскостью, параллельной координатной плоскости , отсекающей на оси отрезок (см. рис. 5.9). Коэффициент пропорциональности служит для того, чтобы для кривой выполнялось условие нормировки.

Ковариация

Для системы двух случайных величин ковариация выражается формулой

, (5.21)

при этом .

Дисперсию можно рассматривать как частный случай ковариации, т. е.

, .

Для независимых случайных величин ковариация всегда равна нулю. Докажем это утверждение.

,

но для независимых случайных величин по теореме умножения плотностей имеем

.

Следовательно, .

Таким образом, доказано, что ковариация двух независимых случайных величин равна нулю.

Ковариация характеризует степень зависимости случайных величин и их рассеивание вокруг точки . Ее можно выразить через начальные моменты:

. (5.22)

Ковариация двух случайных величин равна математическому ожиданию их произведения минус произведение математических ожиданий этих величин.

Размерность ковариации, также как и дисперсии, равна квадрату размерности случайной величины.

Степень зависимости случайных величин и удобнее характеризовать посредством безразмерной величины – коэффициента корреляции

, (5.23)

который характеризует степень линейной зависимости, проявляющейся в том, что при возрастании одной из случайных величин другая также проявляет тенденцию возрастать или, наоборот, убывать.

Если , то говорят, что случайные величины и связаны положительной корреляцией; при – отрицательная корреляция между случайными величинами. Диапазон изменения

. (5.24)

Модуль коэффициента корреляции характеризует степень "тесноты" линейной зависимости или уклонение корреляционной связи от линейной функциональной зависимости случайных величин и .

При независимости случайных величин , а при линейно функциональной зависимости , :

при ; при .

Если коэффициент корреляции равен нулю, то говорят, что случайные величины и не коррелированы, но это не означает, что они независимы. При можно лишь утверждать, что между случайными величинами отсутствует линейная связь.

Регрессия

Условным математическим ожиданием одной из случайных величин, входящих в систему , называется ее математическое ожидание, вычисленное при условии, что другая случайная величина приняла определенное значение, т. е. полученное на основе условного закона распределения.

Для дискретных случайных величин

; ,

где ; – условные вероятности случайных величин и соответственно.

Для непрерывных случайных величин

;

,

где и – условные плотности распределения случайных величин: при и при соответственно.

Условное математическое ожидание случайной величины при заданном : называется регрессией на ; аналогично – регрессией на . Графики этих зависимостей как функции или называют линиями регрессии, или "кривыми регрессии" на и на соответственно (см. рис. 5.10).

Для независимых случайных величин линии регрессии на и на параллельны осям абсцисс, так как математическое ожидание каждой из случайных величин не зависит от того, какое значение приняла другая случайная величина (см. рис. 5.10).

Двумерное нормальное распределение

Система двух непрерывных случайных величин распределена по нормальному закону, если ее совместная плотность имеет вид

. (5.25)

Это двумерное нормальное распределение, или нормальный закон распределения на плоскости, который полностью определяется заданием его числовых характеристик: .

Условные законы распределения:

;

.

Каждый из этих условных законов распределения является нормальным с условным математическим ожиданием и условной дисперсией, определяемой по формулам:

Отсюда следует, что для системы нормально распределенных случайных величин и линии регрессии и представляют собой прямые линии, т. е. регрессия для нормально распределенной системы всегда линейна. Для полного описания такой системы нужно знать пять параметров: координаты центра рассеивания и ковариационную матрицу, состоящую их четырех элементов:

, при этом .

При (случайные величины и не коррелированы) совместная плотность распределения системы имеет вид

,

т. е. если две нормальные случайные величины и не коррелированы, то они и независимы.

Закон распределения и числовые характеристики -мерного случайного вектора

Закон распределения системы случайных величин – -мерного случайного вектора с составляющими – в общем случае может быть задан в виде функции распределения:

. (5.26)

Свойства функции распределения -мерного случайного вектора аналогичны свойствам функции распределения одной или двух случайных величин:

1. есть неубывающая функция каждого из своих аргументов.

2. Если хотя бы один из аргументов обращается в , то функция распределения равна нулю.

3. Функция распределения любой подсистемы системы определяется, если положить в функции распределения аргументы, соответствующие остальным случайным величинам, равными : .

Чтобы определить функцию распределения любой из случайных величин, входящих в систему, нужно положить в все аргументы, кроме , равными :

.

4. Функция распределения непрерывна слева по каждому из своих аргументов.

5. Если случайные величины независимы, то .

Для системы непрерывных случайных величин функция распределения непрерывна и дифференцируема по каждому из аргументов, а также существует -я смешанная частная производная

,

которая является совместной плотностью распределения системы непрерывных случайных величин , т. е. . (5.27)

Свойства совместной функции распределения:

1. .

2. .

3. Если случайные величины независимы, то .

Закон распределения системы зависимых случайных величин, являющийся функцией многих аргументов, весьма неудобен в практическом применении. Поэтому в практических (инженерных) приложениях теории вероятностей рассматриваются в основном числовые характеристики -мерного случайного вектора:

1. математических ожиданий: ;

2. дисперсий: ;

3. ковариаций: .

Учитывая, что дисперсия случайной величины есть ковариация , то все ковариации ( ) совместно с дисперсиями образуют матрицу ковариаций (ковариационную или корреляционную матрицу) – таблицу, состоящую из строк и столбцов:

. (5.28)

Так как , то матрица ковариаций симметрична относительно главной диагонали, на которой стоят дисперсии случайных величин. Если случайные величины попарно не коррелированные, т. е. , то матрица (5.25) становится диагональной: .

Вместо матрицы ковариаций можно записать матрицу коэффициентов корреляции:

, (5.29)

где .

Отсюда единицы по главной диагонали в матрице (5.29). Если же случайные величины попарно не коррелированные, т. е. , то матрица коэффициентов корреляции будет единичной матрицей:

.

Иногда рассматривают условное математическое ожидание одной из случайных величин, например , при условии, что все остальные случайные величины приняли определенные значения: .

.

Это условное математическое ожидание называется регрессией на . Геометрически регрессия интерпретируется как поверхность в -мерном пространстве и называется поверхностью регрессии на .

Регрессия будет линейной, если поверхность регрессии описывается линейной функцией, т. е.

,

где – постоянные коэффициенты.

В двумерном случае линия регрессии прямая, в трехмерном – плоскость; в общем случае – гиперплоскость в пространстве измерений.

Для системы случайных величин , имеющей нормальное распределение, регрессия всегда линейна.

Закон распределения. Ряд распределения дискретной случайной величины

Законом распределения случайной величины называется любое правило (таблица, функция), позволяющее находить вероятности всевозможных событий, связанных со случайной величиной.

Рядом распределения дискретной случайной величины Х называется таблица, в верхней строке которой перечислены в порядке возрастания все возможные значения случайной величины а в нижней – вероятности этих значений: При этом – вероятность того, что в результате опыта случайная величина Х примет значение .

Ряд распределения записывается в виде таблицы

Х:			…		…
			…		…	.

(4.1)

События ; ; … несовместны и образуют полную группу, поэтому сумма всех вероятностей в (4.1) будет равна единице: . (4.2)

Отсюда следует, что единица распределена между возможными значениями случайной величины.

Пример. Ряд распределения случайной величины Х

Х:	0	1	2	3
	0,24	0,46	0,26	0,04	.

(4.3)

Графическое изображение ряда распределения называется многоугольником распределения.

Строится он так: для каждого возможного значения случайной величины восстанавливается перпендикуляр к оси абсцисс, на котором откладывается вероятность данного значения случайной величины. Полученные точки для наглядности соединяются отрезками прямых (см. рис. 4.1).

К роме этой геометрической интерпретации, часто полезна механическая интерпретация, при которой ряд распределения рассматривается как ряд материальных точек на оси абсцисс, имеющих значения , и соответственно массы в сумме составляющие единицу (см. рис. 4.2).

Функция распределения

Наиболее общей формой закона распределения, пригодной как для дискретных, так и недискретных случайных величин, является функция распределения.

Функцией распределения случайной величины Х называется вероятность того, что она примет значение меньшее, чем заданное х (аргумент функции) . (4.4)

Геометрически определение (4.4) интерпретируется как вероятность того, что случайная точка попадает левее заданной точки (см. рис. 4.3).

С войства функции распределения выводятся из геометрической интерпретации (см. рис. 4.3–4.4):

1. – неубывающая функция своего аргумента, т. е. если , то .

Для доказательства представим событие как сумму двух несовместных событий (см. рис. 4.4)

, где

.

По правилу сложения вероятностей

; .

Учитывая выражение (4.4), получаем , (4.5)

но так как , то окончательно имеем, что

.

2. ; .

Перемещая до бесконечности влево (при ) или вправо (при ), можно убедиться, что событие становится либо невозможным , либо достоверным .

Функция распределения любой случайной величины есть неубывающая функция своего аргумента, значения которой заключены между нулем и единицей; причем , а . В отдельных точках эта функция может иметь скачки (разрывы первого рода), на некоторых участках она может быть постоянной, на других – монотонно возрастать (см. рис. 4.5).

С помощью функции распределения можно вычислить вероятность попадания случайной точки на участок от до . Для определенности левый конец участка будем включать в него, а правый – нет.

Искомую вероятность получаем из выражения (4.5), положив и ,

,

Откуда . (4.6)

Т аким образом, вероятность того, что случайная величина Х в результате опыта попадет на участок от до (включая ), равна приращению функции распределения на этом участке (см. рис. 4.6). Другая запись выражения (4.6) ,

где квадратная скобка означает, что данный конец включается в участок, а круглая – что не включается.

Вероятность отдельного значения случайной величины. Если взять любую точку и примыкающий к ней участок , то, приближая к , в пределе получаем . (4.7)

Значение этого предела зависит от того, непрерывна ли функция в точке или терпит разрыв. Если функция в точке совершает скачок, то предел (4.7) равен величине этого скачка. Если же везде непрерывна, то вероятность каждого отдельного значения случайной величины Х равна нулю. Последнее утверждение не означает, что событие невозможно; оно возможно, но с нулевой вероятностью.

Функция распределения дискретной

случайной величины

Для случайной величины Х, представленной рядом распределения

Х :	0	1	2	3
	0,24	0,46	0,26	0,04	,

можно, задаваясь различными значениями х, вычислить функцию распределения :

;

;

;

;

.

На рис. 4.7 приведена рассчитанная функция распределения . Жирными точками отмечены значения в точках разрыва; функция при подходе к точке разрыва слева сохраняет свое значение (функция "непрерывна слева"). Заметим, что между скачками функция постоянна.

Функция распределения любой дискретной случайной величины есть разрывная ступенчатая функция, скачки которой происходят в точках, соответствующих возможным значениям случайной величины, и равны вероятностям этих значений. Сумма всех скачков функции распределения равна единице.

Индикатор события. Индикатором события А называется случайная величина , равная единице, если в результате опыта событие А произошло, и – нулю, если не произошло:

Ряд распределения случайной величины с вероятностью события А, равной , имеет вид

:	0	1
			.

М ногоугольник распределения случайной величины приведен на рис. 4.9, а функция распределения – на рис. 4.10.

Непрерывная случайная величина.

Плотность распределения

С лучайная величина Х называется непрерывной, если функция распределения не только непрерывна в любой точке, но и дифференцируема всюду, кроме, может быть, отдельных точек, где она терпит излом (см. рис. 4.11). Так как скачков эта функция не имеет, то вероятность любого отдельного значения непрерывной случайной величины равна нулю, т. е.

.

Поэтому говорить о распределении вероятностей отдельных значений не имеет смысла. В качестве закона распределения непрерывных случайных величин вводится понятие плотности распределения вероятностей или плотности распределения.

Исходим из механической интерпретации распределения вероятностей. Для дискретной случайной величины Х в точках сосредоточены массы , сумма которых равна единице. Для непрерывной случайной величины масса, равная 1, "размазана" по числовой оси с непрерывной в общем случае плотностью (см. рис. 4.12). Вероятность попадания случайной величины Х на любой участок может быть интерпретирована как масса, приходящаяся на этот участок, а средняя плотность на этом участке – как отношение массы к его длине. Для участка .

Н о вероятность определяется как приращение функции распределения на этом участке ,

и, переходя к пределу при , получаем плотность в точке

, т. е. производную функции распределения.

Плотностью распределения непрерывной случайной величины Х в точке х называется производная ее функции распределения в этой точке . (4.8)

Плотность распределения , как и функция распределения , является одной из форм закона распределения, но она существует только для непрерывных случайных величин. График плотности распределения называется кривой распределения (см. рис. 4.13).

В ероятность попадания случайной величины Х на участок с точностью до бесконечно малых высших порядков равна . Эта величина называется элементом вероятности и геометрически равна (приближенно) площади элементарного прямоугольника, опирающегося на отрезок длиной и примыкающего к точке (см. рис. 4.13).

Вероятность попадания случайной величины Х на участок от до равна сумме элементов вероятности на всем этом участке, т. е. интегралу вида

. (4.9)

В геометрической интерпретации эта вероятность равна площади фигуры, ограниченной сверху кривой распределения и опирающейся на участок (см. рис. 4.14). Функция распределения теперь может быть вычислена следующим образом: . (4.10)

Геометрически (см. рис. 4.14) – это площадь, ограниченная сверху кривой распределения и лежащая левее точки .

Свойства плотности распределения.

1. Плотность распределения – неотрицательная функция

,

как производная от неубывающей функции, и еще потому, что плотность, как физическая величина, не может быть отрицательной.

2. Интеграл в бесконечных пределах от плотности вероятности равен единице, т. е. (4.11)

Это свойство вытекает из выражения (4.10), если верхний предел будет и если учесть, что .

Числовые характеристики положения

Закон распределения полностью описывает случайную величину с вероятностной точки зрения. Но часто достаточно указать только отдельные числовые параметры, которые позволяют в сжатой форме выразить наиболее существенные черты распределения. Такие параметры называются числовыми характеристиками случайной величины.

Среди числовых характеристик можно выделить характеристики положения, т. е. некие средние, ориентировочные значения случайной величины, около которых группируются ее возможные значения.

Математическое ожидание. Из характеристик положения наибольшую роль играет математическое ожидание, которое иногда называют просто средним значением.

Определим математическое ожидание исходя из механической интерпретации распределения случайной величины. Если считать, что единичная масса распределена между точками на оси абсцисс со значениями (см. рис. 4.2), то центр масс такой системы материальных точек будет иметь координату :

, но ,

тогда

. (4.12)

Это среднее взвешенное значение случайной величины , в которое координата каждой точки входит с "весом", равным соответствующей вероятности, и называется математическим ожиданием.

Математическим ожиданием дискретной случайной величины называется сумма произведений всевозможных ее значений на вероятности этих значений.

В том случае, когда ,

.

Но бесконечная сумма может и расходиться, т. е. соответствующая случайная величина не будет иметь математического ожидания.

Пример. Случайная величина , заданная рядом распределения

Х:		2			…		…
					…		…	,

имеет расходящееся математическое ожидание, так как

,

и, значит, у такой случайной величины математического ожидания не существует.

При переходе к непрерывной случайной величине необходимо в формуле (4.12) заменить суммирование интегрированием, а вероятность – элементом вероятности:

. (4.13)

Область интегрирования определяется областью существования функции .

Для смешанной случайной величины можно записать, что

,

где сумма распространяется на все значения , имеющие отличные от нуля вероятности, а интеграл на все участки, где функция распределения непрерывна; множество участков непрерывности обозначено через .

Пользуясь интегралом Стилтьеса, можно записать выражение для математического ожидания любой случайной величины через ее функцию распределения в виде

.

М ода. Следующая характеристика положения – это мода. Модой случайной величины называют ее наиболее вероятное значение, т. е. то, для которого вероятность или плотность распределения достигают максимума. Моду обычно обозначают через . Если многоугольник вероятности или плотность распределения достигают максимума в нескольких точках, то такие распределения называют полимодальными (см. рис. 4.16).

Медиана. Еще одна характеристика положения непрерывных случайных величин. Медианой непрерывной случайной величины называется такое ее значение , для которого

,

т. е. одинаково вероятно, окажется ли случайная величина меньше или больше .

Геометрически медиана – это координата той точки на оси , для которой площади, лежащие слева и справа от нее, одинаковы и равны по (см. рис. 4.17). Для симметричных распределений математическое ожидание, мода и медиана совпадают.

Моменты. Дисперсия и среднее квадратичное

отклонение

Другие числовые параметры случайных величин характеризуют различные особенности распределения. Особое значение имеют начальные и центральные моменты.

Начальным моментом -го порядка случайной величины называется математическое ожидание -й степени этой величины:

.

Для дискретной случайной величины начальный момент -го порядка определяется суммой ,

где – возможные значения случайной величины _, – соответствующие вероятности.

Для непрерывной случайной величины по аналогии имеем , где – плотность распределения.

Необходимо отметить, что ранее введенная характеристика положения – математическое ожидание случайной величины – есть не что иное, как первый начальный момент, т. е. .

Центрированной случайной величиной называется отклонение случайной величины от ее математического ожидания

.

Очевидно, что математическое ожидание центрированной случайной величины равно нулю:

.

Аналогично и для непрерывной случайной величины.

Центрирование случайной величины равносильно переносу начала отсчета в точку . Моменты центрированной случайной величины называются центральными моментами. Они аналогичны моментам относительно центра масс в механике.

Центральным моментом -го порядка случайной величины называют математическое ожидание -й степени центрированной случайной величины:

.

При этом для дискретной случайной величины получаем ,

а для непрерывной .

Для любой случайной величины центральный момент 1-го порядка равен нулю: .

Центральные и начальные моменты связаны между собой. Так, для моментов второго порядка

.

Аналогично для третьего порядка .

Особое значение имеет второй центральный момент , который называется дисперсией случайной величины:

; .

Дисперсия случайной величины есть математическое ожидание квадрата соответствующей центрированной величины. Для вычисления дисперсии служат формулы: ; ; .

Дисперсия случайной величины равна математическому ожиданию ее квадрата минус квадрат математического ожидания.

Дисперсия случайной величины характеризует рассеяние, разбросанность случайной величины около ее математического ожидания. Само слово дисперсия означает "рассеяние".

Дисперсия имеет размерность квадрата случайной величины, и поэтому часто используется среднее квадратичное отклонение .

Для неотрицательной случайной величины в качестве характеристики "степени ее случайности" иногда применяют коэффициент вариации .

Таким образом, основные числовые характеристики случайной величины – математическое ожидание, дисперсия и среднее квадратичное отклонение. Они характеризуют как положение случайной величины, так и степень ее разбросанности. Для них очевидны следующие свойства:

1. Математическое ожидание неслучайной величины С равно самой неслучайной величине С: .

2. Дисперсия неслучайной величины С равна нулю, так как у такой величины нулевое рассеивание .

3. При прибавлении к случайной величине Х неслучайной величины С к ее математическому ожиданию прибавляется та же величина: .

4. При прибавлении к случайной величине Х неслучайной величины С ее дисперсия не изменяется: .

5. При умножении случайной величины Х на неслучайную величину С на ту же величину умножается ее математическое ожидание: .

6. При умножении случайной величины Х на неслучайную величину С ее дисперсия умножается на : .

7. При умножении случайной величины Х на неслучайную величину С ее среднее квадратичное отклонение умножается на модуль : .

Третий центральный момент служит для характеристики асимметрии ("скошенности") распределения. Для симметричных относительно математического ожидания распределений все нечетные центральные моменты равны нулю: ,

так как каждому положительному слагаемому соответствует равное по модулю отрицательное.

Третий центральный момент имеет размерность куба случайной величины, и для получения безразмерной характеристики – коэффициента асимметрии – делят на : , show – "косой".

Н а рис. 4.17 приведены две плотности распределения: у положительный коэффициент асимметрии, а у – отрицательный.

Четвертый центральный момент характеризует островершинность ("крутость") распределения. Это свойство определяется с помощью так называемого эксцесса

.

За норму выбирается нормальное распределение, у которого отношение и соответственно эксцесс равен нулю. Поэтому распределения более островерхие, чем нормальное, имеют положительный эксцесс, а менее островерхие (плосковерхие) – отрицательный (см. рис. 4.18).

Производящая функция

Пусть имеется случайная величина , принимающая неотрицательные целочисленные значения с вероятностями , где .

Производящей функцией для случайной величины называется функция вида

, (4.14)

где – аргумент функции .

Коэффициенты при равны вероятностям того, что случайная величина примет значение . В случае, когда число возможных значений конечно , выражение (4.14) сохраняет силу, так как при все вероятности обращаются в нуль. При

.

Если взять первую производную по от производящей функции, то .

При получаем .

Но это математическое ожидание случайной величины , т. е. математическое ожидание неотрицательной целочисленной случайной величины равно первой производной ее производящей функции при .

Возьмем вторую производную производящей функции .

При имеем .

Первая сумма – это второй начальный момент случайной величины , а вторая – ее математическое ожидание, откуда получаем ,

т. е. второй начальный момент случайной величины равен сумме второй и первой производных производящей функции при .

Аналогично, взяв третью производную, получаем при .

Таким образом, в случае необходимости можно выразить начальные моменты более высокого порядка через моменты более низкого.

Биноминальное распределение

Дискретная случайная величина имеет биноминальное распределение, если ее возможные значения имеют соответствующие вероятности:

, (4.15)

где .

Биноминальное распределение (4.15) зависит от двух параметров, и . Это распределение случайной величины – числа появления события в независимых испытаниях, в каждом из которых событие может наступить с вероятностью .

Для определения числовых характеристик случайной величины _, распределенной по биноминальному закону, найдем ее производящую функцию

. (4.16)

Для нахождения математического ожидания продифференцируем (4.16)

и при получаем .

Таким образом, математическое ожидание случайной величины , распределенной по биноминальному закону, будет равно .

Аналогично вычисляем вторую производную: ,

при имеем .

Второй начальный момент

,

а дисперсия случайной величины , распределенной по биноминальному закону, будет иметь вид

.

Таким образом, получили ; ; . (4.17)

Распределение Пуассона

Дискретная случайная величина имеет распределение Пуассона, если ее возможные значения (бесконечное, но счетное множество) имеют соответствующие вероятности:

. (4.18)

Распределение Пуассона зависит лишь от одного параметра , который является одновременно и математическим ожиданием, и дисперсией случайной величины . Для доказательства этого утверждения запишем производящую функцию в виде . Учитывая, что , получаем . (4.19)

Первая производная производящей функции при равна математическому ожиданию случайной величины : .

Вторая производная при будет равна , а второй начальный момент . И наконец, дисперсия случайной величины .

Пуассоновское распределение является предельным случаем биноминального, когда число независимых опытов неограниченно возрастает и одновременно вероятность (успех в каждом опыте) неограниченно уменьшается, при этом произведение в пределе становится равным :

Из предельного свойства следует, что распределение Пуассона с параметром можно применять вместо биноминального, когда число опытов очень велико, а вероятность очень мала, т. е. в каждом отдельном опыте событие наступает крайне редко. Поэтому распределение Пуассона часто называют "законом редких событий".

Простейший поток событий

Рассматривается следующая задача: на временной оси случайным образом возникают точки – моменты появления каких-то однородных событий, например телефонных вызовов или обращений к серверу. Последовательность таких моментов (вызовов) называют потоком событий. Хотя потоки могут быть самыми различными, предположим, что некий поток обладает следующими свойствами.

Стационарность. Это свойство означает, что вероятность попадания того или иного числа событий на временной интервал не зависит от того, где расположен этот участок, а зависит только от длины интервала , т. е. среднее число событий, появляющихся в единицу времени, постоянно. Обозначают его через и называют интенсивностью потока.

Ординарность. Это свойство означает, что события возникают по одному. Поэтому ординарность потока выражается в том, что вероятность попадания на малый участок двух и более событий пренебрежимо мала по сравнению с вероятностью попадания на него только одного события (это может быть только при малых ). Другими словами, при вероятность попадания на этот участок более одного события – бесконечно малая величина более высокого порядка малости, чем вероятность попадания на участок ровно одного события.

Отсутствие последействия. Свойство означает, что вероятность попадания того или иного числа событий на заданный участок оси не зависит от того, сколько событий попало на любой другой, не перекрывающийся с ним участок. Иначе будущее потока не зависит от его прошлого.

Потоки, обладающие этими тремя свойствами, называются простейшими потоками событий. Простейший поток тесно связан с распределением Пуассона и поэтому часто называется стационарным пуассоновским потоком.

Возьмем на оси временной интервал и докажем, что случайная величина – число событий, попадающих на этот участок, имеет распределение Пуассона.

У часток разделим на равных частей длиной (см. рис. 4.19). Математическое ожидание (среднее значение) числа событий, попадающих на участок , будет равен , где – интенсивность потока. Согласно свойству ординарности считаем, что на участок попадает не более одного события. Сам факт попадания (или непопадания) события на участок опишем с помощью индикатора событий

.

Ряд распределения случайной величины

:	0	1

позволяет вычислить математическое ожидание

,

где – вероятность того, что участок занят.

Среднее значение равно математическому ожиданию числа событий, попадающих на участок , т. е. получаем

.

Появление события на любом из участков можно рассматривать как независимые опыты (отсутствие последействия) с вероятностью появления (положительного исхода) . В этом случае число занятых элементарных участков на интервале – это случайная величина , имеющая биноминальное распределение: .

При неограниченном увеличении числа элементарных участков (при ) вероятность того, что на участок попадет ровно событий, будет равна .

Но поскольку при и биноминальное распределение стремится к пуассоновскому с параметром , то окончательно получаем .

Стационарность потока не является обязательным для того, чтобы число событий, попадающих на участок , имело распределение Пуассона. Если интенсивность потока не постоянна, а зависит от времени ( ), то случайная величина – попадание ровно событий на участок длиной , начинающийся в точке и оканчивающийся в точке , имеет также распределение Пуассона ; .

Геометрическое распределение

Дискретная случайная величина имеет геометрическое распределение, если ее возможные значения (бесконечное, но счетное множество) имеют вероятности:

, для , (4.20)

где .

Вероятности для последовательных значений образуют геометрическую прогрессию с первым членом и знаменателем .

На практике геометрическое распределение появляется при независимых испытаниях с целью получения положительного результата – наступления события , вероятность появления которого равна . Случайная величина – число неудачных попыток – имеет геометрическое распределение (4.20). В этом случае имеем:

;

.

Ряд распределения:

:	0	1	2
						.

Определим числовые характеристики случайной величины , имеющей геометрическое распределение, используя производящую функцию

.

Суммируя члены бесконечно убывающей геометрической прогрессии со знаменателем , получаем

. (4.21)

Продифференцировав по производящую функцию (4.21), получаем

.

Значит, .

Вторая производная при равна .

Отсюда находим второй начальный момент случайной величины :

.

Дисперсию и среднее квадратичное отклонение случайной величины вычисляем по формулам:

; .

Гипергеометрическое распределение

Дискретная случайная величина имеет гипергеометрическое распределение с параметрами , если ее возможные значения имеют вероятности:

, для .

Модель этого распределения такова: имеется урна, в которой белых и черных шаров; из урны вынимается шаров. Случайная величина – это число белых шаров среди вынутых.

Важнейшие числовые характеристики случайной величины , имеющей гипергеометрическое распределение (без вывода), (4.22)

. (4.23)

При шаров так много, что вероятность достать из урны один белый шар не изменяется при вынимании из урны шаров любого цвета. В этом случае гипергеометрическое распределение можно аппроксимировать биноминальным распределением с параметрами и . Из (4.22–4.23) получаем математическое ожидание и дисперсию в виде

,

где – вероятность достать один черный шар.

Равномерное распределение

Непрерывная случайная величина имеет равномерное распределение на участке от до , если ее плотность распределения на этом участке постоянна: (4.24)

В дальнейшем для непрерывных случайных величин выражение для плотности записывается только для тех участков, где она отлична от нуля: .

Значения в крайних точках и промежутка не указываются, так как вероятность попадания в любую из этих точек равна нулю. Кривая распределения приведена на рис. 4.19. Иногда это распределение называют прямоугольным. Математическое ожидание случайной величины равно середине участка : .

Этот же результат можно получить, вычисляя интеграл вида .

Дисперсия и среднее квадратичное отклонение равны:

; .

Моды равномерное распределение не имеет. Медиана равна математическому ожиданию, так как равномерное распределение симметрично относительно математического ожидания. Из этого же свойства следует, что третий центральный момент тоже равен нулю ( ).

Для определения эксцесса вычислим четвертый центральный момент:

.

Таким образом, эксцесс случайной величины равен .

С ледовало ожидать, что эксцесс этой случайной величины будет отрицательным.

Вычислить вероятность попадания случайной величины на любую часть участка можно путем геометрических представлений (см. рис. 4.20):

.

Функция распределения является функцией, линейно взрастающей от нуля до единицы, при изменении аргумента от до . При любом функция распределения равна площади, ограниченной кривой распределения и лежащей левее точки (см. рис. 4.20).

.

Моделью равномерного распределения является гармоническое колебание со случайной начальной фазой

,

где – частота, а начальная фаза является непрерывной случайной величиной с равномерным законом распределения:

.

Показательное распределение

Непрерывная случайная величина имеет показательное (экспоненциальное) распределение, если ее плотность распределения имеет вид , или , (4.25)

где – единственный параметр распределения.

Функция распределения: . (4.26)

М атематическое ожидание показательного распределения:

. (4.27)

При интегрировании по частям необходимо учесть, что при стремится к нулю быстрее, чем возрастает любая степень .

Выражение (4.27) показывает, что математическое ожидание случайной величины, имеющей показательное распределение, обратно его параметру . При этом параметр имеет размерность, обратную размерности случайной величины .

Дисперсия и среднее квадратичное отклонение: , . (4.28)

Среднее квадратичное отклонение случайной величины , распределенной по показательному закону, равно ее математическому ожиданию.

Третий центральный момент: ,

и соответственно коэффициент асимметрии .

Следовало ожидать, что асимметрия показательного распределения будет положительной.

Показательное распределение связано с простейшим потоком событий. Покажем, что интервал времени между двумя соседними событиями в простейшем потоке имеет показательное распределение с параметром, равным интенсивности потока, т. е. .

Для этого найдем функцию распределения случайной величины – интервала времени между соседними событиями в потоке: .

Н а оси времени отметим интервал между соседними событиями потока (см. рис. 4.24). Чтобы выполнялось неравенство , необходимо, чтобы хотя бы одно событие потока попало на участок длины . Вероятность того, что это так,

, где вероятность для пуассоновского потока равна , откуда функция распределения будет иметь вид , после дифференцирования которой получаем искомую плотность распределения .

Показательное распределение широко используется в теории марковских случайных процессов, теории массового обслуживания и теории надежности.

Нормальное распределение

Случайная величина распределена по нормальному (гауссовому) закону с параметрами и , если ее плотность распределения имеет вид . (4.29)

Кривая нормального распределения (см. рис. 4.25) имеет симметричный холмообразный вид. Максимальное значение кривой, равное , достигается при , т. е. мода .

Вычислим основные характеристики случайной величины , распределенной по нормальному закону. Математическое ожидание .

Сделаем замену переменной интегрирования (4.30)

и получим .

Первый из интегралов равен нулю, как интеграл в симметричных пределах от нечетной функции; второй – это известный интеграл Эйлера – Пуассона .

Таким образом, математическое ожидание нормального распределения (4.31)

совпадает с параметром распределения . Иногда называют центром рассеивания случайной величины . Дисперсия гауссовой случайной величины .

Используя замену переменной (4.30), получаем

.

Первое слагаемое в фигурных скобках равно нулю, так как при быстрее, чем возрастает . Второе слагаемое равно .

Таким образом, дисперсия . (4.32)

Значит, параметр распределения есть не что иное, как среднее квадратичное отклонение гауссовой случайной величины : .

Размерности и совпадают с размерностью случайной величины .

Положение кривой распределения и ее форма полностью определяются параметрами и .

Вычислим моменты нормальной случайной величины . Так, -й центральный момент будет

.

После замены переменой (4.30) получаем . (4.33)

Естественно, что при любом нечетном , как интеграл в симметричных пределах от нечетной функции. Для четных :

.

Первый член в фигурных скобках равен нулю, и поэтому получаем .

Подставим в формулу (4.33) вместо : . (4.35)

Сравнение выражений (4.33) и (4.34) показывает, что эти формулы различаются только множителем . Следовательно, .

Получено простое рекуррентное соотношение, позволяющее выражать центральные моменты более высоких порядков через центральные моменты более низких порядков. Если учесть, что для любой случайной величины , то получаем ; ; .

Эксцесс нормального распределения равен нулю: .

Вероятность попадания случайной величины на участок от до определятся следующим образом:

,

где – функция Лапласа.

Вероятность того, что абсолютная величина отклонения гауссовой случайной величины от своего математического ожидания окажется меньше любого , равна . 4.37)

Если в выражении (4.36) положить , и учесть, что , то получаем функцию распределения нормальной случайной величины в виде . (4.38)

Модель нормального распределения. Складывается большое количество независимых случайных величин

,

при этом предполагается, что каждая из сравнима по степени своего влияния на рассеивание суммарной случайной величины . Закон распределения суммы этих случайных величин (случайной величины ) будет тем ближе к нормальному, чем больше число слагаемых , вне зависимости от того, какие законы распределения имеют отдельные величины . Таково содержание центральной предельной теоремы теории вероятностей.

Гамма-распределение и распределение Эрланга

Неотрицательная случайная величина имеет гамма-распределение, если ее плотность распределения выражается формулой , (4.39)

где – параметры распределения; – гамма-функция , (4.40)

которая обладает следующими свойствами: . (4.41)

Для целых неотрицательных получаем .

Математическое ожидание случайной величины , подчиняющейся гамма-распределению,

.

Учитывая свойства (4.41), окончательно получаем . (4.42)

Второй начальный момент находим по формуле

,

откуда дисперсия . (4.43)

При гамма-распределение превращается в показательное с параметром , так как

.

При целых и бóльших единицы гамма-распределение превращается в распределение Эрланга k-го порядка: . (4.44)

Закон распределения Эрланга k-го порядка тесно связан со стационарным пуассоновским потоком с интенсивностью .

Модель распределения Эрланга k-го порядка. Складывается независимых случайных величин , каждая из которых подчиняется показательному закону с одним и тем же параметром . В этом случае суммарная случайная величина имеет распределение Эрланга k-го порядка.

Независимые испытания

Несколько опытов считаются независимыми, если вероятность того или иного исхода каждого из опытов не зависит от того, какие результаты имели другие опыты, например несколько последовательных бросаний монеты, несколько выниманий карты из колоды при условии ее возврата в колоду и перемешивания.

Независимые испытания могут проводиться как в одинаковых, так и в различных условиях. В первом случае вероятность события А во всех опытах одна и та же, и к нему относится частная теорема о повторении опытов. Во втором случае вероятность события А от опыта к опыту меняется – общая теорема о повторении опытов.

Пример. Производятся три независимых выстрела по мишени с вероятностью попадания при каждом выстреле. Найти вероятность ровно двух попаданий при трех выстрелах.

Решение. Событие в мишени ровно два попадания может произойти тремя способами:

1) попаданием в первом и втором выстрелах, промахом в третьем;

2) попаданием в первом и третьем выстрелах, промахом во втором;

3) попаданием во втором и третьем выстрелах, промахом в первом.

Событие есть сумма трех несовместных вариантов:

,

где – попадание в -м выстреле, – промах.

Учитывая, что все три варианта события несовместны, а события, входящие в произведения, независимы, по правилам сложения и умножения вероятностей

.

Обозначив , получаем

.

Аналогичным образом, перечисляя все возможные варианты, в которых интересующее нас событие может появиться заданное число раз, можно решить более общую задачу.

Формула Бернулли

Проводится независимых опытов, в каждом из которых может появиться или не появиться некоторое событие А, вероятность появления равна , а не появления – . Требуется найти вероятность того, что событие А в этих опытах появится ровно раз.

Событие – появление А ровно раз – разложим на сумму произведений событий, состоящих в появлении или непоявлении А в отдельном опыте ( и ). Каждый вариант события (каждый член суммы) должен состоять из появлений А и непоявлений, т. е.

,

причем А входит в каждое слагаемое раз, а – раз.

Число комбинаций такого рода равно . Вероятность каждой такой комбинации по теореме умножения для независимых событий равна . Так как варианты между собой несовместны, то по теореме сложения вероятность события имеем

.

Таким образом, можно сформулировать частную теорему о повторении опытов. Если производится независимых опытов, в каждом из которых событие А может появиться с вероятностью , то вероятность того, что событие А появится ровно раз, равна . (3.1)

Соотношение (3.1) называется формулой Бернулли и описывает, как распределяются вероятности между возможными значениями некоторой случайной величины – числа появлений события А в испытаниях. Так как вероятности по форме представляют собой члены разложения бинома , то распределение вероятностей (3.1) называется биноминальным распределением.

В связи с тем что все возможные несовместные между собой исходы испытаний состоят в появлении события А 0 раз, 1 раз, 2 раза, …, раз, то понятно, что .

Этот же результат может быть получен без учета теоретико-вероятностных соображений из равенства

.

Во многих практических задачах, кроме вероятности – появления события А ровно раз, необходимо найти вероятность появлений события А не менее . Для этого обозначим через событие, состоящее в появлении события А не менее раз, а его вероятность обозначим через . Очевидно, что

,

откуда по теореме сложения ,

т. е. . (3.2)

При вычислении часто удобнее не использовать соотношение (3.2), а перейти к противоположному событию и вычислять вероятность по формуле

.

Локальная и интегральная предельные теоремы

Рассмотрим пример, относящийся к независимым испытаниям, не доводя до конца вычисление искомых вероятностей.

Пример. По каналу связи передано сообщение, состоящее из 1000 нулей и единиц. Вероятности передачи как единицы, так и нуля одинаковы и равны 0,5. Найти вероятность того, что из 1000 переданных двоичных цифр число нулей окажется: а) ровно 500; б) не более 550.

Решение. В примере , , , и поэтому:

а) число нулей окажется равным 500:

; (3.3)

б) вероятность того, что число нулей окажется не более 550, равна сумме вероятностей, что число нулей окажется равным 0, 1, 2, …, 550, т. е.

. (3.4)

Пример показывает, что непосредственное вычисление вероятностей по формулам (3.3) и (3.4) весьма трудоемко, и возникает задача нахождения простых приближенных формул для вычислений вероятностей и при больших .

Исследуем поведение вероятностей при постоянном в зависимости от . Для получаем

. (3.5)

Из выражения (3.5) следует, что:

, если , т. е. ;

, если ;

, если .

Видим, что с ростом вероятность сначала возрастает, затем достигает максимума и наконец убывает. При этом если величина является целым числом, то максимального значения вероятность достигает при двух значениях : и . Если же не является целым, то максимального значения вероятность достигает при , равном наименьшему целому числу, большему, чем .

Если , то .

При .

Оказалось, что при больших почти все вероятности очень малы. И только для близких к вероятнейшему значению вероятности сколько-нибудь заметно отличаются от нуля. Такое поведение вероятности при больших и лежит в основе локальной и интегральной теорем Муавра – Лапласа.

Впервые асимптотическую формулу, облегчающую вычисление при больших , нашел Муавр в 1730 г. для частного случая при , а затем обобщил Лаплас для произвольного , отличного от 0 и 1.

Вводится обозначение ,

т. е. величина x зависит как от и , так и от .

Локальная теорема Муавра – Лапласа (без доказательства). Если вероятность наступления некоторого события А в независимых испытаниях постоянна и равна , то вероятность того, что в этих испытаниях событие А наступит ровно раз, удовлетворяет соотношению

. (3.6)

Теперь решим задачу а) рассматриваемого примера, используя соотношение (3.6). Нужно найти при , и .

По формуле (3.6) имеем .

Для нашего примера получаем и соответственно .

Функция табулирована (см. прил. 1). Так как значение , то окончательно получаем .

Точные подсчеты по формуле Бернулли (3.1) дают .

Интегральная теорема Муавра – Лапласа (без доказательства). Если есть число наступлений события А в независимых испытаниях, в каждом из которых вероятность этого события равна , причем , то равномерно относительно и имеет место соотношение

. (3.7)

Решение задачи б) при использовании формулы (3.7) требует умения вычислять значение интеграла Лапласа

(3.8)

при любых значениях . Так как интеграл (3.8) при через элементарные функции не выражается, то для вычислений интеграла Лапласа требуются специальные таблицы (прил. 2).

Интеграл

вычисляем через значения функции , причем в приложении 2 приведены значения только для положительных , так как интеграл Лапласа является нечетной функцией, для которой выполняется условие, что (см. рис. 3.1).

Теперь решим задачу б) рассматриваемого примера, используя соотношение (3.7).

После подстановки значений получаем

Значение , так как уже величина (прил. 2).

Терема Пуассона

Было замечено, что асимптотическое представление вероятности посредством функции получается тем хуже, чем больше отличается от , т. е. чем меньшее или приходится рассматривать. Однако значительное количество задач связано с необходимостью вычислять вероятности именно при малых . То есть, чтобы теорема Муавра – Лапласа дала приемлемый результат, необходимо произвести очень большое число независимых испытаний. Задача нахождения асимптотической формулы вычисления вероятностей при малых решена теоремой Пуассона.

Теорема Пуассона. Если , то вероятность ровно положительных исходов при испытаниях равна

, (3.9)

где .

Пример. Из одной ЭВМ на другую необходимо передать файл объемом 8 000 символов. Вероятность ошибки при передаче символа равна 0,001. Найти вероятность того, что будет не менее двух ошибок при передаче файла.

Решение. Считая передачу каждого символа как испытание, а ошибку как событие, можно вычислить вероятность , используя формулу (3.9) при

Вычисление по точной формуле (3.1) дает

,

т. е. ошибка меньше 0,001 %.

Практические соображения по применению теоремы Пуассона: .

Элементарные сведения из теории множеств

Множеством называется любая совокупность объектов произвольной природы, каждый из которых называется элементом множества.

Примеры множеств: множество студентов на лекции; множество точек на плоскости, лежащих внутри круга радиуса r; множество точек на числовой оси, расстояние от которой до точки b с абсциссой а не превышает d; множество натуральных чисел.

Множества обозначаются по-разному. Множество M натуральных чисел от 1 до 100 может быть записано как

целое;

Множество точек на числовой оси, расстояние от которой до точки b с абсциссой а не превышает d, можно записать в виде

или ,

где x – абсцисса точки.

Множество точек плоскости, лежащих внутри или на границе круга радиуса r с центром в начале координат,

или

где x, y – декартовы координаты точки.

Еще одна запись этого множества

,

где – одна из полярных координат точки.

По числу элементов множества делятся на конечные и бесконечные. Множество конечно и состоит из 100 элементов. Но множество может состоять и из одного элемента и даже вообще не содержать элементов.

Множество всех натуральных чисел бесконечно, также как бесконечно множество четных чисел .

Бесконечное множество называется счетным, если все его элементы можно расположить в какой-то последовательности и пронумеровать (оба множества, и , являются счетными).

Множества S и C бесконечны и несчетны (их элементы нельзя пронумеровать).

Два множества A и B совпадают, если они состоят из одних и тех же элементов: и . Совпадение множеств обозначается знаком равенства: А=В. Запись обозначает, что объект а является элементом множества А или "а принадлежит А". Другая запись означает , что "а не принадлежит А".

Множество, не содержащее ни одного элемента, называется пустым и обозначается символом .

Множество В называется подмножеством (частью) множества А, если все элементы В содержатся и в А, и обозначается как или . Например, .

Подмножество может быть равно самому множеству. Графически можно изобразить соотношение множества и подмножества, как показано на рис. 2.1, где каждая точка фигуры В принадлежит и фигуре А, т. е. .

Объединением (суммой) множеств А и В называется множество , состоящее из всех элементов А и всех элементов В. Таким образом, объединение – это совокупность элементов, принадлежащих хотя бы одному из объединяемых множеств.

Например: .

Г еометрическая интерпретация объединения двух множеств А и В показана на рис. 2.2.

Аналогично определяется объединение (сумма) нескольких множеств

,

где результирующее множество есть множество всех элементов, входящих хотя бы в одно из множеств: .

Пересечением (произведением) множеств А и В называется множество D, состоящее из элементов, входящих одновременно и в А, и в :

.

Г еометрическая интерпретация пересечения представлена на рис. 2.3.

Аналогично определяется пересечение нескольких множеств

как множество, состоящее из элементов, входящих одновременно во все множества.

Операции объединения (сложения) и пересечения (умножения) множеств обладают рядом свойств, которые аналогичны свойствам сложения и умножения чисел:

1. Переместительное свойство:

.

2. Сочетательное свойство:

.

3. Распределительное свойство:

.

Прибавление пустого множества и умножение на пустое множество аналогичны соответствующим операциям над числами, если считать нуль за пустое множество:

.

Некоторые операции над множествами не имеют аналогов в обычных операциях над числами, в частности

.

Аксиомы теории вероятностей и их следствия.

Правила сложения вероятностей

Пользуясь элементарными сведениями по теории множеств, можно дать теоретико-множественную схему построения теории вероятностей и ее аксиоматику.

При опыте со случайным исходом имеется множество всех возможных исходов опыта. Каждый элемент этого множества называют элементарным событием, само множество – пространством элементарных событий. Любое событие А в теоретико-множественной трактовке есть некоторое подмножество множества : . Если же в свою очередь множество А распадается на несколько непересекающихся подмножеств ( при ), то события называют "вариантами" события А. На рис. 2.4 событие А распадается на три варианта: .

Н апример, при бросании игральной кости пространство элементарных событий . Если событие , то варианты события А: ,

т. е. .

Подмножеством множества можно рассматривать и само – оно будет в этом случае достоверным событием. Ко всему пространству элементарных событий добавляется еще и пустое множество ; это множество рассматривается тоже как событие, но невозможное.

Теоретико-множественное толкование ранее рассмотренных свойств событий сводится к следующему:

1. Несколько событий образуют полную группу, если , т. е. их сумма (объединение) есть достоверное событие.

2. Два события А и В называются несовместными, если соответствующие им множества не пересекаются, т. е. . Несколько событий называются попарно несовместными, если появление любого из них исключает появление каждого из остальных: при .

3. Суммой двух событий А и В называется событие С, состоящее в выполнении события А или события В, или обоих событий вместе. Суммой нескольких событий называется событие, состоящее в выполнении хотя бы одного из них.

4. Произведением двух событий А и В называется событие D, состоящее в совместном выполнении события А и события В. Произведением нескольких событий называется событие, состоящее в совместном выполнении всех этих событий.

5. Противоположным по отношению к событию А называется событие , состоящее в непоявлении А и соответственно дополняющее событие А до (см. рис. 2.5).

Н а основе изложенного толкования событий как множеств формулируются аксиомы теории вероятностей.

Каждому событию А ставится в соответствие некоторое число, называемое вероятностью события . Поскольку любое событие есть множество, то вероятность события есть функция множества.

Эти вероятности событий должны удовлетворять следующим аксиомам:

1. Вероятность любого события заключена между нулем и единицей:

.

2. Если А и В – несовместные события, т. е. , то

.

Эта аксиома легко обобщается с помощью сочетательного свойства сложения на любое число событий. Если при , то

, (2.1)

т. е. вероятность суммы несовместных событий равна сумме вероятностей этих событий.

Эту аксиому называют "теоремой" сложения (для схемы случаев она может быть доказана), или правилом сложения вероятностей.

3. Если имеется счетное множество несовместных событий ( при ), то

.

Эта аксиома не выводится из предыдущей аксиомы и поэтому формулируется как отдельная.

Для схемы случаев (схемы урн), т. е. для событий, обладающих свойствами полноты, несовместности и равновозможности, можно вывести классическую формулу (1.1) для непосредственного подсчета вероятностей из правила сложения (2.1).

Пусть результаты опыта представляются в виде n несовместных случаев . Случай благоприятен событию А, если он представляет подмножество А ( ), или, иначе говоря, это вариант события А. Так как образуют полную группу, то

.

Но все случаи несовместны, и к ним применимо правило сложения вероятностей

.

Кроме этого, так как все события равновозможны, то

.

Благоприятные событию случаи образуют его вариантов, и так как вероятность каждого из них равна , то по правилу сложения получаем

.

Но это и есть классическая формула (1.1).

Следствия правила сложения вероятностей

1. Сумма вероятностей полной группы несовместных событий равна единице, т. е. если

при ,

то

.

Доказательство. Так как события несовместны, то к ним применимо правило сложения

.

2. Сумма вероятностей противоположных событий равна единице:

,

так как события А и образуют полную группу.

Правило широко используется в задачах, когда проще вычислить вероятность противоположного события.

3. Если события А и В совместны, т. е. , то

. (2.2)

Д оказательство. Представим как сумму несовместных (непересекающихся) вариантов (см. рис. 2.6)

.

По правилу сложения

. (2.3)

Но , ,

откуда получаем

После подстановки полученных выражений в (2.3) имеем

что и требовалось доказать.

Формулу (2.3) можно вывести и для более чем двух совместных событий.