3. Статистический анализ данных. Методы уменьшения дисперсии

Предположим, что в ходе статистического эксперимента мы получили выборку независимых наблюдений над интересующей нас величиной с неизвестным средним и неизвестной дисперсией . Из курса математической статистики известно, что выборочное среднее

и выборочная дисперсия

являются несмещенными оценками для среднего и дисперсией соответственно.

Для построения доверительного интервала для вспомним центральную предельную теорему, которая утверждает, что при достаточно больших величина

приближенно является стандартной гауссовской величиной. Это утверждение остается приближенно справедливым и в том случае, когда неизвестное стандартное отношение заменяется на выборочное стандартное отклонение . Пусть – - квантиль стандартного гауссовского распределения. Тогда

или

.

Это означает, что интервал

является приближенным -м доверительным интервалом для . Например, при , при .

Заметим, что если элементы выборки нормально распределены, то случайная величина

для всех имеет распределение Стьюдента с -й степенью свободы. В этом случае для получения точного доверительного интервала надо заменить квантиль нормального распределения на квантиль распределения Стьюдента .

Поставим вопрос о том, сколько нужно сделать наблюдений для того, чтобы оценка находилась на расстоянии от истинного значения ? Это означает, что половина длины доверительного интервала равняется :

,

отсюда следует

.

Для того, чтобы увеличить точность доверительной оценки в раз, количество наблюдений нужно увеличить в раз.

Другой подход состоит в том, чтобы уменьшить дисперсию (или выборочную дисперсию ).

Рассмотрим некоторые способы уменьшения дисперсии. Метод значимой выборки заключается в том, что простая случайная выборка заменяется на другую случайную выборку с тем же средним, но меньшей дисперсией.

Многие задачи статистического моделирования ставятся как задачи нахождения среднего значения некоторой функции от случайной величины (обычной или векторной). Первые применения статистического моделирования были именно такого рода, а сам метод статистического вычисления таких средних называют методом Монте-Карло. Пусть

,

где – плотность . Пусть – другая плотность и пусть

.

Предположим, что там, где равняется 0, также равняется 0 и тоже равняется 0. Пусть обозначает индикатор множества . Тогда

.

Если – независимые случайные величины с плотностью , то мы можем оценить интеграл несмещенной оценкой

с дисперсией

. (7.19)

Оказывается, что удачным подбором плотности можно добиться того, что дисперсия (7.19) будет значительно меньше дисперсии прямой оценки

.

Рассмотрим пример. Пусть ~ и нас интересует вероятность того, что , при »1:

.

Пусть

Тогда

.

В качестве плотности выберем плотность показательного распределения с параметром :

Тогда

.

Получаем

. (7.20)

Минимизируя (7.20) по , легко видеть, что минимум достигается при

при »1.

При таком выборе

.

Дисперсия первоначальной оценки равна

.

Видно, что при больших значениях получается существенный выигрыш.

Рассмотрим еще один метод уменьшения дисперсии, называемый методом противоположных выборок. Пусть случайные величины являются независимыми корнями величины со средним значением и дисперсией . Тогда выборочное среднее может быть записано как

, (7.21)

где

.

Вычислим дисперсию величины :

. (7.22)

Так как величины и независимы, то , и в этом случае переход от величин к величинам не приводит к уменьшению дисперсии выборочного среднего. Откажемся от условия независимости величин и и используем пары с отрицательной ковариацией . Это приведет к уменьшению дисперсий (7.22) и к уменьшению дисперсии выборочного среднего (7.21).

Рассмотрим этот метод на примере статистического моделирования задачи сетевого планирования. Многие сложные проекты могут быть представлены как наборы индивидуальных заданий, выполняемых в определенном порядке. Математически эту задачу можно изобразить с помощью ориентированного графа. Очень часто продолжительности каждого из заданий точно неизвестны и должны рассматриваться как случайные величины. Тогда время, необходимое для выполнения всего проекта, также является случайной величиной. Наша задача состоит в том, чтобы по функциям распределения времен исполнения индивидуальных заданий определить характеристики случайной величины – времени выполнения всего проекта. Пусть, например, граф, соответствующий некоторому проекту, имеет вид

0

1

2

3

Рис. 7.1

Здесь вершина 0 означает начало проекта, вершина 1 означает выполнение 1-го задания, – его продолжительность и т.д. Тогда время выполнения всего проекта можно записать как

.

Зная распределение величин , можно в принципе найти распределение величины . Если случайные величины и независимы и имеют плотности и функции распределения и соответственно, то сумма имеет плотность, равную свертке плотностей и :

.

Операцию свертки обычно обозначают с помощью звездочки

.

Кроме того, так как случайные величины и независимы, то

.

Отсюда для случайной величины получаем соотношение:

.

В более сложных и реалистичных сетях приходится вычислять большое число сверток и произведений и вычислить аналитически функцию распределения продолжительности всего проекта трудно. В таком случае естественно прибегнуть к статистическому моделированию. Надо получить независимых реализаций величины , после чего можно оценить функцию распределения величины с помощью эмпирической функции распределения:

,

где

обозначает индикатор луча . Среднее значение оценивается с помощью выборочного среднего

.

Посмотрим, как работает метод противоположных выборок в таких задачах. Пусть у нас имеется следующий фрагмент сети:

3

2

1

Рис. 7.2

Здесь

.

Для того, чтобы получить одну реализацию , необходимо прогенерировать значения и :

,

где и – независимые случайные числа из равномерного закона ,

.

Теперь построим реализацию при помощи дополняющих переменных:

.

Построим оценку

.

Построив независимых реализаций величин , можно оценить среднее значение . Тогда дисперсия этой оценки окажется меньше, чем дисперсия оценки, полученной стандартным образом с помощью независимых реализаций . В самом деле, пусть и распределены по показательному закону . Если , где – равномерно распределена на , то

.

Отсюда

,

так как случайные пары и независимы.

Таким образом,

и следовательно, при использовании выборки объема

.

Если бы мы использовали независимые величины , то получили бы оценку с дисперсией

.

Метод противоположных выборок позволил уменьшить дисперсию почти в три раза.