Цифровая обработка сигналов (сборник книг) / Дронов С.В. Многомерный статистическийц анализ, 2003

из значений в выборке встречается несколько раз, то соответствующие вероятности увеличиваются. Например, если X = (1; 2; 1; 3; 1; 1; 3), òî

определяется следующим рядом распределения:

Все характеристики в этом контексте называют теоретическими, а со-

ответствующие характеристики - эмпирическими или выборочными. В частности, эмпирическое математическое ожидание и дисперсия задаются, соответственно, формулами

Для получения оценки некоей теоретической характеристики чаще всего достаточно произвести в алгоритме ее вычисления замену всех вхождений на (метод подстановки). Отметим, что оценкой обычно называют достаточно произвольную функцию выборки, предназначенную для использования вместо соответствующей теоретической характеристики. Таким образом, оценка всегда является случайным объектом, поскольку выборка является таковым. При этом крайне желательными свойствами оценок считаются их состоятельность, т.е. приближение к истинным значениям теоретических характеристик при увеличении объема выборки, и несмещенность, т.е. отсутствие систематической ошибки.

Формально свойство несмещенности записываем так. Пусть теоре-

тическая (неизвестная) характеристика, ее оценка. Она называется несмещенной, если

M = :

Для проверки различного рода гипотез о распределениях строятся критерии, т.е. правила, позволяющие по выборке принять решение о справедливости одной из выдвигаемых гипотез. Если гипотез всего две - основная и альтернативная, то вместо критерия можно строить крити- ческое множество - набор тех выборок, на которых основную гипотезу следует отвергнуть.

Чаще всего для построения критического множества выбирается мера отклонения наблюдаемой выборки от ожидаемой в предположении

12

основной гипотезы. Если выбранная мера в нашем эксперименте оказывается "слишком большой", то гипотезу отвергают, обосновывая это отсутствием согласования между наблюдаемым и ожидаемым. Термин "слишком большая"приобретает точный смысл при обращении к статистическим таблицам, в которых собраны предельно допустимые значе- ния выбранных мер отклонения. Естественно, проверке каждой гипотезы должно предшествовать теоретическое исследование и выбор (или построение) соответствующей статистической таблицы.

Многие критерии, а также лучшие из оценок неизвестных параметров распределений, получаются на основе функции правдоподобия. Она определяется в случае, когда класс изучаемых распределений состоит либо из дискретных, либо из абсолютно непрерывных распределений.

Формально. Введем обозначение. Пусть f(x; ) обозначает значение плотности в точке x для абсолютно непрерывного случая и равна значе-

нию вероятности того, что наблюдаемая величина приняла значение x, в дискретном случае. Функцией правдоподобия, построенной по выборке

X объема n называется

n

Y

L(X; ) = f(xi; ):

i=1

Оценкой максимального правдоподобия для называется то значение, для которого функция L достигает своего максимума как функция

аргумента . В этих определениях все участвующие объекты могут быть и векторными величинами.

i; i = 1; 2; 3

совпадают, но совместное распределение 1 è 2 не такое, как у 1 è 3.

Приведем также формулы, позволяющие восстанавливать ряды распределений координат по рядам распределений векторов в дискретном слу- чае и плотности распределений координат по плотности совместного распределения в абсолютно непрерывном случае для двумерных векторов. Дискретный вариант формул:

дискретном случае: интегрирование становится (n 1)-кратным, и интегралы берутся по всем переменным, кроме извлекаемой.

В многомерном случае наблюдается еще один интересный феномен, редко встречающийся в одномерных практических задачах. Сначала отметим, что дискретный тип распределений координат необходимо приводит к дискретному типу совместного распределения и наоборот. Если совместное распределение абсолютно непрерывно, то, как следует из формул, приведенных выше, маргинальные распределения также являются таковыми. А вот здесь обратное неверно. Более того, нетрудно привести пример, когда совместное распределение сосредоточено на некоторой кривой в пространстве и, несмотря на наличие плотностей каждой

16 Глава 2. Многомерные распределения

из координат, является сингулярным. Простейший пример такого рода:

( 1; 2) распределен на диагонали единичного квадрата и имеет сингулярный тип распределения. Как видно из этого примера, подобного рода явления возникают, например, при наличии функциональной связи между координатами вектора.

Рассмотрим бросание точки в единичный квадрат. Очевидно, что при таком эксперименте с точки зрения классической теории вероятностей вероятность попадания точки на диагональ равна 0. Тем не менее, на практике такие точки иногда встречаются. Связано это с тем, что эксперимент производится человеком, а ему иногда (возможно, неосознанно) хочется, чтобы результат получился попроще, и точки, которые при ближайшем рассмотрении оказываются просто близки к точкам диагонали, принимаются им за точки диагонали. Итак, вмешательство субъективного фактора приводит к тому, что сингулярные распределения приобретают в многомерном случае большее практическое значение. Другой вывод, который следует из рассмотренного примера - события нулевой вероятности на практике иногда все же случаются.

2.2Независимость

Самый простой для изучения случай возникает тогда, когда координаты

случайного вектора независимы, т.е. для произвольного набора x ; :::; x функция совместного распределения распадается в произведение 1ôóíê-n

ций маргинальных распределений:

P ( 1 < x1; :::; n < xn) = P ( 1 < x1)P ( 2 < x2):::P ( n < xn):

Здесь, конечно же, маргинальные распределения полностью определяют распределение совместное. Независимость, которая только что была определена, и ее соотношение с понятием независимости в практическом смысле под которым обычно понимается отсутствие связи, является одним из наиболее содержательных понятий теории вероятностей. Наличие "теоретической"независимости обеспечивает независимость "практиче- скую". Обратное, к сожалению, неверно. Дело в том, что практическая независимость требует только отсутствие четкой, ярко выраженной связи между величинами, теоретическая же предполагает отсутствие даже очень слабого, невыраженного влияния.

18 Глава 2. Многомерные распределения

т.е. те, что могут встретиться в практических задачах, в этот класс попадают. Можно доказать, что такая независимость эквивалентна тому, что каждая из координат вектора ~

не зависит от совокупности координат

вектора ~.

2.3Некоторые числовые характеристики случайных векторов

набором свойств и, если представлять себе случайный вектор

порт, распределяющий единичную массу по n-мерному пространству, то

~

M будет радиус-вектором центра масс получившейся системы. Выпишем свойства математического ожидания в многомерном случае:

~~

1.M( + ~) = M + M~;

4.Если распределение ~

абсолютно непрерывно, и f - измеримая функ-

ция, заданная в n-мерном пространстве и принимающая значения в области действительных чисел, то

1 1

ZZ

~

Mf( ) = ::: f(~x)p(~x)dx1:::dxn;

1 1

Для дискретных распределений в последней формуле надо интегрирование заменить n-кратным суммированием по всем возмож-

ным наборам значений координат вектора ~

;

òîðà ~a, т.е. корень квадратный из суммы квадратов его координат.

Естественно, список свойств можно продолжить.

20 Глава 2. Многомерные распределения

коэффициента корреляции соответствуют наличию линейной зависимости, которая является самой сильной из всех возможных форм зависимости, принято считать эти коэффициенты мерой зависимости изучаемых величин. Как уже было указано выше, эта мера на самом-то деле описывает только линейную часть зависимости, но в некоторых важных частных случаях (смотри раздел 2.4) этого бывает достаточно. Приведем шкалу, по которой качественно оценивается линейная зависимость случайных величин (она не раз нам пригодится ниже).

Качественная оценка связи по коэффициенту корреляции

добиться того, чтобы результирующий вектор имел единичную матрицу ковариаций (нормирование). Для этого полагают ~00 1=2~0, ãäå

= V

~

V = cov( ). Вектор, подвергнутый процедурам центрирования и нормирования, называют стандартизованным.

2.4Нормальное распределение в многомерном случае

Пусть A - квадратная n n матрица, являющаяся положительно опре-

деленной, через jAj обозначен ее определитель. Тогда n-мерное распределение с плотностью