Цифровая обработка сигналов (сборник книг) / Дронов С.В. Многомерный статистическийц анализ, 2003
.pdfМИНИСТЕРСТВО ОБЩЕГО И ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
АЛТАЙСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ МАТЕМАТИЧЕСКИЙ ФАКУЛЬТЕТ, ЭКОНОМИЧЕСКИЙ ФАКУЛЬТЕТ
КАФЕДРА МАТЕМАТИЧЕСКОГО АНАЛИЗА
МНОГОМЕРНЫЙ СТАТИСТИЧЕСКИЙ АНАЛИЗ
Учебное пособие
Издательство Алтайского государственного университета Барнаул, 2003
ÓÄÊ 517.0 ÁÁÊ 22,16
Работа выполнена при поддержке Национального фонда подготовки кадров. Инновационный Проект Развития Образования.
Дронов С.В. Многомерный статистический анализ. : Учебное пособие. Барнаул: Изд-во Алт. гос. ун-та, 2003. 213 с.
Учебное пособие создано на основе опыта преподавания автором курсов многомерного статистического анализа и эконометрики. Содержит материалы по дискриминантному, факторному, регрессионному анализу, анализу соответствий и теории временных рядов. Изложены подходы к задачам многомерного шкалирования и некоторым другим задачам многомерной статистики.
Рецензент:
c Составление: Дронов С.В., 2002
Глава 1
Предварительные сведения
Курс "Многомерный статистический анализ"является логическим продолжением и развитием таких традиционных математических курсов, как "Теория вероятностей"и "Математическая статистика". Он отчасти перекликается с курсом "Эконометрика", но содержит более универсальные и продвинутые методы. В процессе обработки числовых данных ча- сто возникает необходимость проанализировать наличие связей и взаимную зависимость большого количества показателей. При этом отмеча- ются эффекты, которые обусловлены многомерным характером данных и отсутствовали в том случае, когда просто изучались связи двух одномерных величин. Одна из специфических задач, часто возникающая на практике - задача снижения размерности, суть которой в том, что нужно выяснить, какие из характеристик изучаемого объекта являются существенными для решаемой задачи, а какие несущественны и лишь неоправданно усложняют, засоряют рассматриваемую картину. Имеется множество других задач и методов их решения, которые можно применять в многомерной ситуации. Еще одним из разделов, традиционно относимых к курсам, аналогичным нашему, является набор приемов, применяемых при работе с нечисловыми данными, их обработка и придание им наглядного характера. Сегодня грамотный практик обязан учитывать множество факторов, влияющих на тот процесс, который он исследует с целью принятия оптимальных решений, а поэтому многомерный статистический анализ приобретает особую актуальность.
В последующих нескольких разделах мы вкратце напомним и разберем содержание тех разделов предшествующих математических курсов, которые особенно важны для того, чтобы успешно понимать все, напи-
3
4 |
Глава 1. Предварительные сведения |
санное в следующих главах. |
|
1.1 Высшая математика: математический анализ и линейная алгебра
Нам потребуется умение дифференцировать и искать экстремумы функций, в том числе и функций многих переменных, что подразумевает знакомство с частными производными и дифференциалом. Неоднократно будет применяться аппарат поиска так называемых условных экстремумов, кратко именуемый методом Лагранжа. Задача ставится так: найти
экстремумы функции f(x1; :::; xn) многих переменных, если переменные x1; :::; xn обязаны подчиняться набору ограничений
'j(x1; :::; xn) = 0; j = 1; :::; m: |
(1.1) |
Решается эта задача путем введения так называемой функции Лагранжа
|
m |
L(x1; :::; xn; 1; :::; m) = f(x1; :::; xn) |
jX |
j'j(x1; :::; xn); |
|
|
=1 |
зависящей от первоначальных переменных и набора искусственно вво-
димых переменных ; :::;
емых ограничений (11.1). Далееm, соответствующихфункция каждому из накладыва-
L исследуется на экстремумы обычным методом, но к условию равенства нулю всех частных производ-
íûõ ïî xi; i = 1; :::; n при поиске критических точек добавляются условия
(1.1), в результате чего получается система с n+m неизвестными и таким же количеством уравнений. При исследовании второго дифференциала d2L как функции x ; :::; x в критической точке ~x
ность привлекаются1дополнительныеn соотношения 0междуназнакоопределен-
dx1; :::; dxn
X
n @'j
i=1 @xi (~x0) = 0; j = 1; :::; m;
следующие из (1.1).
Конечно же, необходимо отчетливо представлять себе, что такое определенный интеграл и каков его геометрический смысл.
Нам понадобятся понятия матрицы и вектора, как частного случая матрицы, одно из измерений которой равно 1. Если у матрицы число
1.1. Анализ и алгебра |
5 |
строк равно единице, то мы будем говорить, что перед нами векторстрока, если же число столбцов равно единице то вектор-столбец. Как
правило, записывая ~a, мы будем подразумевать, если не оговорено иное, что это вектор-столбец. Конечно же, геометрическая интерпретация вектора, как направленного отрезка и вектора единичной длины как направления остается в силе.
Çíàê t, расположенный справа от обозначения матрицы, будет озна- чать транспонирование, т.е. такую операцию, при которой строки матрицы становятся ее столбцами и наоборот. В частности, матрица A симмет-
рична тогда и только тогда, когда At = A, à ~at вектор-строка.
Символом условимсяt |
обозначать |
скалярное произведение векторов, |
|||||
|
|
t, òî |
|||||
ò.å. åñëè ~a = (a1; :::; an) ; |
~ |
(b1; :::; bn) |
|
|
|||
b = |
|
|
|||||
|
n |
|
|
|
|
|
|
~ |
jX |
|
|
|
|
~ |
|
|
ajbj |
= k~akkbk cos ; |
|||||
~a b = |
|||||||
|
=1 |
|
|
|
|
|
|
|
|
|
~ |
|
|
|
|
где угол между векторами ~a è b, а символом k~ak обозначена длина |
|||||||
вектора: |
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
~a |
= |
v |
aj2: |
|||
|
k k |
uj=1 |
|
|
|||
|
|
|
|
|
X |
|
|
|
|
|
u |
|
|
||
|
|
|
t |
|
|
||
Векторы называются ортогональными, если их скалярное произведение равно 0. Заметим также, что всегда
~ |
t~ |
~a b |
= ~a b; |
где слева векторы перемножаются по правилу умножения матриц. Используя тот легко проверяемый (например, сравнением каждого из
элементов левой и правой части равенства) факт, что при транспонировании порядок умножаемых матриц меняется, т.е.
(AB)t = BtAt;
легко доказать следующее утверждение, позволяющее "перебрасывать"матричный множитель с одного аргумента скалярного произведения на другой:
|
|
~ |
|
|
Лемма 1 Для произвольных векторов ~a; b и квадратных матриц A; B |
||||
справедливо |
t~ |
~ |
|
~ |
~ |
t |
|||
A~a b |
= ~a A b; |
~a Bb |
= B ~a b: |
|
6 |
|
Глава 1. |
Предварительные сведения |
|
Действительно, |
|
|
|
|
~ |
t~ |
t |
t~ |
t~ |
A~a b |
= (A~a) b |
= ~a |
(A b) |
= ~a A b; |
и первое утверждение доказано. Второе утверждение легко получается из первого, если мы вспомним, что скалярное произведение коммутативно
è (Bt)t = B.
Весьма полезным является также и следующий факт.
Лемма 2 (Неравенство Коши-Буняковского) Для любых векторов
j ~j k kk~k
~a b ~a b ;
причем равенство достигается в том и только том случае, когда найдется такое число , что
~
~a = b:
Доказательство. Введем в рассмотрение
|
~a |
|
~ |
|
|
~a = |
; ~b = |
|
b |
: |
|
|
~ |
||||
|
k~ak |
|
|||
|
kbk |
|
|||
Тогда k k k~ k
~a = b = 1 è
k~a |
|
~ |
2 |
= (~a |
|
~ |
) (~a |
|
~ |
) = 2 |
2~a |
|
~ |
0; |
|
b k |
|
|
b |
|
b |
|
b |
откуда |
|
|
~ |
|
|
|
|
|
|
|
|
j~a |
j 1; |
|
|
|
|
||
|
|
|
b |
|
|
|
~ |
||
и достаточно обе части этого неравенства умножить на |
|
||||||||
k~akkbk, чтобы |
|||||||||
получить неравенство Коши-Буняковского. |
|
|
|
|
|||||
|
|
|
|
~ |
|
|
|
|
|
Если нашлось такое , что ~a = b, то равенство проверить нетрудно. |
|||||||||
Обратно, если в неравенстве Коши-Буняковского достигнуто равенство, |
|||||||||
то из приведенной выше выкладки следует, что ~a |
|
~b |
k |
= 0, откуда |
|||||
~a = |
~b , и можно выбрать |
|
|
|
k |
|
|
||
|
|
|
|
|
|
|
|
|
|
k~ak= k~k:
b
Лемма доказана.
1.1. Анализ и алгебра |
7 |
Говорят, что векторы ~a1; :::;~an образуют ортонормированный базис n-
мерного пространства, если k~ajk = 1; j = 1; :::; n è ïðè i 6= j ~ai ~aj = 0: С геометрической точки зрения умножение квадратной матрицы на вектор можно рассматривать как поворот и растяжение, т.е. умножение
на матрицу представляет собой своего рода преобразование n-мерного пространства. Для некоторых из векторов это преобразование является "чистым"растяжением. Такие векторы называются собственными векторами матрицы, а соответствующие коэффициенты растяжения ее соб-
ственными числами. Формально: пусть A квадратная матрица. Вектор ~a называется ее собственным вектором, отвечающим собственному числу, если
A~a = ~a:
Известно, что симметричная матрица имеет ортонормированный базис из собственных векторов.
Матрица называется положительно определенной, если для любого ненулевого вектора
A~a ~a > 0:
Из положительно определенной матрицы можно извлечь квадратный корень, т.е. можно возвести ее в степень со знаменателем 2. По определе- íèþ, A1=2 это такая матрица, что
A1=2A1=2 = A:
Понятие определителя квадратной матрицы мы здесь напоминать не будем. Введем лишь обозначение jAj äëÿ íåãî. Åñëè jAj =6 0, то у матрицы
имеется обратная, т.е. такая A 1, ÷òî
AA 1 = A 1A = I;
где через I обозначена единичная матрица. Иногда нам будет необходимо подчеркнуть, каков порядок этой матрицы, тогда он будет фигурировать
при ней в качестве индекса (I
Принципиально важной дляn). дальнейшего является следующая тео-
рема, обычно не включаемая в курсы линейной алгебры:
Теорема 1 Пусть матрица A положительно определена. Тогда
max A~x ~x = 1;
k~xk=1
8 |
Глава 1. Предварительные сведения |
ãäå 1 наибольшее собственное число матрицы, причем этот макси-
мум достигается при ~x = ~e1, на собственном векторе, отвечающем этому собственному числу.
Как известно, матрицы это прямоугольные таблицы, и положения элемента матрицы можно указать, задавая пару индексов. В силу этого матрицы можно называть двухвходовыми таблицами. Иногда (и нам встретятся такие случаи) характеризация некоторых объектов производится по трем и более параметрам и для того, чтобы указать расположение объекта в пространстве этих параметров, нужно указать три или более индексов. Тогда мы говорим, что задана трехили многовходовая таблица. Представлять себе трехвходовую таблицу можно как прямоугольный параллелепипед, у которого по каждому из "слоев"располагается таблица двухвходовая, т.е. матрица. Чаще всего, при необходимости трехвходового табулирования, приводят именно эти матрицы - "слои"(см. таблицы распределения Фишера в приложении).
1.2Теория вероятностей
Как уже упоминалось выше, курс теории вероятностей нужен нам будет целиком. Его понятия будут постоянно встречаться и использоваться, при этом содержание некоторых из них напоминается по мере их использования. Здесь вкратце упомянем лишь наиболее важные.
Случайной величиной мы называем действительную функцию исхода случайного эксперимента, обладающую тем свойством, что для про-
извольного вещественного числа x возможно вычислить вероятность события f < xg. (Это свойство математики называют измеримостью).
Функция F (x) = P( < x) называется функцией распределения слу- |
|||
чайной величины. |
|
|
|
Мы будем часто использовать понятие квантили случайной величины |
|||
квантилью уровня |
2 (0; 1) |
|
t называется |
или ее функции распределения. Пусть |
|
. Число |
|
распределения F , åñëè
F (t ) = :
Пусть число достаточно близко к единице. Тогда можно интерпретировать последнее соотношение так: рассматриваемая случайная величина
9
почти наверняка окажется меньше, чем t
ся больше, значит, произошло что-то экстраординарное, и если вдруг.Поэтомуонаоказываетчисло- t( ), определяемое соотношением
P( t( )) =
называют критической точкой распределения F . Нетрудно выписать связь между понятиями квантили и критической точки одного и того же распределения:
t = t(1 ):
Если множество значений случайной величины конечно или счетно, т.е. ее значения можно перечислить, то говорят, что она имеет дискретный тип распределения. Дискретный тип принято характеризовать рядом распределения - таблицей, в которой перечислены все значения слу- чайной величины и указаны их вероятности.
Если нашлась такая неотрицательная функция p, что при произвольном x справедливо
|
x |
|
F (x) = |
Z |
p(t)dt; |
|
1 |
|
то она называется плотностью распределения , а сама случайная вели- чина называется величиной абсолютно непрерывного типа. Качественной интерпретацией, заодно несколько объясняющей терминологию, может служить представление о случайной величине, как о механизме, распределяющем единичную массу по точкам числовой прямой. С этой точ- ки зрения функция распределения есть масса, расположенная левее точ-
êè x, а плотность распределения представляет собой (линейную) плотность в физическом понимании этого термина.
Исходя из этого представления, можно ввести некое подобие плотности в дискретном случае. Такая "плотность"должна быть равна нулю во
всех точках числовой прямой кроме точек-значений , в которых равна бесконечности, но так, что интеграл от нее по всей прямой равен 1. Бо-
лее строго такую "плотность"можно построить при помощи -функции Дирака. В этом смысле два главных типа распределений похожи.
Если функция распределения непрерывна, но почти всюду постоянна, то случайная величина называется сингулярной. В одномерном случае сингулярность встречается достаточно редко, но в многомерной ситуации
10 Глава 1. Предварительные сведения
этот феномен приобретает гораздо большую важность. Подробнее см. в |
|||
разделе 2.1. |
|
|
|
Математическим ожиданием дискретной случайной величины назы- |
|||
вают число |
M = |
Xi |
xiP( = xi); |
где сумма берется по всем значениям , а для абсолютно непрерывного случая с плотностью p
|
1 |
|
M = |
Z |
xp(x)dx: |
1
Во всех случаях с точки зрения "массовой"интерпретации математиче- ское ожидание является координатой центра масс, получающейся при
действии системы. Вместо понятия "математическое ожидание"часто пользуются понятием "среднее".
Величина
D = M( M )2
называется дисперсией и служит мерой изменчивости случайной величи- ны, точнее, мерой разброса ее значений вокруг среднего. Нулевая дисперсия бывает только у постоянных величин. С точки зрения "массовой"интерпретации дисперсия - момент инерции системы масс относительно центра масс.
1.3Математическая статистика
В математической статистике исходным материалом служат результаты n независимых наблюдений над случайной величиной . Набор резуль-
татов этих наблюдений X = (x1; :::; xn) называют выборкой объема n из распределения (или из генеральной совокупности). С теоретической
точки зрения выборка X - n-мерный случайный вектор с независимыми координатами, каждая из которых имеет то же распределение, что и наблюдаемая величина.
В самой общей формулировке задач математической статистики больше ничего не предполагается известным. Тогда принято заменять вели- чину на ее эмпирический (выборочный) аналог дискретную слу- чайную величину, принимающую только значения, оказавшиеся в выборке, с равными вероятностями. При этом, конечно же, если какое-то