8.Метод наименьших квадратов
МНК необходим для того, чтобы получить алгебраическую конструкцию, которая выражается в матричной форме и позволяет вычислить оценки. МНК играет важную роль в многомерном статистическом анализе, т.к. на этом методе основаны его основные процедуры: дискриминантный анализ, включая дисперсионный анализ, регрессионный и факторный анализ. Оценки, полученные МНК, являются несмещенными, состоятельными и эффективными (е=1).
Ищем
следующую модель наблюдаемого случайного
явления. Модель строится на основании
наблюдений
или выборочных данных.
Чаще рассматриваются линейные, но бывают и нелинейные модели. Очень важно для модели определить её свойства, основные из которых касаются свойств погрешности, на которую накладываются следующие ограничения:
Проведение статистического эксперимента для МНК
НО – недетерминированный объект.
X – параметры объекта.
Y – показатели объекта.
Эксперимент заключается в том, что наблюдаются значения параметров на входе НО и значения показателей на выходе, но с учетом запаздывания или реакции системы. Производится эксперимент, в результате которого определяется многомерная выборка объема N.
Пример. Требуется определить модель объекта в линейной форме. Для этого достаточно определить оценки параметров такой модели. Погрешность не имеет специальных ограничений на форму закона распределения.
Так называемая невязка в МНК для каждого параметра в модели определяется как:
Решение задачи сводится к решению системы:
Доказано, что система является линейной, а значение оценки, полученное при решении данной системы, - искомые оценки.
В матричной форме эта модель может быть представлена в следующей форме:
В теории матриц и в линейной алгебре известны следующие преобразования: скалярное произведение вектора на строку образует сумму квадратов отклонений.
Свойства оценок МНК:
Оценки являются состоятельными, несмещенными и эффективными.
Несмещенной оценкой дисперсии ошибок является величина остаточного рассеивания значения y относительно подобранной модели:
- вектор оценок параметров,
X – матрица исходных данных,
Y – вектор значений зависимых переменных,
(N-K) – число степеней свободы.
Используя оценку дисперсии или её истинное значение можно определить матрицу ковариации параметров модели:
Наилучшей оценкой линейной функции результатов наблюдения является:
Дисперсия прогнозов по модели определяется как:
Коридор ошибок изменяется при этом как квадратичная функция. Его график можно представить следующим образом:
Коридор ошибок – это интервальная оценка функции, причем в начале координат интервальная оценка равна нулю.
МНК совпадает с методом максимального правдоподобия в случае нормального закона распределения ошибок наблюдения. С отступлением от математического ожидания группируемой СВ ошибка будет расти пропорционально квадрату расстояния.
9.Методы многомерного анализа
Методы многомерного анализа делятся на две группы:
Методы, связанные с изучением источника рассеивания СВ. Наблюдаемое случайное изменение объекта может по своей природе быть чисто случайным или связанным с изменением некоторых факторов. Таким образом, причиной разброса выходного показателя объекта может быть его чисто случайное поведение, не зависящее от других факторов. Тогда источник рассеивания находится в независимом факторе. Или, по-другому, рассеивание является следствием косвенного влияния рассеивания других факторов, связанных с данным. Решение задачи этого класса использует дискриминантный анализ, частным случаем которого является дисперсионный анализ, и компонентный (факторный) анализ. Методы различаются в условиях постановки задачи. К методам дискриминантного анализа можно также отнести методы многомерной классификации.
Методы, связанные с задачами идентификации, т.е. с построением моделей недетерминированных объектов. К ним относятся регрессионный анализ и теория планирования эксперимента.