1.6. Линейная аппроксимация метода наименьших квадратов
Построим итерационную процедуру расчета параметра модели в соответствии с критерием наименьших квадратов. На каждой итерации используем линейную аппроксимацию выхода модели (рис. 1.7) по параметру
|
(1.43) |
где
–
приращение параметра; l
– номер итерации;
,
–
значения параметра на соответствующих
итерациях.
Рис. 1.7. Линейная аппроксимация модели
После подстановки
линейной аппроксимации (1.43) в критерий
МНК получаем относительно
:
|
(1.44) |
.
Перейдем к векторной форме МНК. Запишем уравнение для нахождения вектора приращений параметров. Полный дифференциал функции многих переменных выражается как
|
(1.45) |
.
Оценка приращения функции выхода модели имеет вид
|
(1.46) |
.
Сформируем вектор
приращений параметров
,
матрицу
частных производных по компонентам
вектора параметров, а также вектор
выходных значений модели, рассчитанные
в выборочных точках:
,
,
.
Необходимое условие минимума приводит к системе линейных алгебраических уравнений:
|
(1.47) |
,
решение которой записывается в виде
|
(1.48) |
.
После этого находим
параметры модели на
-й
итерации:
l
= 0, 1, 2, … (1.49)
Положительный
коэффициент
γl
>
0 выбирается по условию
монотонной сходимости по функции
качества. Примером выбора последовательности
для
служит последовательность: 1, 1/2, 1/4, ... .
Для линейного МНК расчет на первом же шаге приводит к оптимальному вектору параметров. Поэтому итерационная процедура (1.49), как правило, применяется в случае построения регрессии, когда уравнение модели нелинейно относительно вектора коэффициентов.
1.7. Методы максимального правдоподобия и максимума апостериорной вероятности
Метод максимального правдоподобия первоначально был предложен в 1912 г. Р. Фишером (1890–1962) для оценки неизвестных параметров распределения при заданном виде распределения. Этот метод широко используется и для построения моделей.
Предположим, что
имеется возможность вычислить совместную
плотность распределения вероятностей
измерений
при условии
некоторых фиксированных значений
параметров
линейной модели. Тогда в качестве оценки
по методу
максимального правдоподобия
(ММП) для вектора параметров выбирается
такое значение, которое максимизировало
бы следующую условную плотность
распределения вероятностей, называемую
функцией
правдоподобия:
|
(1.50) |
.
Примем схему «вход-выход» модели с аддитивной помехой (рис. 1.8).
Рис. 1.8. Модель с аддитивной помехой
Предположим также, что помеха некоррелирована, а вектор случайных помех в уравнении линейной регрессии распределен по нормальному закону с нулевым математическим ожиданием:
|
(1.51) |
,
где
– евклидова норма.
Функцию правдоподобия запишем следующим образом:
|
(1.52) |
.Отметим, что когда плотность распределения помехи в измерениях не зависит от оценки параметров регрессии , максимум функции правдоподобия (1.52) будет совпадать с максимумом плотности вероятности помехи:
|
(1.53) |
.
Выразим помеху из
уравнения линейной регрессии через
оценки неизвестных параметров :
.
Тогда плотность распределения помехи
с учетом формулы (1.51) можно определить
следующим образом:
|
(1.54) |
.
Удобно максимизировать функцию правдоподобия вида (1.43), предварительно взяв от нее натуральный логарифм, так как вследствие монотонности логарифма максимумы L и ln L достигаются при одном и том же значении . В результате имеем:
|
(1.55) |
.
Максимум ln L доставляет выражение, которое называется уравнением правдоподобия:
|
(1.56) |
.
Решив это уравнение относительно , получим алгоритм оценивания параметров линейной регрессии по методу максимального правдоподобия:
|
(1.57) |
Этот результат полностью совпадает с полученной ранее МНК-оценкой параметров линейной регрессии. Следовательно, в случае нормального распределения помех измерений метод максимального правдоподобия позволяет получить оценки с минимальной дисперсией. Отметим, что при рассмотрении МНК-оценок никаких предположений о виде распределения помех измерений не делалось.
Что касается наиболее вероятных оценок по критерию метода максимума апостериорной вероятности (МАВ), то они связаны с ММП-оценками через формулу Байеса:
|
(1.58) |
.
Из формулы (1.58)
следует, что максимальное значение
по
будет
соответствовать максимальному значению
только
в том случае, когда
не
будет вносить в максимизацию никакого
вклада. Подобный эффект может иметь
место в том случае, если
является
плотностью равномерного распределения
в соответствующем диапазоне допустимых
параметров. Тогда оценки по критериям
МАВ и ММП будут совпадать. Если же
распределение ошибок измерений при
этом будет гауссовским (нормальным), то
тогда оценки параметров линейной
регрессии по всем трем критериям: МНК,
ММП и МАВ – совпадут и будут вычисляться
по формуле (1.57).
Отметим также, что выражение (1.57) может быть представлено в рекуррентной форме путем добавления еще одного измерения к уже имеющимся n, подобно тому, как уже делалось выше для обычного МНК (см. п. 1.5).