Недостатки метода наименьших квадратов и понятие о помехоустойчивом ( робастном, устойчивом ) методе оценивания

Мы показали, что между ММП ( методом максимального правдоподобия ), гауссовским распределением ошибок и МНК (методом наименьших квадратов) существует тесная связь:

если ошибки измерений подчинены нормальному закону распределения, то метод МП сводится к методу НК.

Доказано, что получается при этом оценки - оптимальные !

То есть МНК оценки - эффективные !! ( в классе линейных оценок )

Однако Гаусс понимал, что нормальность не всегда имеет место, и поэтому подчеркивал, что основным доводом, которым он руководствовался, вводя этот метод, является вычислительная простота.

На самом деле “Нормальность - это миф. В реальном мире никогда не было и никогда не будет нормального распределения”.

“Каждый уверен в справедливости закона ошибок, экспериментаторы - потому, что они думают, что это математическая теорема, математики - потому, что они думают, что это экспериментальный факт”.

В действительности распределения часто являются «приближенно нормальными».

Поэтому еще в 1805 году Лежандр указывал, что прежде, чем воспользоваться этим методом ( и, в частности, выборочным средним ), следует тщательно просмотреть выборку и отбросить те выборочные значения, которые являются или кажутся аномальными ( то есть провести редактирование выборки ). В 1818 году Бессель при исследовании ряда выборок большой длины пришел к выводу, что большие значения ошибок измерений встречаются несколько чаще, чем это было бы при нормальном законе распределения ошибок.

В настоящее время общепринятым является утверждение, что 1-10% аномальных значений в общей массе данных - это скорее правило, а не исключение.

Пример: требуется оценить параметр сдвига ( меру положения ) для

выборки x₁, x₂,..,x_n. МНК приводит к задаче минимизации

выражения и оценка математического ожидания

дается в виде среднего арифметического . Эта

оценка является эффективной в случае нормально

распределенных случайных величин.

Теперь рассмотрим набор данных:

0.96; 1.01; 0.97; 1.02; 1.04; 1.00; 10.52

МНК: ₁ = 2.36

Если отбросить последние значение (10.52), то получится ₂ = 1 !

Введение в помехоустойчивое оценивание

В 1818 году Лаплас предложил метод наименьших модулей для решения задачи линейной регрессии с одним параметром ( наклон ) при произвольном симметричном распределении ошибок измерений.

f(x_i, Q) =

При этом функцию правдоподобия составить можно g_n(x \ Q) = , а уравнение правдоподобия записать нельзя вследствие неаналитического характера функции ( нет производной, так как модуль - негладкая функция ). Поэтому для получения максимально правдоподобных оценок необходимо искать минимум функции L_n(x \ Q) = непосредственно.

Решение дает оценку , равную медиане выборки.

Медиана - значение X, при котором функция распределения Ф(x) = . Если выборку упорядочить по возрастанию, то медиана - значение среднего элемента выборки.

В предыдущем примере:

0.96; 0.97; 1.00; 1.01; 1.02; 1.04; 10.52

1 2 3 4 5 6 7

медиана дает оценку = 1.01, то есть вполне приемлемый результат.