Лекция 11: Применение регрессионного анализа

Кривые регрессии. Нелинейная регрессия. Измерение тесноты связи. Эмпирическое корреляционное отношение. Коэффициент корреляции. Интервальное оценивание коэффициента корреляции и коэффициентов регрессии. Множественная регрессия. Частный коэффициент корреляции. Коэффициент корреляции рангов. Объединённые ранги.

Метод наименьших квадратов

Параграфы этой главы:

• 7.1 Линейная модель

• 7.2 Система нормальных уравнений

• 7.3 Регрессионная модель и задача о сглаживании наблюдений

7.1 Линейная модель

Подпункты этого параграфа:

• Вводный пример

• Общая линейная модель

• Возвращение к примеру

Вводный пример

Начнем с очень простого примера. Предположим, что есть три образца некоторого материала, массы которых ,инеизвестны. В наличии имеются весы, допускающие случайную нормально распределенную погрешность. Образцы взвешивают раздельно, получая при этом показания весов,исоответственно. Затем три образца взвешивают вместе и получают показания весов. Если допустить, что весы всякий раз делают независимую ошибку, то, как правило, окажется, что.

Если бы мы допустили ``идеальную'' ситуацию, когда весы определяют массу абсолютно точно, то, очевидно, в четвертом взвешивании не было бы никакого смысла. Что касается реального опыта, когда к теоретическим массам добавляются случайные ошибки, то интуитивно кажется, что четвертое взвешивание может содержать в себе полезную информацию. Вопрос только в том, как ее правильно обработать.

Общая линейная модель

Теперь сформулируем и обсудим общую модель, а затем вернемся к примеру.

Предположим, что неизвестные величины последовательно измеряются некоторым измерительным прибором, прибавляющим случайную ошибку, распределенную по нормальному закону. Считая эти измерения независимыми между собой и обозначая результаты этих измерений черезсоответственно, запишем

			(37)

где -- независимые случайные величины, распределенные по закону. Основное априорное допущение состоит в том, что векторпринадлежит некоторому линейному подпространствуевклидова-мерного пространства. Заметим, что измерения, полученные в результате опыта вовсе не обязаны принадлежать. Цель -- получить оценку для вектора неизвестных параметров, используя данные измерений.

Так как независимы иимеет распределение, нетрудно выписать функцию правдоподобия (т.е. совместную плотность распределения, см. также6.6):

(38)

Как и в 6.6, в качестве искомой оценки будем искать точку, в которой функция правдоподобия принимает максимальное значение:

Выражение (38) переписывается в следующем виде:

где -- обычное евклидово расстояние между векторами в. Отсюда видно, что максимальное значение достигается в такой точке, для которой

Из курса линейной алгебры известно, что такая точка единствена и представляет собой проекциюна подпространство:. Поскольку задача свелась к минимизации суммы квадратов, этот метод получил названиеметода наименьших квадратов.