7.4. Приближенная регрессия.

Метод наименьших квадратов

При исследовании корреляционной зависимости между двумя случайными величинами необходимо по данной выборке объемом n найти уравнение приближенной регрессии, чаще всего в виде следующего полинома:

, (7.34)

где коэффициенты b₀ и b_j являются оценками соответствующих теоретических коэффициентов истинного уравнения регрессии

, (7.35)

и оценить допускаемую при этом ошибку. Для этого обычно используют метод наименьших квадратов.

Рассмотрим некоторый класс функций, аналитическое выражение которых содержит некоторое число неопределенных коэффициентов, равное k. Наилучшее уравнение приближенной регрессии дает та функция из рассматриваемого класса, для которой сумма квадратов S имеет наименьшее значение:

. (7.36)

Предположим, что экспериментальные точки отклоняются от уравнения истинной регрессии  (x) только в результате воздействия случайных факторов, а ошибки измерения нормально распределены. Полученные в опытах значения y_i будут распределены по нормальному закону с математическим ожиданием =  (x_i) и дисперсией . При равноточных экспериментах  =   = … =   =  . Тогда плотность распределения величины Y_i принимает вид

. (7.37)

В результате опытов случайные величины Y_i приняли совокупность значений y_i. Используем принцип максимального правдоподобия: определим так математические ожидания  (x_i), чтобы вероятность этого события была максимальной. Обозначим через р_i = f_i (y_i)  вероятность того, что случайная величина Y_i примет значение из интервала y_i – /2, y_i + /2. Вероятность совместного осуществления подобных событий для i = 1, 2, …, n равна

, (7.38)

где К — коэффициент, не зависящий от  (x_i).

Очевидно, что при заданном ² вероятность Р максимальна при условии, что

.

Таким образом, при нормальном распределении случайных величин оптимальность метода наименьших квадратов легко обосновывается.

Нахождение коэффициентов уравнения приближенной регрессии по этому методу связано с задачей определения минимума функции многих переменных. Пусть

. (7.40)

Требуется найти значения коэффициентов b₀, b₁, b₂, …, b_k так, чтобы

.

Если S принимает минимальное значение, то

, (7.41)

что соответствует следующей системе уравнений:

,

, (7.42)

……………………………,

.

Преобразуем (7.42)

,

, (7.43)

……………………………………,

.

В последней системе содержится столько же (k + 1) уравнений, сколько и неизвестных коэффициентов в уравнении (7.40), т. е. она является системой нормальных уравнений. Поскольку S  0 при любых значениях коэффициентов, то у нее должен существовать по меньшей мере один минимум. Поэтому если система (7.43) имеет единственное решение, то оно и является минимумом для S.

Лекция 8

Линейная регрессия от одного параметра. Регрессионный анализ. Аппроксимация, параболическая регрессия. Оценка тесноты нелинейной связи, корреляционный анализ. Метод множественной корреляции.

8.1. Линейная регрессия от одного параметра

Пусть из опытов получена выборка точек (x_i, y_i) объемом n. Найдем методом наименьших квадратов коэффициенты линейного уравнения регрессии

. (8.1)

Система нормальных уравнений уравнений (7.43) с учетом того, что

,

принимает вид

,

, (8.2)

или после преобразования

,

. (8.3)

Решив систему уравнений, получим

, (8.4)

. (8.5)

Из системы уравнений (8.3) видно, что между коэффициентами b₀ и b₁ существует корреляционная зависимость, выражение для которой можно получить, например, из первого уравнения системы:

. (8.6)

Выборочный коэффициент корреляции с учетом (8.5) равен

(8.7)

и оценивает силу линейной связи между Y и Х.