ЛАБОРАТОРНАЯ РАБОТА № 10. РЕГРЕССИОННЫЙ АНАЛИЗ

10.1.Цель работы

10.1.1.Изучение методов решения задач регрессионного анализа.

10.1.2.Приобретение навыков решения задач регрессионного анализа с помощью системы Matlab.

10.2.Теоретические положения

10.2.1. Постановка задачи

В регрессионном анализе изучается взаимосвязь между случайными и неслучайными величинами на основе экспериментальных данных. Ограничения, накладываемые на изучаемые величины, менее обременительны по сравнению с корреляционным анализом. В связи с этим считается, что задачи регрессионного анализа чаще встречаются на практике.

Рассмотрим сразу случай многих переменных (множественную нелинейную регрессию) в матричной форме, поскольку он включает и простую линейную и нелинейную регрессии.

Считается, что случайная величина η зависит от векторной неслучайной переменной X = (x1 ,..., xq ) таким образом, что условная плотность вероятности величины η нормальная следующего вида:

f (η / x) = N (ϕ(x,θ ),σ 2 ) ,

где θ = (θ1,...,θm ) – вектор неизвестных параметров функции регрессии y =ϕ(x,θ ) .

Эквивалентной является следующая модель данных:

η =ϕ( X ,θ ) +ξ ,

где ξ N (0,σ 2 ) .

Выбирая некоторые значения X1,..., X n векторной переменной X , можно получить значения yo,1 ,..., yo,n случайной величины η в виде

yoi =ϕ(xi ,θ ) + zi , i =1, n ,

где zi – независимые случайные величины (значения величины ξ ).

Требуется по наблюдениям (X1 , yo,1 ),..., (X n , yo,n ) получить оценки θ , σ) 2

неизвестных параметров θ ,σ 2 и сделать статистические выводы относительно этих параметров.

10.2.2. Точечные оценки параметров

Решим задачу в матричных обозначениях. Функция регрессии y =ϕ(x,θ ) ,

как линейная, так и нелинейная относительно X , может быть представлена следующим образом:

Здесь h j (X ) – некоторые функции вектора X ,

θ T = (θ1 ,...,θm ) = (θ j ), j =1, m ,

где θ T – вектор-столбец параметров.

Класс функций, описываемых таким образом, называется классом функций, линейных по параметрам. Желая получить линейную функцию регрессии одной переменной, мы можем выбрать

H T = (1, x), θ T = (α, β) .

Тогда

y=ϕ(x,α, β) = (1, x) α =α + βx .

β

и считаем, что векторы H1,..., H n линейно независимы.

Воспользовавшись методом максимума правдоподобия, можно получить следующие оценки:

n i=1

Обычно эти оценки записывают в другой форме. Если рассмотреть весь набор данных эксперимента, то рассматриваемую модель можно записать в виде

Yo = Fθ + Z ,

10.2.3. Свойства оценок

Оценка θ – несмещенная, состоятельная, эффективная. Оценка σ) 2 – асимптотически несмещенная, состоятельная, асимптотически эффективная. Исправленная оценка

является ковариационной матрицей оценки. Введем обозначения:

A = F T F = (ai, j ) , A−1 = (F T F )−1 = (ai, j ), i, j =1, m .

Используя эти обозначения и распределение вектора θ , можно записать, что

Имея оценку θ , мы можем получить оценку ординаты функции регрессии y

для любой точки X в виде

y) = H Tθ .

Можно показать, что

y) = H T θ N (H Tθ ,σ 2 H T A−1H )

10.2.4. Доверительные интервалы для параметров и функции регрессии

На основе статистики ti получаем доверительный интервал для параметра

θi , i =1, m :

На основе статистики t y получаем доверительный интервал для истинного зна-

чения функции регрессии y = H Tθ :

На основе статистики v получаем доверительный интервал для дисперсии

σ 2 :