Файловый архив студентов. Файловый архив студентов.
1304 вуза, 5171 предмета.
/ Регистрация
FAQ Обратная связь Вопросы и предложения
Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Белорусский государственный университет информатики и радиоэлектроники
Предмет:
Структуры и алгоритмы обработки данных
Файл:
СМОД – Статистические методы обработки данных / Муха, Слуянова, БГУИР 2004 (Лаб практикум).pdf
Скачиваний:
98
Добавлен:
15.06.2014
Размер:
708.82 Кб
Скачать
☆
►Содержание►

ЛАБОРАТОРНАЯ РАБОТА № 10. РЕГРЕССИОННЫЙ АНАЛИЗ

10.1.Цель работы

10.1.1.Изучение методов решения задач регрессионного анализа.

10.1.2.Приобретение навыков решения задач регрессионного анализа с по-

мощью системы Matlab.

10.2.Теоретические положения

10.2.1.Постановка задачи

В регрессионном анализе изучается взаимосвязь между случайными и не-

случайными величинами на основе экспериментальных данных. Ограничения,

накладываемые на изучаемые величины, менее обременительны по сравнению с корреляционным анализом. В связи с этим считается, что задачи регрессион-

ного анализа чаще встречаются на практике.

Рассмотрим сразу случай многих переменных (множественную нелинейную регрессию) в матричной форме, поскольку он включает и простую линейную и нелинейную регрессии.

Считается, что случайная величина зависит от векторной неслучайной пе-

ременной X (x1,...,xq ) таким образом, что условная плотность вероятности величины нормальная следующего вида:

f ( /x) N( (x, ), 2),

где ( 1,..., m) – вектор неизвестных параметров функции регрессии

y (x, ).

Эквивалентной является следующая модель данных:

(X, ) ,

где N(0, 2 ).

 

 

 

Выбирая некоторые значения X1,..., Xn векторной переменной X ,

можно

получить значения yo,1,...,yo,n случайной величины в виде

 

 

 

 

 

 

 

 

 

 

 

 

) zi , i 1,n,

 

 

 

yoi (xi ,

 

 

 

где zi – независимые случайные величины (значения величины ).

 

 

 

Требуется по наблюдениям (X1, yo,1),...,(Xn , yo,n ) получить оценки

 

 

2

 

 

,

неизвестных параметров , 2 и сделать статистические выводы относительно этих параметров.

10.2.2. Точечные оценки параметров

 

 

 

 

 

 

 

 

 

 

 

Решим задачу в матричных обозначениях.

 

 

 

 

 

 

 

),

Функция регрессии y (x,

как линейная, так и нелинейная относительно X , может быть представлена

следующим образом:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

) HT

,

 

 

 

 

 

 

 

 

 

 

 

 

y (X,

 

 

 

 

 

 

 

 

где

 

 

 

 

 

 

 

 

 

 

 

 

 

 

HT HT (X) (h (X),...,h

 

(X)) (h

 

(X)),

j

 

 

 

 

m

j

1,m

.

 

 

1

 

 

 

 

 

 

 

 

 

 

Здесь hj (X) – некоторые функции вектора X ,

 

 

 

 

 

 

 

 

 

 

 

 

 

T ( 1,..., m ) ( j ),

j

 

,

 

 

 

 

 

 

 

 

 

1,m

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

T – вектор-столбец параметров.

 

 

 

 

 

 

 

 

 

 

 

 

где

 

 

 

 

 

 

 

 

 

 

 

 

Класс функций, описываемых таким образом, называется классом функций,

линейных по параметрам. Желая получить линейную функцию регрессии одной переменной, мы можем выбрать

HT (1,x), T ( , ).

Тогда

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x.

 

 

 

 

 

 

 

 

 

y (x, , ) (1,x)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Желая получить нелинейную функцию регрессии в виде y x

x

2

x2

,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

1

 

достаточно выбрать HT

(1,x ,x

2

,x

2 ),

T

( , , , ).

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Таким образом, мы рассматриваем зависимости вида

 

 

 

 

 

 

 

 

 

 

 

 

yoi HiT

zi ,

i

 

,

 

 

 

 

 

 

 

 

 

где

 

 

 

 

1,n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

H

T

(h (X

 

),...,h

 

(X

 

)) (h

 

(X

 

)), j

 

,

i

 

,

 

 

 

 

i

m

i

j

i

1,m

1,n

 

 

 

 

 

i

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

и считаем, что векторы H1,...,Hn

линейно независимы.

 

 

 

 

 

 

 

Воспользовавшись методом максимума правдоподобия, можно получить

следующие оценки:

 

 

n

 

n

 

 

 

 

 

 

T ( H j HTj ) 1( Hi yo,i ),

 

 

j 1

 

i 1

 

 

 

 

 

 

2

1

n

T

 

 

 

2

 

 

 

 

 

 

 

 

 

 

(yo,i Hi

)

 

.

 

 

 

 

 

 

n i 1

 

 

 

 

 

 

Обычно эти оценки записывают в другой форме. Если рассмотреть весь набор данных эксперимента, то рассматриваемую модель можно записать в виде

Yo F Z ,

где

YT

(y

 

),

F ( f

 

) (h

 

(X

 

)),

 

 

 

T (

 

), ZT

(z

 

), i

 

,

j

 

.

o,i

i, j

j

i

 

j

i

1,n

1,m

o

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

В этом случае оценки запишутся следующим образом:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(FT F)

1(FTY ),

 

 

 

 

 

(10.1)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

o

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

1

 

 

 

 

 

 

 

T

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(Yo F )

(Yo

 

F ).

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(10.2)

 

 

 

 

 

 

n

 

 

 

 

 

 

 

10.2.3. Свойства оценок

Оценка – несмещенная, состоятельная, эффективная. Оценка 2 – асимп-

тотически несмещенная, состоятельная, асимптотически эффективная. Исправ-

ленная оценка

2

 

n

 

2

 

 

1

 

 

 

 

T

 

 

 

 

 

 

1

 

 

 

 

 

=

 

 

 

 

 

(Yo F )

 

(Yo

F ),

 

 

n m

n m

 

 

 

где m – количество оцениваемых параметров,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

является несмещенной, состоятельной и эффективной. Оценки

незави-

и

симы.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Рассмотрим распределения оценок. Доказано, что

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

, 2 (FT F) 1),

 

 

 

 

 

 

 

(10.3)

 

 

 

Nm (

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

v

n

 

(n m) ˆ1

H

n

m

.

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

Матрица

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2(FT F) 1

 

 

 

 

 

 

 

 

 

 

 

(10.4)

является ковариационной матрицей оценки.

 

 

 

 

 

 

 

 

 

 

 

 

 

Введем обозначения:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

A FT F (ai, j ),

A 1 (FT F) 1 (ai, j ),

i, j

 

.

 

 

1,m

 

 

Используя эти обозначения и распределение вектора , можно записать, что

ui

 

i i

 

N(0,1),

i

 

,

 

1,m

 

 

 

2ai,i

 

 

 

 

 

 

 

 

i i

 

 

 

 

i i

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ti

 

 

n m

 

Tn m ,

i 1,m.

 

 

 

 

 

 

 

 

 

 

 

 

2

a

i,i

2

a

i,i

 

 

n

 

 

 

 

 

1

 

 

 

 

 

 

Имея оценку , мы можем получить оценку ординаты функции регрессии y

для любой точки X в виде

y HT .

Можно показать, что

Соседние файлы в папке СМОД – Статистические методы обработки данных
Помощь Обратная связь Вопросы и предложения Пользовательское соглашение Политика конфиденциальности