Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Системы искусственного интеллекта и машинное обучение. Учебное пособие
.pdf
Решение определяется из условия экстремума
x
x
x
x
⎧
F
⎪
a
0
⎪
⎨
⎪
F
⎪
a
1
⎩
N
ya ax
2( )0;
∑
ii
i
1
N
2( )0.
∑
i
1
01
xy a ax
ii i
01
(32)
Систему (32) можно привести к следующему виду:
⎧
aN a x y
⎪
01
⎪
⎨
⎪
axax xy
01
⎪
⎩
NN
2
;
().
∑∑
ii
ii
11
NNN
∑∑∑
iiii
iii
111
(33)
Решением этой системы уравнений являются искомые оценки
и
параметров
a
соответственно:
a
0
1
⎧
ayxyxa
⎪
⎪
⎪
⎪
⎨
⎪
a
1
⎪
⎪
⎪
⎩
NN
1
∑∑
01
NN
ii
N
⎡⎤
∑
⎣⎦
i
1
a
1
ii
11
xxyy
ii
N
∑
i
1
2
xx
i
;
(34)
yxy
x
()
.
22
и
a
0
a
1
С учетом выражения (22) система (34) может быть переписана в виде
⎧
ammr
⎪
⎪
⎨
⎪
ar
⎪
⎩
r – коэффициент взаимной корреляции величин y и x.
где
y
0
1
yxxy
y
xy
x
21
y
;
(35)
,
Очевидно, что для построения адекватной регрессионной модели
необходимо наличие сильной статистической связи между откликом
и
и регрессором. Поэтому полученные оценки параметров
a
0
a
1
необ-
ходимо проверять на существенность, например, по критериям Стьюдента или Фишера.
Интерпретируем полученные результаты.
Величина
равна среднему изменению отклика при увеличении
a
1
значения регрессора на единицу.
Величина
равна среднему изменению отклика при нулевом зна-
a
0
чении регрессора.
Если значения параметров
носительное изменение отклика меньше (равно при 1
и
a
0
имеют одинаковые знаки, то от-
a
1
r ) относитель-
xy
ного изменения регрессора. Если знаки разные, то наоборот (равно при
r
1).
xy
Очевидно, что при наличии ненулевого вектора ошибок
значения
модели не будут полностью совпадать с ожидаемыми значениями отклика y. Отклонения е наблюдаемых значений y отклика от ожидае-
мых по уравнению модели
называются остатками:
y
eyyy aax (36)
iiii
01
.
Критерий адекватности модели, построенной по МНК, – стремление
N
0.
суммы остатков к нулю:
нормальному закону, то и значения остатков
∑
i
e
1
Если ошибка распределена по
i
должны иметь нормаль-
e
ное распределение.
Таким образом, МНК соответствует относительная простота вычислительных процедур и хорошие статистические свойства получаемых
оценок. Недостатками метода являются чувствительность к выбросам
во входных данных и требования к нормальности, стационарности
и дельта-коррелированности ошибок.
22
Для МНК возможен расчет следующих информативных параметров
x
x
и дополнение до более совершенных методов:
коэффициенты эластичности: чувствительность отклика к различ-
ным факторам;
способы нелинейной регрессии: численные решения, примене-
ние стандартизированных функций, новые оптимизационные процедуры, линеаризация по параметрам функции (замена на линейные переменные);
обобщенный МНК: расчет параметров с учетом встречающейся
коррелированности отсчетов данных, нарушения гомоскедастичности.
На рис. 4 приведен пример регрессионной модели, наложенной на
значения обучающей выборки. На рис. 5 показана реализация остатков
для этой модели. На рис. 6 приведена ПРВ остатков, соответствующая
нормальному закону распределения. Коэффициент взаимной корреляции при моделировании равен 0.75, количество элементов выборки
равно 1024, математическое ожидание и дисперсия отклика равны 2 и 6
соответственно. Математическое ожидание и дисперсия регрессора
равны 0 и 1 соответственно.
Значения в выборках подготовлялись следующим образом.
В первую очередь генерировались две выборки стандартно распределенной случайной величины.
Коэффициент взаимной корреляции между выборками случайных
величин задавался по формуле
2
yxr y r
1.
yxy
(37)
После этого выборки приводились к заданным значениям математического ожидания и дисперсий:
xm x
ym y
yy
23
;
x
(38)
.
По ПРВ остатков видно, что точность и адекватность моделирова-
E
R
x
ния по МНК увеличивается с ростом количества элементов обучающей
выборки.
По построенной регрессионной модели осуществляется прогнозирование.
Для МНК существует ряд универсальных показателей качества, которые сводятся в таблицы.
N
Общая сумма квадратов:
Остаточная сумма квадратов:
Сумма квадратов, объясненная регрессией, или объясненная
N
сумма квадратов:
Критические значения функционала F.
SS y y
∑.
i
TSS y y
∑.
i
1
SS y y
∑.
2
i
1
2
i
N
1
i
2
ii
Таблицы, содержащие эти показатели качества, называются таблицами регрессионного анализа.
Формулировка задачи прогнозирования: необходимо оценить значение отклика
для некоторого заданного значения регрессора
y
п
п
, ко-
торое отсутствует в наборе входных данных:
где
– оценка отклика.
y
п
yaax (39)
01
пп
,
Прогноз является экстраполяцией отклика и имеет фундаментальное
свойство: вероятность точечного прогнозирования стремится к нулю.
Поэтому прогнозирование – интервальное. Следовательно, требуется
определить интервал, в котором с заданной доверительной вероятностью находится истинное значение отклика для заданного значения регрессора.
24
Рис. 4. Регрессионная модель остатков, построенная по МНК
Рис. 5. Реализация остатков модели, построенной по МНК
25
y
x
x
x
Рис. 6. ПРВ остатков модели, построенной по МНК
Доверительный интервал определяется по статистике Стьюдента
как
где
ytS y ytS
S
– СКО значения прогноза отклика в точке
п
ппп
yy
кр кр
пп
,
(40)
, которое опреде-
п
ляется следующим выражением:
xx
S
y
п
1
y
N
N
∑
i
1
2
п
i
. (41)
2
x
Из (41) следует, что доверительный интервал расширяется по мере
удаления значения
от x. На рис. 7 приведены границы доверитель-
п
ного интервала для условий моделирования, соответствующих рис. 4–6,
при вероятности ложной тревоги в 5 %.
26
Значение
x
для заданного
y
п
является решением задачи регрес-
п
сии. Ширина доверительного интервала свидетельствует о точности
прогнозирования и, следовательно, о точности решения задачи регрессии. На основе ширины доверительного интервала может быть введен
коэффициент уверенности для принятия или отклонения результата моделирования.
Рис. 7. Границы доверительного интервала прогнозирования
Задача множественной линейной регрессии решается аналогичным
способом, но все приведенные для МНК уравнения записываются и решаются в матричной форме, что является громоздким и для учебного
пособия малоинформативным.
27
x
x
x
x
2. АНАЛИЗ СЛУЧАЙНЫХ ПРОЦЕССОВ
В областях радиотехники, телекоммуникаций и многих других часто
возникает задача анализа результатов измерений случайных величин,
произведенных в разные моменты. Фактически это означает, что результат измерения в любой из моментов будет случайным. Примерами являются выбег частоты автогенератора, мгновенные значения сигнала на
входе радиоприемника, количество электронов, проходящих через пе-
полупроводникового устройства в единицу времени.
реход
2.1. СТАТИСТИЧЕСКАЯ ТЕОРИЯ
СЛУЧАЙНЫХ ПРОЦЕССОВ
Введем новое определение. Случайный процесс ()xt – это последовательность случайных величин во времени. Значение ()
из моментов является случайной величиной.
Один результат измерения
чайного процесса ().
t Для определения характеристик случайного
является одной реализацией слу-
()
t
i
процесса (СП) необходимо учесть бесконечное множество таких реали-
( ) ( ), ..., ( ), ... ,
заций
xt x t x t называемых статистическим ансам-
1
i
блем.
Как отмечалось в предыдущем разделе, для описания случайной величины необходимо знать ее закон распределения, одним из вариантов
которого является ПРВ. ПРВ случайной величины – одномерная.
Она может применяться только для описания значения случайного процесса в определенный момент
(, ).
t
i
t в любой
28
Очевидно, что одномерной ПРВ случайного процесса недостаточно
R
R
для его исчерпывающего описания. Поэтому применяется многомерная
ПРВ вида
( , ..., , ..., , ..., , ...).
xxtt
11
ii
(42)
Определение многомерной ПРВ с достаточной точностью – крайне
трудоемкая задача с большими объемами измерений и вычислений.
Поэтому на практике часто ограничиваются анализом численных характеристик, которые называются моментными функциями. Самые распространенные из них – это математическое ожидание СП, его дисперсия
и корреляционная функция.
Запишем выражения для перечисленных моментных функций, при-
за операцию усреднения усреднение по ансамблю.
няв
Математическое ожидание СП является начальной моментной
функцией первого порядка и определяется по выражению
() () () ( , ) .mt xt xt x tdx
∫
(43)
Дисперсия случайного процесса является центральной моментной
функцией второго порядка и определяется по выражению
2
() () () () () ( , ) .txtmt xtmt xtdx
22
∫
(44)
Двумерная центральная моментная функция называется корреляционной функцией случайного процесса и определяется как
(, ) () () ( ) ( )
t t xt mt xt mt
12 1 1 2 2
, (45)
или
(, ) ()()()()(, , , ).
tt xt mt xt mt xx ttdx
12 1 1 2 2 1212
∫
29
(46)
Корреляционная функция характеризует статистическую связь
R
R
между значениями СП, взятыми в моменты
tt
и
1
. Легко заме-
tt
2
тить, что при совпадении этих моментов корреляционная функция становится численно равна дисперсии СП:
(, ) ().
tt t
12
tt t
12
2
(47)
Часто понятие корреляционной функции расширяют на множество
значений
tt
и
1
для которых проводится анализ случайного про-
,tt
2
цесса.
Коэффициент корреляции при таком подходе является отсчетом
нормированной корреляционной функции:
(, )
tt
(, ) .
rt t
ij
()( )
tt
ij
ij
(48)
В радиотехнике широкое распространение получили случайные
процессы, называемые стационарными. Для таких СП статистические
характеристики одинаковы для всех моментов времени.
Выделяют стационарность в узком и широком смысле.
Случайный процесс является стационарным в узком смысле, если
его многомерная ПРВ инвариантна относительно постоянного временного сдвига:
( , ..., , ..., , ..., , ...)
xxtt
11
( , ..., , ..., , ..., , ...),
xxt t
11
ii
ii
(49)
– значение временного сдвига.
где
Стационарный процесс является стационарным в широком смысле,
если его математическое ожидание и дисперсия не зависят от времени,
а корреляционная функция зависит только от
лютных значений моментов времени
30
и
t
.
t
1
2
tt , а не от абсо-
21
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]