Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Методы и средства обработки сигналов. Учебное пособие.pdf
41
( )
2
2
0
1
1
n
kk
k
px X
n
=
σ= −
∑
.
2
0
σ
22
00
〈σ 〉 = σ
1
1
n
kk
k
x px
p
=
=
∑
( )
( )
2
2
2
0
11
kk k k
px x p x x
nn
σ = − = ∆ −∆
∑∑
2 2 22
11
nn
( )
22
ˆ
1
2
kk kx k k
p p p xx
n
= σ + σ − 〈∆ ∆ 〉
∑
1
1
n
k k jj
j
xx x px
p
=
〈∆ ∆ 〉 = 〈∆ ∆ 〉
∑
1
1
k
j jk
j
p xx
p
=
= 〈∆ ∆ 〉
∑
0
2
2
1
k kk
xx p
pp
σ
〈∆ ∆ 〉 = σ =
2
2 22
00
1
k
kk
p
p
np
〈σ 〉 = σ + σ
∑
2
0
2
.
k
p
p
−σ
Как следует из приведенного равенства для
щенная
.
, эта оценка несме-
Для вычисления оценки дисперсии по полученной формуле требу-
ется знать точное значение параметра Х. На практике чаще всего это
значение нам неизвестно. Поэтому заменим Х на его оценку
и проверим полученное равенство на несмещенность
.
Здесь и далее суммирование ведется по k от 1 до n. Для краткости
пределы суммирования мы будем опускать.
〈σ 〉= 〈 ∆ −∆ 〉= 〈∆ − ∆ ∆ +∆ 〉=
0
( ) 2
p x x p x xx x
∑∑
k k kk k
.
Остается определить ковариацию:
.
Вследствие независимости измерений ковариации ошибок с раз-
ными индексами равны нулю, а с одинаковыми – дисперсии
.
σ
2
0
Учитывая, что
σ=
x
, получим
p
42
Таким образом, замена точного значения параметра Х на прибли-
x
( 1)nn−
( )
2
2
0
1
1
kk
px x
n
σ= −
−
∑
( )
12
, ,...,
n
xx xϕ
( ) ( )
= −−
∑
x
1
k
p =
p pn
∑
1
k
xx x
n
= =
∑
( )
2
2
1
1
k
xx
n
σ= −
−
∑
( )
2
0
1
k
xx
n
−
ε=
−
∑
( )
2
0
1
kk
px x
n
−
ε=
−
∑
женное
оценка оказалась смещенной. Умножая ее на
при вычислении оценки дисперсии приводит к тому, что эта
, получим не-
смещенную оценку дисперсии единицы веса:
.
Число в знаменателе (n – 1) указывает на то, что наша статистика,
принятая для вычисления оценки дисперсии,
2
px x n
kk
1
имеет (n – 1) степеней свободы. Одна степень свободы из n потрачена
на то, чтобы образовать оценку
.
При равноточных наблюдениях все дисперсии ошибок, а следова-
тельно, и веса наблюдений равны. Пусть
, тогда
= =
k
Получим:
.
,
Оценку стандартного отклонения для ошибок называют средне-
квадратической ошибкой (СКО). Для этой величины, полученной a posterior y, т.е. на основании опыта, мы будем применять обозначение ε. Таким образом, для равноточных наблюдений имеем
, а
наблюдений.
В случае, когда величина Х известна, то в знаменателях приведен-
ных формул (n – 1) нужно заменить на n.
3.4. Выбор весов
Правильный выбор весов наблюдений гарантирует корректность
алгоритма определения «наилучшего» значения параметра и его СКО.
Однако величины дисперсий погрешностей каждого отдельного
наблюдения, как правило, неизвестны. Тем не менее в отдельных случаях веса´ наблюдениям можно назначить совершенно строго.
.
– для неравноточных
43
Например, пусть
1
x
1
n
2
x
2
n
12
, ,...xx∆∆
12
, ,...nn
2
0
σ
22
22
00
12
12
, ,...
nn
σσ
σ= σ=
k
x
2
k
σ
2
k
ε
12
, , ...,
n
yy y
равноточных измерений,
согласно изложенному ранее дисперсии ошибок
ответственно в
рения. Если функция ошибок одиночного измерения равна
получено как арифметическое среднее из
– из
таких же измерений и т.д. Тогда
будут со-
раз меньше, чем дисперсия одиночного изме-
, то
.
Легко видеть, что в качестве весов можно взять число рядовых измерений, из которых получили отдельное значение
можно брать с точностью до постоянного множителя, то p
. Поскольку веса
∼
n1, p2 ∼ n2,.... .
1
Другой способ менее надежный. Он основан на замене дисперсии
ошибки n-го наблюдения
ошибки
.
на квадрат его среднеквадратической
Недостаток этого метода заключается в том, что квадраты СКО могут значительно отличаться от дисперсий, так как СКО вычисляют, как
правило, на основании внутренней сходимости данных при их сравнительно небольшом количестве. Тем не менее, когда ничего другого не
остается, полагают p
-2
∼
ε
, p2 ∼ ε
1
1
–2
,…
2
4. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
Научно-исследовательская практика часто нуждается в замене табличных функций, полученных экспериментально, аналитическим выражением. Именно так решаются задачи интерполирования, численного
дифференцирования и интегрирования. Однако наличие погрешностей в
этих данных не позволяет подобрать аналитические выражения, дающие график строго по экспериментальным точкам (например, при «точечном интерполировании» или при построении интерполяционных
сплайнов). Уменьшить влияние этих погрешностей можно, если пользоваться для аппроксимации наблюденных зависимостей одной величины от другой более гладкой кривой, чем это дает опыт.
Допустим, что реально существует зависимость переменной Y от t,
но эта зависимость имеет m степеней свободы, т.е. содержит m неизвестных параметров, которые нужно подобрать. Предположим, что
наблюдения Y дают ряд приближенных значений
, полу-
44
ченных при n различных значениях t. Неизвестные параметры обозна-
12
, ,...,
m
xx x
, jxj=
,
k
y
k =
( )
12
; , ,..., ,
kk m
y t xx x k=ϕ=
()lt
,,xyz
() () () ()lt atx bty ctz=++
,
k
tt k= =
()
kk k
l lt l= +∆
k
l∆
k
t
()
kk
at a=
()
kk
bt b=
()
kk
ct c=
,
kk k k k
l ax by cz l k= + + +∆ =
2
L
( )
2
2
1
n
kkkk
k
L l ax by cz
=
= − + +
∑
( )
2
2
0
k k kk
L
ax by cz l
xx
∂
∂
= ++− =
∂∂
∑
( )
2
2
0
k k kk
L
ax by cz l
yy
∂
∂
= + +− =
∂∂
∑
( )
2
2
0
k k kk
L
ax by cz l
zz
∂
∂
= ++− =
∂∂
∑
чим через
.
Итак, задача состоит в том, чтобы определить оценки параметров
1, 2, …, m по заданному наблюдениями ряду
1, 2, …, n. Запишем постановку задачи в математических фор-
мулах:
При m
>
n эта задача невыполнима, так как имеет бесчисленное
1,2,…, n.
множество решений. При m = n система может иметь однозначное ре-
<
шение, а при m
n – число уравнений больше числа неизвестных и
уравнения, вообще говоря, несовместны. Именно к такому случаю
применяют метод наименьших квадратов (МНК), который рассмотрен
в настоящем разделе.
4.1. Применение МНК к линейным функциям
Рассмотрим частный случай зависимости наблюдаемой величины
от искомых параметров
В дискретных значениях аргумента
n значений
момент
. Обозначим
, где
определения искомых x, y, z будем иметь систему n уравнений:
1,2,…, n (n > 3).
:
.
1,2,…,n получим
– ошибка измерения величины l в
,
,
. Теперь для
Критерий
будет выглядеть следующим образом:
Построим систему нормальных уравнений:
.
,
,
.
45
Выполнив дифференцирование, получим:
2
k k k k k kk
a x ab y ac z al⋅+ ⋅+ ⋅=
∑∑ ∑ ∑
2
k k k k k kk
ab x b y bc z bl⋅+ ⋅+ ⋅=
∑ ∑∑ ∑
2
kk kk k kk
ac x bc y c z cl⋅+ ⋅+ ⋅=
∑ ∑ ∑∑
[ ]
1
n
kk
k
a b ab
=
=
∑
[ ]
1
n
kk
k
a с aс
=
=
∑
[ ]
2
1
n
k
k
a aa
=
=
∑
[ ] [ ] [ ] [ ]
++=
[ ] [ ] [ ] [ ]
ba x bb y bc z bl++=
[ ] [ ] [ ] [ ]
++=
[ ] [ ]
ab ba
[ ] [ ]
ac ca=
[ ] [ ]
bc cb=
[ ]
al
[ ]
bl
[ ]
12
, , ...,
n
ll l∆∆ ∆
,,xyz
,,xyz
,
,
.
Имеем систему, состоящую из трех линейных уравнений с тремя
неизвестными, которую легко тем или иным способом решить.
Для обозначения сумм произведений или квадратов Гаусс предло-
жил применять прямые скобки следующим образом:
,
и т.д.
В этих обозначениях нормальные уравнения примут вид:
aa x ab y ac z al
,
,
ca x cb y cc z cl
.
Основное свойство нормальных уравнений – симметричность матрицы системы:
,
=
,
.
Решить эту систему можно, используя формулы Крамера или матричный способ.
4.2. Ковариационная матрица ошибок неизвестных
Поскольку суммы
, то вычисленные из нормальных уравнений неизвестные
также будут содержать ошибки. Следовательно, нашим реше-
нием будут лишь оценки неизвестных
уравнения в матричной форме:
,
,
содержат ошибки наблюдений
cl
. Запишем нормальные
,
46
[ ] [ ] [ ]
[ ] [ ] [ ]
[ ] [ ] [ ]
[ ]
[ ]
[ ]
aa ab ac x al
ba bb bc y bl
ca cb cc z cl
=
.
[ ] [ ] [ ]
[ ] [ ] [ ]
[ ] [ ] [ ]
[ ]
[ ]
[ ]
aa ab ac x a l
ba bb bc y b l
ca cb cc z c l
∆∆
∆= ∆
∆∆
[ ]
1
n
kk
k
al a l
=
∆= ∆
∑
[ ]
1
n
kk
k
bl b l
=
∆= ∆
∑
[ ]
1
n
kk
k
cl c l
=
∆= ∆
∑
[ ] [ ] [ ]
[ ]
[ ] [ ]
[ ] [ ] [ ]
Ф
aa ab ac
ba bb bc
ca cb cc
=
[ ]
[ ]
[ ]
1
Ф
x al
y bl
z cl
−
=
[ ]
[ ]
[ ]
1
Ф
x al
y bl
z cl
−
∆∆
∆= ∆
∆∆
,
k
lk=
22
ln n
n
E
Очевидно, что погрешности неизвестных подчиняются той же системе уравнений:
,
где элементы матрицы-столбца в правой части уравнений нужно по-
нимать так:
,
,
.
Обозначим матрицу нормальных уравнений для краткости буквой Ф. Получим:
,
,
Пусть наблюдения являются равноточными и независимыми. Тогда
ковариационная матрица ошибок измерений ряда
1,2,…, n явля-
ется диагональной:
l
∆
1
l
∆
2
C ll l E
...
= ∆∆ ∆ =σ =σ
Через
( )
...
l
∆
12 0 0
n
обозначена единичная матрица (n×n). Теперь образуем
1 0 0 ... 0
0 1 0 ... 0
... ... ... ... ...
0 0 0 ... 1
ковариационную матрицу ошибок оценок неизвестных:
.
.
47
x
222
,,
xyz
σσσ
,,
xy xz yz
σσσ
,,xyz∆∆∆
[ ]
[ ]
[ ]
[ ] [ ] [ ]
( )
( )
11
Ф Ф
T
al
C b l la lb lc
cl
−−
∆
= ∆∆ ∆ ∆
∆
1
Ф
−
1Ф−
[ ]
11
11
−−
−−
∆∆∆∆∆∆
= ∆∆∆∆∆∆
∆∆∆∆∆∆
l
j
l
∆ σσσ
= ∆∆∆∆ =σ σσ
C yxyz
( )
z
∆ σσσ
2
x xy xz
2
yx y yz
zx zy z
,
2
где
– дисперсии ошибок неизвестных,
– ковари-
ации этих неизвестных. Сразу же отметим, что если исходные данные
представляют собой независимые наблюдения, то ошибки неизвестных
не будут независимыми и их ковариации, вообще говоря, не равны нулю.
Используя решение нормальных уравнений для ошибок
получим:
.
Вследствие симметричности матрицы Ф ее обратная матрица
также симметрична, и их транспонирование их не изменяет.
Поскольку матрица
не содержит случайных погрешностей, ко-
вариационную матрицу ошибок неизвестных можно переписать так:
∆
al
= ∆∆ ∆ ∆ =
C b l la lb lc
Ф Ф
[ ]
[ ]
[ ] [ ] [ ]
( )
∆
cl
( )
al al al bl al cl
[ ][ ] [ ][ ] [ ][ ]
,
Ф Ф.
bl al bl bl bl cl
[ ][ ]
cl al cl bl clcl
[ ][ ] [ ][ ] [ ][ ]
[ ][ ] [ ][ ]
Распишем первый элемент средней матрицы подробнее:
n n nn nn
a l a l a l a l aa l l aa l l
∆ ∆ = ∆ ∆ = ∆∆ = ∆∆
[ ][ ]
Но вследствие равноточности и независимости измерений
∑ ∑ ∑∑ ∑∑
i i j j ij i j ij i j
i j ij ij
= = = = = =
1 1 11 11
и
i
.
48
2
0
, ,
0, .
ij
ij
ll
ij
σ=
∆∆ =
≠
[ ]
22
00
11 1
nn n
ij i j kk
ij k
a a l l a a aa
= = =
∆∆ =σ =σ
∑∑ ∑
[ ][ ]
[ ]
2
0
a l b l ab∆ ∆=σ
[ ][ ] [ ]
2
0
al с l ac∆ ∆=σ
[ ] [ ] [ ]
[ ] [ ] [ ]
[ ] [ ] [ ]
12 1 21 1 21
0 00
Ф ФФФФФ
aa ab ac
C ba bb bc
ca cb cc
− −−−−
=σ =σ=σ
21
0
ФC−= σ
k
x
k
p
22
0
k
k
pσ=σ
1Ф−
ij
q
11 12 13
1
21 22 23
31 32 33
Ф
qqq
qqq
qqq
−
=
222
0 11 0 12 0 13
222
0 21 0 22 0 23
222
0 31 0 32 0 33
qqq
Cqqq
qqq
σσσ
=σσσ
σσσ
Следовательно, в двойной сумме следует оставлять только те члены, у
которых i = j. Будем иметь
.
Точно также можно показать, что
,
, ...
Итак, ковариационная матрица ошибок неизвестных имеет вид
.
Мы получили, таким образом, важную формулу, позволяющую вычислить не только дисперсии ошибок неизвестных, но и их ковариации
.
Сравним полученную формулу с формулой для дисперсии
ошибки единичного измерения
, имеющего вес
(см. раздел 3)
.
Видим полную аналогию. Роль дисперсии ошибки измерений играет ковариационная матрица ошибок неизвестных, а роль веса – матрица нормальных уравнений. Иными словами: матрица нормальных
уравнений есть матричный вес вектора неизвестных.
4.3. Вычисление ошибок неизвестных
Обозначим элементы обратной матрицы
. Тогда
через
, т.е.
.
49
Здесь диагональные элементы – дисперсии ошибок неизвестных:
22
0 11x
qσ=σ
22
0 22y
qσ=σ
22
0 33
,zqσ=σ
2
0 12xy
qσ=σ
2
0 13xz
qσ=σ
2
0 23yz
qσ=σ
11
1
x
pq=
22
1
y
pq=
33
1
z
pq=
2
0
k
nm
υ
ε=
−
∑
k
υ
( )
kk k k k
l ax by czυ= − + +
0
0 11x
x
q
p
ε
ε=ε =
0
0 22y
y
q
p
ε
ε=ε =
0
0 33z
z
q
p
ε
ε=ε =
[ ] [ ]
[ ] [ ]
[ ][ ] [ ]
2
11
1
bb bc
bb cc bc
q
cb cc
DD
−
= =
[ ] [ ]
[ ] [ ]
[ ][ ] [ ]
2
22
1
aa ac
aa cc ac
q
ca cc
DD
−
= =
[ ] [ ]
[ ] [ ]
[ ][ ] [ ]
2
33
1
aa ab
aa bb ab
q
ba bb
DD
−
= =
,
,
а недиагональные – их ковариации:
,
Постоянные q
(в отличие от весов неизвестных p
вестных, нужно найти обратную величину:
,
, q22, q33 называют также весовыми коэффициентами
11
.
, py, pz). Чтобы получить веса неиз-
x
,
.
В большинстве случаев нам нужно определить среднеквадратические ошибки МНК-оценок неизвестных. При этом вычисляют СКО
«единицы веса» по формуле, которую мы введем несколько позже:
, где
– остаточные разности:
, а
m – число неизвестных (m = 3).
Величина ε
, как правило, заменяет стандартное отклонение σ0 и
0
является его несмещенной оценкой. Поэтому СКО неизвестных определяют по формулам
,
,
.
Для системы трех уравнений веса неизвестных легко вычислить,
образуя матрицу Ф.
,
,
Веса p
, py, pz – отношения определителя системы к определителю
x
матрицы, полученной вычеркиванием соответствующих строки и
,
.
50
столбца, где расположен диагональный элемент обратной матрицы
,
kk k k k
l ax by cz l= + + +∆
1, 2, 3,..., 8k =
,,,
k k kk
abcl
a
k
b
c
k
l
k
l
k
υ
kk
ll−
1 0 2 7 6.8
+0.2
–1 2 0 3 3.9
–0.9 2 –1 1 2
2.2
–0.2
3 2 –2 1 0.6
+0.4
–2
–1 3 6
5.4
+0.6
4 1 0 5 5.2
–0.2
k
a
kk
ab
35 8 8 19
8 29 20 11
8 20 26 28
x
y
z
−
−=
−−
1
35 8 8 19 354 48 72 19 0.72
1
8 29 20 11 48 846 636 11 2.29
11430
8 20 26 28 72 636 951 28 3.06
x
y
z
−
−−
= −=− =
−−
2
1.53
k
υ=
∑
2
0
1.53
0.306
83
ε= =
−
нормальных уравнений.
Пример. Решим систему уравнений
. Численные значения
сведены в таблицу.
Таблица значений параметров системы
k
0 3 –2 1 0.8 +0.2
0 3 –2 1 0.8 +0.2
k
=
Составим нормальные уравнения. Первый элемент матрицы нормальных уравнений есть сумма квадратов элементов первого столбца
(
), второй элемент первой строки есть сумма произведений элементов второго и первого столбцов
и т.д. Получим
.
Решим полученную систему методом обращения матриц:
.
Минимальная сумма квадратов разностей равна
.
, т.е.