Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Операторы преобразования для краевых задач, интегральных представлений и восстановления зависимостей
.pdf
Доказательство. В [14] оператор A(i, j) строился введением вспомогательных операторов
j
=
i
− R
q
R
υ=j
j2
),R
jυ
j
,Rjt,R
jυ
j1
jυ
j
i
j
∈{˜R},
jυ
j2
,R
∈{˜R}.
jυ
∈˜U(2(q −1), 1),Rij∈˜U(2q +
либо
+ R
R
j
l
=
t=j
j
=
R
i
Rjt,R
q
j1
(R
jυ
υ=j
R
j
Тогда R
(i, j) получался умножением на константу оператора Rij=
j
. Следовательно, Rj∈˜U(l −1, 1),R
i
l − 3, 1).
Отсюда A
∈˜Uql(ql(2q + l − 3),k), или A∈˜U(R, ql(2q + l − 3)).
Перейдем теперь к поиску корректного алгоритма для произвольной
задачи Z в классе алгоритмов U(A, L).
Рассмотрим алгебраическое замыкание алгоритмов вычисления оценок U (A). Каждый алгоритм имеет вид A = R ◦ r(˜C),где
R =
R
∈{˜R},aυ∈ N, c(i1,...,ip) - константы. Причем Riυдля всякого υ =
iυ
c(i1,...,ip)R
(i1,...,ip)
α
i1
1, 2,...,ρ задается набором параметров ˜p
α
1
p
...R
,υ =1, 2,...,p (30.4)
ip
, ˜γυ, ˜υ, ˜xυи поэтому каждому
υ
алгоритму A ∈ U(A) можно сопоставить, в соответствии с (30.4),набор
параметров
< {c(i
,...,ip)}, (˜p
1
, ˜γ
, ˜
, ˜x
i
i
1
1
i
1
),...,(˜p
i
1
, ˜γ
, ˜
, ˜x
i
i
p
p
) >
i
i
p
p
В результате всякому алгоритму A ∈ U(A) соответствует функция
A(S, α), которую он вычисляет. Если S ∈{S}- допустимый объект, то
A(S, α)=j тогда и только тогда, когда значение предиката P
(S) ,
j
вычисленное этим алгоритмом, равняется единице. В дальнейшем будем
отождествлять алгоритм A и функцию A(S, α).
В [14] в качестве функционала качества работы алгоритма A(S, α)
рассматривается
ˆ
R(α)=θ{[ω − A(S, α)]
2
}dP (S, ω), (30.5)
291
где P(S, ω)=P (S)P(ω | S),P(S) - вероятность возникновения ситуа-
ции (объекта) S и P (ω | S)- вероятность отнесения объекта S к классу
с номером ω ∈{1, 2,...,l}. Тогда функционалˆR(α) задает вероятность
неправильной классификации с помощью алгоритма и возникает задача отыскания алгоритма A(S, α). доставляющего минимум функционалу
ˆ
R(α). Причем функция P (S, ω) считается неизвестной, но дана случайная и независимая выборка (обучающая) (30.1).
q
Задана также рабочая выборка˜S
=(S1,...,Sq), найденная согласно
распределению при случайных и независимых испытаниях:
1
(S
,α(S1)),...,(Sq,α(Sq)).
Информационные векторы α(S
i
),i =1, 2,...,q, считаются неизвест-
ными.
По лемме 30.1, корректный алгоритм, распознающий выборку˜S
q
использующий обучающую последовательность пар (30.1), принадлежит
классу˜U(A, L) ⊂ U(A) при L удовлетворяющем (30.2). Однако данный
класс˜U(A, L) зависит от длины выборки q поэтому нет гарантии, что
мы находимся в условиях детерминистской [14] постановки задачи обучения распознавания образов, хотя, очевидно, класс U(A, L) содержит
q
алгоритм, безошибочно классифицирующий все объекты˜S
. В связи с
этим будем рассматривать стохастический вариант [14] задачи распознавания образов. В данном случае задача сводится к отысканию алгоритма
A(S, α),минимизирующего функционал
q
(α)=
iw
i
1
[ω − A(Si,α)]2, (30.6)
q
i=1
=1.
где α(S
ˆ
R
1
)=(αi1,...,αil),α
0
Пусть минимумы функционалов (30.5) и (30.6) достигаются, соот-
∗
ветственно, в точках α
∗
,α0) −ˆR(α0) −ˆR(α∗) и, как следует из (30.2), близость значений
ρ(α
может быть гарантирована, еслиˆR(α
ближаетˆR(α
). Обозначим
0
и α0. Тогда мерой близости α∗и α0служит
) равномерно по параметру α при-
0
и
= {(S, ω) | A(S, α) = ω}. (30.7)
T
α
Тогда функционалˆR(α) при каждом значении α есть вероятность события (30.7):
ˆ
R(α)=P {| A(S, α) = ω} = P (T
).
α
292
Эмпирическая оценкаˆR(α0) равна частоте v(Tα) появления этого со-
бытия в данной выборке. Обозначим F класс событий T
Тогда равномерная близость функцийˆR(α) иˆR
ную близость частот и вероятностей событий T
(α) означает равномер-
0
по классу F.
α
при любых α.
α
В [14] получены достаточные условия равномерной сходимости частот
появления событий к их вероятностям, не зависящие от функции распределения. Прежде чем их сформулировать, дадим необходимые определения.
δ
Определение 30.3. Классификацией выборки˜S
представление в виде двух не пересекающихся множеств˜S
t
= {S
1
˜
S
1
цию выборки˜S
ющее правило, задаваемое константами c
,...,S
t
k
,˜S2} = {S
δ
будем обозначать (˜S1,˜S2); r(˜C) - фиксированное реша-
t
k+1
,...,S
t
δ
},где˜S
и c2(c1>c2).
1
i
назовем всякое ее
<
˜
=Ø. Классифика-
S
2
и˜S2, т.е.
1
Определение 30.4. Будем говорить, что оператор R
(алгоритм A(S, α) реализует классификацию (˜S
, если для всяких объектов St∈ S1и S
су K
j
тора (значения алгоритма A(S,α)) удовлетворяют условиям Γ
R
Γ
<c2,A(St,α)=J, A(S
t
j
t
,α) = J .
,˜S2) выборки˜Sδпо клас-
1
t
∈ S2оценки опера-
R
tj
>c1,
Пусть задан класс алгоритмов {A(S, α)} и соответствующей ему класс
событий F(S,α)={T
q
˜
=(S1,...,Sq).
S
} , а также зафиксирована выборка
α
Определение 30.5. Индексом системы F(S, α) относительно выбор-
δ
будем называть число классификаций выборки˜Sδ, реализуемых
ки˜S
алгоритмами из {A(S, α)}, и обозначать это число
q
˜
.
S
F
Очевидно, E
E
q
˜
S
< 2q.
F
(S1,...,Sq)=E
(S,α)
F
Определение 30.6. Функцией роста класса {A(s, α)}называется
E
mF(q)= max
(S1,...,Sq)
F(S,α)
(S1,...,Sq)
Из теоремы, полученной в [14], вытекает одна важная характеристика
класса алгоритмов. Сформулируем ее.
Теорема 30.2 .Функция роста m
либо мажорируется степенной функцией 1.5q
мальное число q, при котором m
(q) либо тождественно равна 2q,
F
(q) =2q.
F
n−1
/(n−1)! , где n - мини-
293
Как следует из этой теоремы, число n − 1 служит мерой разнообразия
класса {A(S, α)}.
Определение 30.7. Будем называть это число емкостью класса
{A(S, α)} и обозначать Δ
Если mF(q)=2
q
(S, α).
A
для всякого q то емкость считается бесконечной, в
противном случае - конечной. Тогда конечная емкость класса {A(S, α)}
является достаточным условием равномерной сходимости частот появления событий класса F(S,α). к их вероятностям.
В качестве класса {A(S, α)} будем рассматривать класс алгоритмов
˜
U(A, L). В дальнейшем докажем конечную емкость класса˜U(A, a) для
всякого L ∈ N .
30.4 Вспомогательные построения
Пусть˜Sδ=(S1,...,Sδ) ,˜Sm=(S1,...,Sm),гдеSi=(ai1,...,ain), i =
1, 2,...,δ, S
значение ρ
Рассмотрим отображения
=(bj1,...,bjn),j =1, 2,...,m. Следуя [14], применим обо-
j
r(aij,bjr
)=ρ(r, j, i) ,атакже˜δ =(1, 2,...,δ),m2= m − m1.
Φ
rp(I0
k
,...,t
r1
,˜δ)=(α
Φ
rk(I0
,˜δ)=(t
такие, что
ρ(r, k, t
ρ(r, m
+ p, α
1
В результате обозначения Φ
набора˜δ:
1
t
11
n×δ
1
ri
... ... ...
=
1
t
n1
1
α
11
n×δ
... ... ...
=
1
α
n1
1
t
ri
α
... t
... t
... α
... α
1
1δ
1
nδ
k
),k =1, 2,...,m1,r =1, 2,...,n, (30.8)
rδ
p
r1
k
r1
p
r1
rk
,...,t
1
1δ
1
nδ
p
,...,α
≤ ...≤ (ρ(r, k, t
≥ ...≥ ρ(r, m1+ p, α
),p=1, 2,...,m2,
rδ
k
)(30.9)
rδ
p
).
rδ
и Φrpпорождают матрицы подстановок
,...,α
m
1
t
... t
11
n×δ
m
ri
=
2
n×δ
... ... ...
m
1
... t
t
n1
m
2
α
11
... ... ...
=
m
2
α
n1
m
1
ri
m
1
1δ
m
1
nδ
... α
... α
, (30.10)
m
2
1δ
m
2
nδ
294
.
Выборку˜Sδбудем называть выборкой общего типа, если все неравенства (30.9) являются строгими. Тогда отображения (30.8) являются однозначными. В дальнейшем будем рассматривать только выборки общего
типа.
Рассмотрим r-е строки матриц (30.10):
t(r, k)=(t
k
,...,t
r1
k
),α(r, k)=(α
rδ
p
r1
,...,α
p
). (30.11)
rδ
Определим величины
x
5
(x)=
θ[ − ρ(r, k , t
j=1
θ[ − ρ(r, k, α
k
)], (30.12)
ri
p
)],¯θ(z)=1−θ(z).
ri
g
a(r,k)
f
(x)=
t(r,k)
5
j=1
x
Обозначим
r
[f
z(r, k) = min
l(r, p) = min
x
x
(x +1)=0∨x = δ], (30.13)
t(r,k)
r
[g
(x +1)=0∨x = δ].
a(r,p)
Очевидно, z(r, k),l(r, p) ∈{0, 1,...,δ}.
δ
Определение 30.8. ˜-Сечением выборки˜S
ной информации I
) будем называть пару матриц вида
0
z(1, 1) ... z(1,m
F
F
1(I0
2(I0
, ˜,˜Sδ)=
, ˜,˜Sδ)=
... ... ...
z(n, 1) ... z(n, m
l(1, 1) ... l(1,m
... ... ...
l(n, 1) ... l(n,m
(относительно началь-
)
1
,
)
1
)
2
.
)
2
Зафиксируем начальную информацию I
и выборку˜Sδ.Введем би-
0
нарное отношение на множестве всех операторов {˜R} = {R(˜, ˜x)}.
Пусть задана система одноэлементных опорных множеств {Ω} = {t}.
Определение 30.9. Будем говорить, что операторы R
= R(˜2, ˜x2) с системой Ω находятся в отношении
R
2
= R(˜1, ˜x1)},
1
1
(R
1
∼
1
R2), если
∼
295
˜x1=˜x2и ˜1, ˜2(сечения выборки˜Sq) совпадают, т.е. Fi(I0, ˜1,˜Sδ)=
, ˜2,˜Sδ),i=1, 2.
F
i(I0
Заметим, что данное определение не зависит от значений ˜γ
, ˜pi. Не-
i
трудно видеть, что указанное отношение является отношением эквивалентности. Будем называть его 1-эквивалентностью и класс 1-эквивалентности, порождаемый оператором R ∈{˜R}, обозначать G
Пусть задано опорное множество Ω={i
,...,ik}. Рассмотрим под-
1
(R, Ω).
1
матрицы матриц (30.10), полученные вычеркиванием из (30.10) строк с
номерами r ∈{i
1
t
ri
k×δ
1
α
ri
k×δ
bf Определение 30.10. ˜-Сечением выборки˜S
,...,ik}:
1
1
t
i
... ... ...
=
1
t
k
1
α
i
... ... ...
=
1
α
k
1
i
1
1
i
1
1
1
... t
... t
... α
... α
1
δ
i
1
,...,
1
δ
i
k
1
δ
i
1
,...,
1
i
δ
k
1
t
ri
2
α
ri
m
1
=
k×δ
=
k×δ
δ
, согласованным с Ω(Ω˜
... t
t
ii1
... ... ...
m
1
t
... t
k11
m
2
... α
α
ii1
... ... ...
m
2
... α
α
ik1
m
i1δ
m
i
1
,
1
δ
k
m
2
i1δ
m
2
ikδ
-сечением), будем называть пару матриц
z(i
, 1) ... z(i1,m1)
1
Ω
F
(I,˜,˜Sδ)=
1
Ω
F
(I,˜,˜Sδ)=
2
и обозначить его <F
Тогда операторы R
множеством Ω
˜2- сечения совпадают:
и Ω
будем называть 1-эквивалентными, если ˜x1=˜x2и Ω˜1-
Ω
<F
1
Ω
1
(˜1),F
... ... ...
, 1) ... z(ik,m1)
z(i
k
, 1) ... l(i1,m2)
l(i
1
... ... ...
, 1) ... l(ik,m2)
l(i
k
(˜),<F
1
Ω
(˜) >.
2
= R1(˜1, ˜x1),R2= R2(˜2, ˜x2) ∈{˜R} с опорным
Ω
(˜1) >=<F
2
Ω
(˜2),<F
1
Класс операторов R ∈{˜R} , 1-эквивалентных по Ω
,
Ω
(˜2) >
2
, обозначим G1(R, Ω)
296
Таким образом, множество операторов {˜R} распадается на классы
эквивалентности: пусть
#
{˜R
1
} =
4
G1(R, Ω), {˜R2} =
(˜,˜x)
4
˜,˜x
4
G1(R, Ω)$,
Ω
тогда {˜R} = {˜R
(R, Ω)] - число классов эквивалентности множеств {˜R1} и {˜R2}.
χ[G
1
1
}∪{˜R2} . Рассмотрим, соответственно, χ[G1(R, Ω)] и
Имеет место
Теорема 30.3 Верны неравенства
χ[G
(R, Ω)] ≤ 3(mδ +1)n+1 (30.14)
1
n
χ[G
(R, Ω)] ≤
1
k
c
[3(mδ +1)+1] (30.15)
n
k=1
bf Доказательство. Рассмотрим строки r-е строки (30.11) при k =1, 2,
, p =1, 2,...,m2,r =1, 2,...,n. Обозначим из них последователь-
...,m
1
ность всех элементов таких строк. Обозначим t
m1+p
ri
p
= α
и образуем для
ri
последовательности
t(r, 1),...,t(r, m
),α(r, 1),...,α(r, m2)(30.16)
1
следующую постановку:
1
t
r1
ϕ(t
1
r1
... t
) ...ϕ(t
1
rδ
1
rδ
... t
) ...ϕ(t
m
1
r1
m
1
r1
... t
) ...ϕ(t
m
1
rδ
m
1
) ...ϕ(t
rδ
... t
m
r1
m
) ...ϕ(t
r1
... t
!
m
rδ
m
)
rδ
(30.17)
где ϕ - инъективное отображение последовательности (30.16), определя-
¯ϕ(k,i)
k
емое следующим образом. Обозначим ϕ(t
)=t
ri
rϕ
(k,i
) , и пусть
(l, j)=(¯ϕ(k, i),ϕ
(l, j)=
¯ϕ(k, i +1),ϕ
¯ϕ(k +1), 1),ϕ
(k, i +1),i=1, 2,...,δ − 1,k =1, 2,...,m,
(k +1, 1),i= δ, k =1, 2,...,m−1.
Тогда
= ρ(r, ¯ϕ(1,1),ϕ(1, 1)) = min
ρ
0
i=1,2,...,m
j=1,2,...,δ
(k, i)),
ρ(r, i, j), (30.18)
297
ρ(r, l,j) − ρ(r, l, j) = min
l∈(1,2,...,m)\(l)
j∈(1,2,...,δ)\(j)
{ρ | ρ(r, l,j) − ρ(r, l, j) ≥ 0}. (30.19)
Определим предикат:
(, l, j, l,j)=( ∈ [ρ(r, l, j),ρ(r, l,j)]).
P
r
,
Тогда, по (30.17), (30.18), (30.12), для всякой пары
> 0,нако-
торых значения истинности предиката P при любых фиксированных
,j
l, j, l
для любого натурального x. Следовательно, по (30.13),
выборки˜S
совпадают, выполняются равенства
(x)=f
f
t(r,k)
совпадают. Рассмотрим
t(r,k)
(x),g
α(r,p)
(x)=g
α(r,p)
(x)
,
- сечения
и предикат
тогда P
()=( ∈ [ρ0,ρ1]). Множество элементов Mr= {ρ(r,i, j) | i ∈
r
P
r
ρ
1
()=
= min
i=1,2,...,m
j=1,2,...,δ
l,j,l
ρ(r, i, j)
∨
Pr(, l, j, l,j),
,j
1, 2,...,m,j=1, 2,...,δ} расположим в порядке возрастания. Тогда эле-
менты такой возрастающей последовательности образуют разбиение отрезка [ρ
отрезком вида [ρ(r, l, j),ρ(r, l
˜x равнотреми| M
] причем каждый отрезок разбиения совпадает с некоторым
0,ρ1
|= mδ, |{Ω}|= n , то исходя из определений 30.8 и
r
,j
)]. Поскольку число ненулевых векторов
30.9 получаем оценку (30.14).
Так как число различных одноэлементных опорных множеств мощ-
k
ности k равно C
, то, используя доказательство (30.14) и определение
h
30.10, получаем (30.15).
Следствие. Общее число χ классов эквивалентности по системам
опорных множеств {Ω} и {Ω
} ограничено сверху:
n
[3(mδ +1)n+1]. 30.20
χ ≤ 2
Действительно, из (30.16), (30.17) следует, что
χ = χ[G
(R, Ω)] + χ[G1(R, Ω)] ≤ 3(mδ +1)n+1+(2n−1)[3(mδ +1)n+1]
1
n
[3(mδ +1)n+1]
=2
298
30.5 Основная теорема
Введем обозначение G1(R) для класса 1-эквивалентности с произвольной
системой опорных множеств {Ω} или {Ω
Поставим в соответствие каждому объекту S
каждому классу G
следующим образом. Пусть R ∈ G
Случай 1. G
t
= B(St,St, ˜, r),i=1, 2,...,m1, G
G
ir
(R) булев вектор
1
(R)] = (G
G
t[G1
1
(R)=G1(R, Ω) То гд а G
1
}.
t
рабочей выборки˜Sδи
1
t
(R) и R = R(˜).
t
=¯B(St,St, ˜, r),i= m1+1,...,m,
ir
,...,G
i
=(G
t
m
)(30.20)
t
t
i1
,...,G
t
),i =1, 2 ...,m,
in
r =1, 2,...,n.
Случай 2. G
Определение (30.10) дано полностью. Заметим, что G
чае 2, в то время как G
(R)=G1(R, Ω), Ω= {i1,...,ik}. Тогда при r ∈ Ω
1
t
G
= B(St,St, ˜, r),i=1, 2,...,m1,
ir
t
=¯B(St,St, ˜, r),i= m1+1,...,m,
G
ir
⎧
⎨
⎩
6
1
=
G
t
sign(
i
есть n- мерный булев вектор в случае 1.
t
t
G
,i=1, 2,...,m1,
ir
r∈Ω
&
t
G
),i= m1+1,...,m.
ir
r∈Ω
i
∈{0, 1} вслу-
t
Из определения (30.10) следует, что число различных векторов не
mm
превосходит 2
Определение 30.11. Векторы G
зывать характеристическими для объекта S
вивалентности G
Лемма 30.2 Для всех объектов S
рактеристическими векторами (G
бого оператора R
падают: Γ
R
t1j
вслучае1и2mв случае 2.
(R, Ω) и G1(R, Ω).
1
= G1(R) оценки, доставляемые оператором R0сов-
0
R
0
0
=Γ
t2j
(R, Ω)] и G1[G1(R, Ω)] будем на-
1[G1
t
1
и S
[G1(R, Ω)] = G
t
1
t
относительно классов эк-
t
2
выборки˜Sδс одинаковыми ха-
[G1(R, Ω)]) для лю-
t
2
Доказательство. Для случая 1 при R0= R0(˜) поскольку
[G1(R, Ω)] = G
(G
t
1
[G1(R, Ω)]), векторы
t
2
α
t
(Sj,S
1
, ˜, 1),...,Bα(Sj,S
<B
t
1
, ˜, n) >
299
<Bα(Sj,S
t
2
, ˜, 1),...,Bα(Sj,S
t
2
, ˜, n) >
по определению (30.11) равны при j =1, 2,...,m,α =0, 1. Следователь-
но,
m
n
1
=
prγjB(St,S
r=1
j=1
m
n
r=1
prγ
B(S
j
¯
t
,S
t
1
, ˜, r)=
t
1
, ˜, r)=
1
Γ
j
t
1
0
Γ
=
j
t
1
j=m1+1
Для случая 2, по определению (30.11) G
есть
тогда
5
r∈Ω
sign(
m
1
1
=
j=1
m
j=1
p(Ω)
1
p(Ω)
Γ
tj
=
t
1
G
jr
m
j=m1+1
5
r∈Ω
5
r∈Ω
5
=
r∈Ω
G
B(Sj,S
t
2
G
=
jr
m
1
r=1
j=1
m
j=m1+1
t
2
G
,j =1, 2,...,m1,
jr
t
1
)=sign(
ir
m
t
1
, ˜, r)=
1
j=m1+1
p(Ω)
j=1
n
prγjB(St,S
n
prγ
r=1
i
= G
t
1
m
G
m
1
p(Ω)
j=1
5
B(Sj,S
r∈Ω
t
1
, ˜, r)=Γ
t
j
t
2
ir
¯
B(S
i
t
);
1
,S
, ˜, r)=Γ
t
,i =1, 2,...,m,то
2
5
t
1
G
=
jr
r∈Ω
t
2
, ˜, r).
1
j
t
2
0
j
t
2
Аналогично
m
0
=
Γ
j
t
1
p(Ω)sign(
j=m1+1
r∈Ω
t
1
G
jr
)=
m
j=m1+1
p(Ω)sign(
r∈Ω
G
t
2
)=Γ
jr
0
j
t
2
.
Лемма доказана.
Перейдем к доказательству основной теоремы, гарантирующей конечную емкость класса алгоритмов˜U(A, L).
Теорема 30.4 Для всякого L ∈ N существует такое δ , что любая
δ
выборка˜S
имеет классификацию (˜S1,˜S2) не реализуемую никаким опе-
ратором R ∈˜U(R, L).
300
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]