Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Операторы преобразования для краевых задач, интегральных представлений и восстановления зависимостей
.pdf
bf Доказательство. Предположим противное: пусть существует такое L,
что для любого δ всякая классификация (˜S
,˜S2) выборки˜Sδреализуется
1
некоторым оператором R ∈˜U(R, L) . В силу определения класса˜U(R, L)
всякий оператор из этого класса представляет собой операторный многочлен вида
R =˜C
1
i=1
+˜C
!
l
1
ciR
i
⎛
⎝
g
i=l1+...+l
k
+˜C
l1+...+l
2
g−1
g
l1+l
i=l1+1
ciR
+1
!
2
k
ciR
⎞
⎠
i
+ ...+
i
k
. (30.21)
Введем следующее отношение эквивалентности (L-эквивалентности) на
множестве всех операторов из˜U(R, L). Пусть дан также оператор
⎛
l
+...+l
t
=
R
j=1
⎝
C
j
i=l
1
+...+l
1
g−1
g
+1
⎞
k
⎠
c
R
i
i
из класса˜U(R, L). Будем говорить, что операторы R и Rявляются Lэквивалентными (R
L
R) , если R
∼
1
R
) для всякого i =1, 2,...,L.В
i
i
∼
результате класс˜U(R, L) разбивается на классы эквивалентности, кото-
рые обозначим G
L
(R)
Из данного определения следует, что каждый класс порождается оператором
L
=
i=1
R
i
R
0
(30.22)
В силу (30.20), число классов L-эквивалентности не превосходит
n
[3(mδ +1)n+1]}L< 2
{2
Рассмотрим произвольный класс G
каждый оператор R
t
екту S
соответствует булев вектор Gt[GL(R)] =< Gt[G1(RL)] >, который
= G1(Ri). При этом для всякого t =1, 2,...,δ объ-
i
L(n+2)
(mδ +1)
(R) порождаемый (30.22) , где
L
Ln
(30.23)
назовем обобщенным характеристическим вектором объекта относительно класса G
торов для класса G
(R). Легко видеть, что число различных обобщенных век-
L
(R) не превосходит
L
mnL
. (30.24)
2
301
Заметим, что если G
[G1(Ri)] = G
то G
t
1
t
1
оценки, доставляемые операторами R
t
2
, совпадают, т.е. Γ
S
[G1(R)] = G
t
1
[GL(R)] для некоторых t1= t2,
t
2
[G1(Ri)] для всякого i =1, 2,...,Lи, следовательно,
t
1
R
t1j
i
по классу Kjдля объектов S
R
i
=Γ
=. Поэтому оценки, доставляемые всяким
t2j
i
оператором R вида (30.21), для данных объектов равняются, соответственно,
R
=
Γ
t
j
1
R
=
Γ
j
t
2
j=1
g
j=1
⎛
⎝
j
⎛
⎝
i=l1+...+l
l1+...+l
i=l1+...+l
l1+...+l
j−1
j−1
j
j
+1
+1
g
˜
C
˜
C
j
cjΓ
cjΓ
⎞
R
i
⎠
, (30.25)
j
t
1
⎞
R
t2j
R
i
⎠
, Γ
R
=Γ
j
t
1
j
t
2
Рассмотрим последовательность обобщенных характеристических век-
δ
торов для объектов выборки˜S
довательности найдется не менее [δ/2
существуют натуральные τ
[GL(R)] =G
G
t
1
выборки˜S
M[R]
L
= {˜S1,˜S2) |∃r∃p(r, p =1, 2,...,cR) × [(S
[GL(R)]. Введем следующее множество классификаций
t
CR
δ
:
. Тогда, по условию (30.24), в этой после-
mnL
] совпадающих векторов, т.е.
,...,τCR∈ [1,δ] такие, что cR≥ [δ/2
1
τ
r
∈˜S1)&(S
τ
p
mnL
∈˜S2)]}.
] и
Подсчитаем число элементов данного множества:
M[R]
L
=(2
C
R
− 2)2
δ−C
R
=2δ− 2
δ−CR+1
.
Указанное равенство следует из того, что число всех подмножеств
множества M
жества M[R]
δ−C
равно 2
R
= {S
1
равно 2
L
τ
1
τ
C
,...,S
C
R
R
}, отличных от пустого и от всего мно-
− 2, а число подмножеств множества˜Sδ\M
В силу предположения, сделанного в начале доказательства, следует,
δ
что каждая из 2
-классификаций выборки реализуется некоторым оператором из подходящего класса L-эквивалентности. Тогда, по (30.23),
следует, что существует не менее [2
δ/2L(n+2)
(mδ +1)Ln] классификаций,
реализуемых посредством операторов R ∈˜U(R, L) принадлежащих од-
ному и тому же классу G
L(R0
).
Пусть Ω - множество всех таких классификаций. Докажем, что Ω ∩
M[R
=Ø. Действительно, число классификаций выборки˜Sδ, не при-
0]L
надлежащих множеству A , не превосходит
δ
2
{1 − [1/2
L(n+2
(mδ +1)Ln]}.
и
1
302
С другой стороны
|M[R
|=2δ[1 − 1/2
0]L
−1
R
0
] > 2δ{1 − [1/2
L(n+2)
(mδ +1)Ln]}.
C
Данное неравенство выполняется для достаточно больших δ , точнее:
C
−1
R
0
2
Последнее верно, если [δ/2
mnL
δ>2
mnL
[δ/2
]−1
≥ 2
mnL
] − 1 >L(n +2)+Ln · log2(mδ +1), или
> 2
L(n+2)
(mδ +1)Ln.
[Ln · log2(mδ +1)+L(n +2)+1]. (30.26)
Но отсюда следует, что существует классификация (˜S
,˜S2∈M[R0]
1
принадлежащая Ω. По определению M[R0]Lсуществуют хотя бы два
τ
r
объекта S
∈˜S1и S
но по (30.25) оценки Γ
класса G
˜
S
∩˜S2=Ø. Теорема доказана.
1
) , совпадают, т.е. Γ
R(R0
τ
p
∈˜S2, для которых G
τrj
и Γ
доставляемые всяким оператором из
τpj
=Γ
τrj
[GL(R0)] =G
t
r
Но это невозможно, так как
τpj
[GL(R0)],
t
p
Замечание. Рассмотрим множество операторных многочленов
˜
U
(R, L) имеющих вид (30.21) , где для всех i =1,2,...,L оператор R
имеет систему опорных множеств {Ω} = {i} . Тогда в формулировке
теоремы 30.4 вместо класса˜U(R, L) можно рассматривать класс˜U
(R, L)
и оценка (27.26) меняется следующим образом:
mnL
δ>2
[Ln · log2(mδ +1)+2L +1] (30.27)
Действительно по (30.14) число классов L-эквивалентности не превосхо-
дит [3(mδ +1)
ется неизменной. Тогда, разрешая неравенство 2
n
+1]L< 22L(mδ +1)Ln. В то же время оценка (30.24) оста-
δ/2mnL−1
> 22L(mδ +1)
Ln
относительно δ, получаем (30.27).
Пусть F(S, α) - класс событий (30.7) соответствующий классу алго-
ритмов˜U(A, L) ; тогда из теоремы 30.4 вытекает оценка емкости Δ
(S, α)
A
класса˜U(A, L).
Следствие . Верно неравенство
(S, α) ≤ min{δ | δ>2
Δ
A
Получим теперь оценку сверху для Δ
mnL
[Ln · log2(mδ +1)+2L +1]} (30.28)
(S, α) в более удобной форме.
A
L
i
Теорема 30.5 Емкость класса алгоритмов˜U(A, L) ограничена сверху.
Δ
=(S, α) ≤ 4
A
mnL+2
.
303
bf Доказательство. Пусть задана рабочая выборка ;˜Sδтакая, что δ =
mnL+2
. В частности, mδ +1 <δ2,атакже2L +1 ≤ 2mnL +1,Ln +
4
1 ≤ 2mnL ; тогда Ln[log
2
1 ≤ 4(mnL)
+11mnL +1 ≤ 2
(mδ +1]2L +1 < mnL(2log2δ +1)+2mnL +
2
mnL+4
. Последнее неравенство для всех
m, n и L =1, 2,.... Используя также оценку (30.27) и равенство (30.28)
mnL+2=2mnL+4·2mnL
4
тат для оценки длины выборки {S
, получаем (30.27). Применим полученный резуль-
,...,Sm}, достаточной для обучения в
1
задаче распознавания. Следуя [14], будем считать, что длины рабочей и
δ
обучающей выборок совпадают, т.е.˜S
δ
Пусть также˜S
и˜Sδполучены в серии независимых испытаний и
задан класс алгоритмов {A(S, )}, имеющий емкость Δ
=(S1,...,Sδ) и˜Sδ=(S1,...,Sδ).
(S, α).
A
Теорема 30.6 (см.[14]). Для того чтобы с вероятностью, большей 1−
η , частота ошибок распознающего алгоритма A ∈{A(S, α)} на обучаю-
щей и рабочей выборках различалась менее чем на достаточно, чтобы
длина выборок удовлетворяла условию
δ =
2Δ
(S, α
A
ln(η/5) − (
1 −
2
ΔA(S, α
2
/2)
− ln
2
.
2
Из теорем 30.5 и 30.6 вытекает
Теорема 30.7 Для всякого 0 <η<1 и >0 для того, чтобы с веро-
ятностью, большей 1 − η частота ошибок распознающего алгоритма
A ∈˜U(A, L) на обучающей и рабочей выборках различалась менее чем
на , достаточно, чтобы длина обучающей выборки˜S
удовлетворяла
Q
условию
Q ≥
2mnL+3
2
2
1 −ln
2
η
−
2
2
−(2mnL+3
2
− ln
2
.
2
304
Глава 31
О неполноте модели алгоритмов
вычисления оценок
Доказано, что линейное замыкание L(A) алгоритмов вычисления оце-
нок некорректно над множеством регулярных задач и, следовательно,
модель таких алгоритмов неполна. Однако для класса эффективно отделимых задач {Z } относительно заданной системы опорных множеств
{Ω} класс алгоритмов L(A) является корректным. Строится контрпример, показывающий, что условие эффективной отделимости задач не является необходимым для корректности L(A) .
Настоящая работа посвящена исследованию корректности линейного
замыкания L(A) алгоритмов вычисления оценок, а следовательно, вопросу о полноте такого класса алгоритмов. Алгоритмы вычисления оценок задаются в форме, принятой в [14], с тем добавлением, что в классе системы опорных множеств таких алгоритмов рассматривается более
широкая совокупность подмножеств множества {1, 2,...,n} (n - число
признаков).
В [14] была доказана корректность алгебраического замыкания алгоритмов вычисления оценок. С другой стороны, в [14] исследовалась корректность линейного замыкания таких алгоритмов, причем было доказано, что при некотором расширении данного класса алгоритмов (элементарного (γ, β)-расширения) его корректность достигается. Однако вопрос
о корректности самого класса алгоритмов оставался открытым. В нашей
работе на него дается отрицательный ответ. Формулируются достаточные условия для множества регулярных [14] задач {Z} , при которых
L(A) оказывается корректным для {Z}. Поскольку емкость корректного
305
подкласса L(A) оказывается ограниченной, то задача поиска алгоритма,
безошибочно распознающего данную выборку, решается положительно
на основании [14].
31.1 Предварительные определения
В основном сохранена терминология работ [14], [14]. Напомним некоторые определения и обозначения. Начальную информацию будем записывать в виде I
- произвольная выборка допустимых объектов, называемая обучающей,
),...,α(Sm)) - последовательность информационных векторов о при-
(α(S
1
надлежности объектов выборки к классам K
ких классов представляет собой все множество допустимых объектов
= {(S1,...,Sm); (α(S1),...,α(Sm))} ,где(S1,...,Sm)
0
, где объединение всех та-
j
l
4
Kj= M = {a1,...,an}
i=1
Пусть дана выборка допустимых объектов˜S
жащих распознаванию. Назовем ее рабочей; R
q
=(S1,...,Sq) ,подле-
- множество всех поло-
+
жительных действительных чисел. Под алгоритмом вычисления оценок
будем понимать A = R ◦ r(C),гдеR - распознающий оператор, задава-
n
емый набором своих параметров R = R(ρ, γ,, x),p ∈ R
*
(R
{0}*{−1})
+
=Γi(Si) - оценка Siпо классу Kj,r(C ) - фиксированное решающее
Γ
ij
правило, определяемое набором констант C
C
(j) ≥ C1(j) > 0,r(C)(Γij
2
Здесь
n
,x ∈{0, 1}2; R(I0,˜Sq)= Γij
(j), C2(j),j =1, 2,...,l:
1
)=βij
q×l
⎧
0, если Γ
⎨
1, если Γ
=
β
ij
⎩
Δ, если C
<C1(j),
ij
>C1(j),
ij
(j) ≤ Γij≤ C1(j).
1
q×l
q×l,βij
,γ ∈ R
+
= Γi(Si)
∈{0, 1, Δ}
q×l
m
, ∈
+
,где
Множество всех операторов вычисления оценок обозначим через {R}.
Опорные множества алгоритма А (оператора R). Каждому алгоритму
A (оператору R) сопоставляется совокупность опорных множеств {Ω
где Ω
⊂{1, 2,...,n} . Будем рассматривать следующие системы Ω
A
},
A
A
1)совокупность {ΩA} = {(i) | i =1, 2,...,n};
306
2)совокупность {ΩA} опорных множеств состоит из одного опорного
множества Ω
3)совокупность {Ω
;
A
} состоит из всех подмножеств множества
A
{1, 2,...,n} мощности k,где1 ≤ k ≤ n;
4)совокупность {Ω
} состоит из подмножеств множества {1, 2,...,n}
A
произвольной природы.
В [14] исследовались алгоритмы с системами опорных множеств 1),
2), а в [14] - с системой 3).
Обозначим класс алгоритмов (операторов), имеющих в качестве системы опорных множеств {Ω
1,...,4, и пусть {A
{A | A ∈{A
}&A = A(ρ, γ,, x) где ρ =(1,...,1)} . Соответствующие
2
} = {A1}∪{A2}, {A
12
} совокупность {i} через {Ai} (или {Ri}),i =
A
} = {A3}∪{A12}, {A2(1)} =
123
обозначения будем использовать для классов операторов. В дальнейшем
согласно [14], класс алгоритмов {A} , заданный параметрически, будем
называть также моделью.
Под задачей Z(I
,˜Sq) будем понимать построение алгоритма A из
0
заданного множества алгоритмов {A} вычисляющего информационную
матрицу a
объекта S классу K
,гдеαij= Pj{Si) и Pj(S) - предикат принадлежности
ijq×l
. В дальнейшем будем рассматривать множество
j
всех регулярных задач z, определенных в [14].
Определение 31.1. Алгоритм A называется корректным для задачи
Z = Z{I
,˜Sq) , если A{I0,˜Sq)=aij
0
онная матрица выборки˜S
q
.
q×l
, aij
- истинная информаци-
q×l
Определение 31.2. Класс алгоритмов {A} называется корректным
для множества задач {Z}, если для любой задачи Z ∈{Z} существует
алгоритм A ∈{A},корректный для Z.
Пусть {Ω} - некоторая система подмножеств множества {1, 2,...,n}.
Обозначим через A
мов класса {A
{Ω} класс алгоритмов, состоящий из всех алгорит-
2
}, имеющих в качестве опорных множеств множества из
2
{Ω}.
Определение 31.3. Приведенной системой для {Ω} назовем наи-
большее подмножество {Ω
существует Ω
∈{Ω}, Ω2⊂ Ω1. Приведенную систему для {Ω} будем
2
}⊂{Ω} такое, что для всякого Ω1∈{Ω} не
обозначать {πΩ}.
Пусть {Ω} - система опорных множеств для класса алгоритмов {A
}.
4
Тогда верна
Лемма 31.1 Справедливы соотношения:
307
L{A4}⊂L{A2(1)} (31.2)
L{A
}⊃L{A2(πΩ)} (31.3)
4
L{A
}⊃L{A2} (31.4)
3
L{A
}⊂L{A2(1)} (31.5)
123
Доказательство. Пусть задан оператор R(ρ,γ, , x) ∈{R
} вместе с
4
некоторой системой опорных множеств {Ω}, которую занумеруем в про-
извольном порядке
{Ω} = {Ω
И пусть ω
,...,Ωr}, Ωi= {l1,...,l
1
,...,ωr- последовательность булевых векторов, соответству-
1
ющая (см. [1]){Ω
} . Согласно [14], оценка принадлежности к классу K
i
},i=1, 2,...,r, =(1,...,n).
k(i)
допустимого объекта задается в виде Γj(S0)=Γj1(S0)+Γj0(S0) ,где
Γ
(S0)=
i1
Si∈¯K
γi[p(ω1)B(ω1S0,ω1Si,)] + ...+
Si∈¯K
j
γ
p(ωv)B(ωvS0,ωvSi,)=
i
(ωv)
j
γi[p(ωr)B(ωrS0,ωrSi,)],
Si∈¯K
j
(S0)=
Γ
i0
S
∈C¯K
i
...+
S
∈C¯K
i
Определим операторы R
γ
[p(ω1)¯B(ω1S0,ω1S
i
j
γ
[p(ωr)¯B(ωrS0,ωrS
i
j
1
1
= R
i
(p, γi1,i1,xi1) ∈{R2(1)}, t =1, 2,...r
i
,)] + ...
i
,)]
i
следующим образом:
Ω
v ∈{l
Операторы R
1
при γi0= γ:
R
i
=Ωi,i1=(
R
i
,...,l
1
k(i)
0
0
= R
(p, γi0,i0xi0) ∈{R2(1)}. Опорные множества - как у
i
i
i0
=(
> max
v
S
i1
1
},xi1=(1, 0),γ1i= γ,
i0
,...,
1
ρ(v, p, 0),xi0=(0, 1).
∈¯K
j
p
,...,
i0
),
1
i1
i1
=
l1
,...,
l
1
i1
l
),
n
i0
=
l1
,...,
1
i
> max
v
l
k(i)
i1
l
k(i)
Sp∈¯K
=
=
l
ρ(v, p,0).
j
,
l
k(i)
k(i)
,
j
308
1
Тогда, в силу построения операторов R
а следовательно, L{A
R =
}L{A2(1)}, откуда R = L{A2(1)}.
4
p (ωt)
I=1
1
(R
t
n
i
+ R
и R
0
t
0
,
i
)
Докажем включение (31.3). Пусть задан оператор R = R(p, γ, , x) ∈
} вместе с опорным множеством Ω= {i1,...,ik}. Оценка оператора
{R
2
R для каждого допустимого объекта S
Γ
(S0)=x
j
γip(ω)B(ωS0,ωSi,)+x
1
Si∈¯K
j
0
задается в виде
0
γ
i
S
∈¯K
j
i
p(ω)¯B(ωS0,ωSi,)
где x =(x
Определим операторы R
Пусть ω, ω
),ω ↔ Ω.
1,x2
i
= p, γi= γ,i=(
p
1
= −1,
v
2
v
1
,...,ωi- последовательность булевых векторов, соответ-
≥ max
S
∈C¯K
i
(pi,γi,i,xi),i=1, 2, в классе {A4} :
i
i
i
n
),
i
=
i
i
j
j
,j =1, 2,...,k
,...,
1
ρ(v, i, 0) v ∈ Ω,x1=(1, 0),x0=(0, 1)
j
ствующая всем множествам системы опорных множеств {Ω} класса {A
0
.Тогда оценка объекта S
#
1
(S0)=
Γ
j
Si∈¯K
γ
i
j
, доставляемая оператором R1имеет вид
t
p(ω)BωS
0
,ωSi,
1
+
p(ω)rBωrS0,ωrSi,
r=1
$
1
В силу определения приведенной системы {πΩ} , для каждого r =
1, 2,...,t существует индекс ξ ∈ Ω
,...,ωn) и ωr=(ω
(ω
1
имеем B(ω
индекс ξ ∈ Ω
оператора R
1
(S0)+Γ
Γ
j
rS0,ωr
,
2
2
(S0) , следовательно, L{A4}⊃L{A2{πΩ}},
j
, для которого ωξ=0,ω
r
,...,ω
1
Si,1)=0. Аналогично, для r =1, 2,...,t существует
2
≥ ρ(ξ,i, 0),тоB (ωrS0,ωrS
ξ
Если теперь в качестве {A
, для которого ωξ=0,ω
r
) , но тогда, по построению оператора R1,
n
r
=1, и так как, по построению
ξ
,2)=1. А значит,Γj(S0)=
t
} рассмотреть класс {A3} ,тодляего
4
системы опорных множеств {Ω} = {πΩ} и поэтому {A
отсюда, по (31.3), L{A
}⊃L{A2}, но, по (31.2), имеем L{A3} = L{A2},
3
r
=1,гдеω =
ξ
} = {A2{πΩ}} ,
2
а соотношение (31.5) вытекает из (31.2) и (31.4) . Лемма доказана.
Пусть задано множество допустимых начальных информаций {I
0
}
4
.
}.
309
Определение 31.4. Модель M называется полной, если для любых
= {I0},q =1, 2,..., и выборки˜Sq=(S1,...,Sq) множество матриц
I
0
'
,˜Sq) | A = R ◦ r(C ) ∈M(содержит базис в пространстве число-
R(I
0
вых матриц размерности q × l.
Поскольку здесь рассматривается фиксированное корректное решающее пра-вило, то из данного определения и теоремы, доказанной в [14],
вытекает, что полнота модели M влечет корректность ее линейного замыкания L(M).
Напомним некоторые определения, данные в [14].
q
Определение 31.5. Классификацией выборки˜S
назовем всякое ее
представление в виде объединения двух непересекающихся множеств˜S
t
и˜S2,т.е.˜S1= {S
1
Классификацию выборки˜S
,...,S
t
k
},˜S2= {S
q
t
k+1
,...,S
t
q
},˜S1∪˜S2=˜Sq,˜S1∩˜S2=0.
будем обозначать (˜S1,˜S2).
Определение 31.6. Оператор R (алгоритм A = R ◦ r(C )) реализует
классификацию выборки (˜S
i
∈˜S1и S
S
>C2(j), Γ
Γ
ij
i
∈˜S2оценки оператора R удовлетворяют неравенствам
>C1(j) ,гдеC1(j) и C2(j) определены в (31.1).
ij
,˜S2) по классу Kj, если для всяких объектов
1
Определение 31.7. Алгоритм А назовем корректным по классу K
или просто j-корректным для задачи Z = Z(I0,˜Sq), если j-й столбец
матрицы A(I
,˜Sq) совпадает с j-м столбцом истинной информационной
0
матрицы задачи Z.
Определение 31.8. Класс алгоритмов {˜A} назовем j-корректным
над множеством задач {˜Z} , если для всякой задачи Z ∈{˜Z} и для
всякого j =1, 2,...,l существует алгоритм A(j) ∈{˜A}, j-корректный
для Z .
В дальнейшем будем использовать понятие изоморфизма допустимых
объектов, данное в [14].
1
j
31.2 Основная теорема
Теорема 31.1 Модель алгоритмов вычисления оценок неполна.
Доказательство. Построим задачу, для которой найдется классификация соответствующей выборки, не реализуемая никаким оператором из
L(R). Рассмотрим в качестве множества допустимых объектов E
мерное евклидово пространство со стандартной метрикой расстояния ρ.
3
Пусть задано некоторое разбиение E
на два класса: E3= K1∪ K2,
310
3
трех-
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]