книги из ГПНТБ / Вапник В.Н. Теория распознавания образов. Статистические проблемы обучения
.pdfI 7. О СХОДИМОСТИ С ВЕРОЯТНОСТЬЮ ЕДИНИЦА |
229 |
§7. О равномерной сходимости с вероятностью единица
Впредыдущем параграфе мы указали на достаточные условия равномерной сходимости (по вероятности) частот
квероятностям по классу событий S.
Здесь мы покажем, что полученные условия гаранти руют также равномерную сходимость с вероятностью еди ница. Доказательство этого утверждения основывается на использовании известной из теории вероятностей лем мы [21].
Лемма. Если для случайной последовательности ...
..., \ п, ... найдется такое £0, что для любого £ Д> 0 спра ведливо неравенство
00
І2 ^ {!Е і - Е о| > 6 } < оо, |
||
= 1 |
|
|
то последовательность |
, |
..., %п, ... сходится к £0 с ве |
роятностью единица. |
|
Обозначим через Егп собы |
Д о к а з а т е л ь с т в о . |
||
тие, состоящее в том, |
что |
выполняется неравенство |
I In — lo \> — (r — целое число).
Рассмотрим событие Sn, состоящее в том, что выполняется
хотя бы одно из событий Е щ |
Е п + ц |
|
Т- |
ѳ . |
|||
|
|
|
S rn = U En+i- |
|
|
|
|
|
|
|
i= 1 |
|
|
|
|
Оценим вероятность этого события: |
|
|
|||||
|
оо |
|
со |
|
- |
So) > 4 -} • |
d 0-2*) |
р |
{Ä } < і2—1 |
р |
{£п+і} = 2 |
L |
|||
|
|
|
І= П |
|
|
J |
|
Но так как в силу условия леммы ряд (10.21) сходится, то
lim Р {iS£} = 0. |
(10.22) |
П—>оо
Рассмотрим теперь событие Sr
ST= n S t
n = l
230 Г л . X. Д о с т а т о ч н ы е у с л о в и я р а в н о м е р н о й с х о д и м о с т и
Из того, что событие Sr влечет за собой любое из событий Sn, в силу (10.22) получаем
Р (Sr) = |
0. |
(10.23) |
Наконец, положим |
|
|
оо |
s r. |
|
5 = и |
|
|
г = 1 |
|
|
Как нетрудно установить, это событие означает, что найдется такое г, что для каждого п (п = 1,2,...) хо тя бы при одном к (к = к (п) ) будут выполняться нера венства
|
I En+fc |
£о| > |
— • |
|
|
Так как |
оо |
|
|
|
|
|
|
|
|
|
|
то в силу |
(10.23) |
г= 1 |
|
|
|
|
|
|
|
||
|
Р {S} = о, |
|
|
||
что и требовалось доказать. |
|
такое |
число п Д> 0, |
||
Теорема |
10.3. Если существует |
||||
что при 1^> п функция ms (I) < |
Іп, то справедливо |
||||
|
P{ns (хх, ..., |
жг),^ 0 } |
= 1. |
|
|
Д о к а з а т е л ь с т в о . |
В |
силу |
теоремы 10.2 |
||
Р |
{jxs (%, ..., хі) |
е) |
Qms (2l)e |
іЧІ-1) |
|
4 . |
|||||
Пусть п — такое число, что при 1^> п
ms (I) < Іп.
Выберем целое число I* так, чтобы оно превосходило и п. Тогда
оо
2 ^ { n s (xx, . . ., яг)> е } =
і=ч
г* |
«, |
= 2 р { nS ( * ! > . . |
Жг) > 6} + 2 р i nS ( * 1 . • • •> х і) > е } - |
г=і |
г=;* |
§ 8. ПРИМ ЕРЫ И ДОПОЛНИТЕЛЬНЫ Е ЗАМЕЧАНИЯ |
231 |
Первое слагаемое в правой части равенства не превосхо дит /*, а второе слагаемое
2 |
2 { l i f e |
t*(f—1) |
|
4 |
|||
i=i* |
і=і* |
|
|
сходится, как известно, |
при любом е |
0. |
|
Поэтому |
|
|
|
оо
2 Р 1=1
( Х у , . . . , Х у ) > 8 } < + ОО
и, согласно приведенной лемме,
Р {ltS { Х у , ..., Хг)г^ 0 } =1.
Теорема доказана.
§8. Примеры и дополнительные замечания
Впримере 1 § 3 в качестве пространства X взята пря мая, а в качестве системы S — множество всех лучей вида X а . В этом случае
|
Р (А) = Р{х |
а} = Ф (а) |
|
есть |
функция |
распределения |
случайной величины х, |
V (И; |
Ху, ..., Xi) |
= F (а) есть эмпирическая функция рас |
|
пределения этой случайной величины, построенная по выборке Х у , ..., Х у .
Согласно теореме |
10.2 |
Р {sup I F (а) - |
_ е» П-1) |
Ф (а) | > е}< 6ms (21)е * . |
Поскольку в соответствии с (10.9) в данном случае ms (Г) <(
< (I + 1), ТО
Е’Ц-І)
Р {sup ] F (а) — Ф (а) | ^>е) <( 6 (21 + 1) е 2
а
и имеет место равномерная сходимость эмпирических функций к функциям распределения почти наверное. Это — известная теорема Гливенко.
В примере 3 § 3 X — п-мерное пространство, S — сис тема подмножеств вида
(х, ф) > 0 (ф =/Ь0).
232 ГЛ. X. ДОСТАТОЧНЫЕ УСЛОВИЯ РАВНОМЕРНОЙ СХОДИМОСТИ
В соответствии с формулами (10.19), (10.10) и(10.15) при любом задании распределения в пространстве X
Р {sup [ Р (ф) — V (ф; хъ ..., X,) I > е}<18 |
е |
|
где Р (ф) |
и V (ф) — соответственно частота и вероятность |
|
события |
{(хф) 0}, и следовательно, при I |
оо величина |
sup [ Р (ф) — V (ф) I
ф
сремится к нулю с вероятностью единица. Аналогично, если система S состоит из множеств вида
(Хф) > с,
то
^ |
( 2 1 _чу* |
—ililzzll |
|
Р { яа (х1,...,х ,)> е } < 1 8 |
{м п1і} |
в |
4 |
и, очевидно, также с вероятностью 1 имеет место равно мерная сходимость частот к вероятностям.
Это весьма существенный для приложений результат. В известном смысле он может рассматриваться как обоб щение теоремы Гливенко.
Замечание 1. Пустъ дано конечное число систем
..., S n,
для каждой из которых известна функция роста m?k (I).
Пустъ далее, система событий S 0 |
такова, что каждое со |
бытие А ЕЕ S q есть пересечение |
некоторых событий |
А = A t U А 2 ... |
UА п, |
где событие А г принадлежит |
соответственно систе |
ме S(.
Тогда
П
ms° ( l m Si(l). i—l
В самом деле, для произвольной выборки х,, ..., хг в каж дой системе S t найдется не более mSi (I) неэквивалентных событий. Рассматривая всевозможные их пересечения,
§ 8. |
ПРИМЕРЫ И ДОПОЛНИТЕЛЬНЫ Е ЗАМЕЧАНИЯ |
233 |
получим, |
что |
|
п
і=1
При этом, если каждая из функций mSi (I) растет не быст рее, чем степенным образом, то и функция тР° (I) растет не быстрее некоторой степени.
П р и м е р 4. Обобщение теоремы Гливенко на п- мерный случай в ином смысле имеет место, если в качестве
X взять Е п, а в качестве |
S — систему множеств вида |
X1 < aL, |
..., хп < а". |
В силу приведенного замечания в этом случае
т8 (I) < (I + 1)"
и, таким образом, равномерная сходимость также имеет место.
П р и м е р 5. Пусть X — «-мерное евклидово прост ранство, S — любые выпуклые многогранники с числом граней, не превосходящим к.
Тогда
так как каждый такой многогранник может рассматри ваться как пересечение к множеств вида
{(*, Ф) > с}.
Следовательно, и для этой системы имеет место равно мерная сходимость частот к вероятностям.
В примере 2 § 3 ms (I) = 21 и наши условия не гаран тируют равномерную сходимость частот к вероятностям. И действительно, как легко убедиться, например, при рав номерном распределении (и любом непрерывном) такой сходимости нет.
Замечание 2. Выше было установлено, что для всех систем событий S, у которых функция роста не равна тож дественно 21, всегда имеет место равномерная сходимость частот событий к вероятностям независимо от вероятно стной меры Р (х). При этом формула (10.19) позволяет оценить величину максимального по классу S уклонения
234 ГЛ. X. ДОСТАТОЧНЫЕ УСЛОВИЯ РАВНОМЕРНОЙ СХОДИМОСТИ
частот от вероятностей независимо от распределения
Р(х).
Вслучае же, когда ms (і) = 21, величина максимального по классу S уклонения частоты от вероятности не может бытъ оценена нетривиальным образом, ни при каком конечном I, если не используются сведения о распределе
нии Р (X).
С одной стороны, существуют распределения, при ко торых величина
.. .,х,) = sup IV (Л; хъ . . ., Х[) — P{Aj |
Ae s
свероятностью 1 равна нулю при Z> 1; таким будет рас
пределение, сосредоточенное в какой-либо |
одной |
точке |
||
х 0. Это означает, что |
вероятностная мера |
задается |
усло |
|
виями: |
|
|
|
|
Р (А) |
= 1, |
если х0 ЕЕ А , |
|
|
Р (А) |
= 0 , |
если х0 ф А |
|
|
(для простоты будем считать, что одноточечное множество {х0} измеримо, хотя эта оговорка не принципиальна).
Тогда с вероятностью 1 выборка будет состоять только
из повторяющегося элемента х0 |
*^0* |
|||
|
*/ |
— |
• • м |
|
|
-у>I |
_ <Ѵ1 |
/-Ѵ» |
|
Очевидно, что при этом для всех А |
||||
ѵ(Л; х 0, |
..., |
х0) |
= 1 , |
если -х0 е е А, |
V (.А ; х0, |
..., |
х0) |
= 0, |
если х0 ф А |
и, следовательно,
sup IV (А; хъ ..., Хі) — Р (Л) I — 0,
A e s
каков бы ни был класс S.
С другой стороны, если ms (Г) ~ 21, то существуют та кие распределения, что величина
ns (хѵ ..., xt)
со сколь угодно большой достоверностью сколь угодно близка к единице.
Тем не менее, как будет показано в главе XI, сущест вуют примеры систем, для которых ms (Z) = 21 и все же
§ 8. ПРИМЕРЫ И ДОПОЛНИТЕЛЬНЫ Е ЗАМЕЧАНИЯ |
235 |
при любом распределении имеет место равномерная схо димость. Поэтому настоящее замечание означает, что при ms (Z) = 2г без сведений о распределении Р (х) невозмож но оценить скорость равномерной сходимости.
В заключение этого параграфа докажем теорему.
Теорема 10.4. Допустим, что все одноточечные мно жества пространства X измеримы и задана система со бытий S такая, что
7?lS (I) = 2».
Тогда по заданным I, е можно указать такое распределе ние Р (X), что с вероятностью 1 будет выполняться не равенство
sup IV (Л) — Р (Л) I > 1 — 8.
Д о к а з а т е л ь с т в о . Выберем любое целое число п, превышающее I / е. Поскольку ms (п) = 2п, можно ука зать п точек
..., хп
так, что события А ее S индуцируют на этой последова тельности все подпоследовательности. Обозначим через Хп конечное множество, состоящее из точек хх, ..., хп.
Определим распределение Р (х) следующим образом: распределение Р (х) сосредоточено в точках хх, ..., хп, причем все они равновероятны; иными словами,
|
0, |
если А не содержит ни одной точки из X, |
|
1 |
. |
Р{А) = |
—, если А содержит только одну точку, |
|
|
|
|
|
1, |
если А содержит все точки Х п. |
Пусть теперь дана выборка хх, ..., х х. С вероятностью 1 эта выборка состоит лишь из элементов X". Рассмотрим конечное множество X ', состоящее из всех тех точек мно жества Х п, которые не вошли в выборку. Очевидно, что их число не меньше чем п — I.
Поскольку
Д8(*і, 2",
найдется событие А 0 ge S, которое содержит все точки из множества X ' и ни одной из выборки хѵ ..., х\. Это
236 ГЛ. X. ДОСТАТОЧНЫЕ УСЛОВИЯ РАВНОМЕРНОЙ сходимости
значит, что
V ( Л о ) = 0
ив то же время
Всилу выбора числа п, получаем
|ѵ (Л 0) - Р ( Л 0) 1> 1 — е
и, следовательно, с вероятностью 1
sup IV (А; хъ . . хі) — Р (А) | > 1 — е.
A e s
§ 9. Приложение к главе X
Оценим величину
/ік ril—k
2S ^ т У 2І- т
к С2І
где к пробегает значения, удовлетворяющие неравенствам
к |
т — к |
> 8 |
в шах (0,т — I) ^ к ^ mm (m, l) |
|
I |
I |
|||
|
|
или, что то же самое, неравенствам
вI
к — - > - у и max(0,m—l)^.k^.mia (т, I),
аI и m ^ 21 — произвольные положительные целые числа. Разложим Г на два слагаемых:
Г= Гі + Г„
/~ік ril-k l-m
г - 3
к
rik sil^k
г*= 2
с *1
___si |
m |
при к > |
+ — , |
при , . m |
el |
Введем обозначения:
г*к пі-к
ѵпУъІ-т
/>(*) = Г1 (II.1) °21
q (к) = |
р ( к ± 1) |
(m — к) (I — к) |
(П:2) |
|
p(k) |
{к “I- 1) {I 4” к ~b 1 |
|||
|
|
|
5 |
9. |
ПРИЛОЖЕНИЕ К ГЛАВЕ X |
237 |
|||
Д Н Я |
|
|
|
|
|
|
|
|
max (0, то — I) |
< |
к < |
min (то, I). |
|
||
Далее |
обозначим |
|
|
|
|
|
|
|
S = |
min (то, I), |
Т = max (0, то — I), |
|
|||
|
|
|
|
|
S |
|
|
|
|
|
« (А) = |
2 |
(О- |
|
|
|
|
|
|
i |
/С |
|
|
Очевидно, |
что имеет |
место соотношение |
|
||||
|
|
S |
S - 1 |
S - 1 |
|
||
« (а+1) = |
2 |
р W = 2 ^ |
^ = 2 р w ? |
(П.З) |
|||
|
|
і = / с + 1 |
г = /£ |
i= J c |
|
||
Далее из (П.2) непосредственно следует что при і < /
7 (і) > 7 (/'),
т. е. g (і) монотонно убывает. Поэтому из (П.З) следует неравенство
S - 1 S
« (А + 1) = 2 Я (0 7 (0 < 7 (А) 2 т*(г)
г=й і=/£
и, по определению а (к), имеем
а (к + 1) < а (к) q (к).
Применяя последовательно это соотношение, получим для произ вольных к и /, удовлетворяющих условию Т ^ / < к < S,
к - 1
|
« (А) < |
а (/) Д g (г). |
|
||
|
|
|
і=У |
|
|
Наконец, поскольку |
а (;') ^ |
1, |
fc-i |
|
|
|
|
|
|
(П.4) |
|
|
а (А) < |
Д 7 (0. |
|
||
|
|
|
і=У |
|
|
где і — любое целое |
число, |
меньшее чем |
|
||
Положим |
|
|
то — 1 |
|
|
|
t — к — |
’ |
|
||
тогда |
2 |
|
|||
то + 1 |
|
|
то — 1 |
|
|
|
t |
|
— г |
||
7 lft) = |
2 |
|
|
2 |
|
то + 1 |
t |
|
то — 1 |
+ * |
|
|
—2 |
|
2 |
||
238 ГЛ. X. ДОСТАТОЧНЫЕ УСЛОВИЯ РАВНОМЕРНОЙ сходимости
При этом, |
очевидно, пока Т < |
к < |
S , |
|
|||
|
|
|
[ m + 1 |
m — 1 |
|
||
|
|
I і I < min I— 2— |
’ |
1 ~ — 2— |
|
||
Для |
аппроксимации |
q (к) исследуем функцию |
|
||||
|
|
/(0 = |
а — t |
Ъ— < |
|
||
|
|
і + |
а ' |
b + t ’ |
|
||
считая, |
что а и Ъ больше |
нуля. |
|
|
|||
При |
I |
г I < min (а, Ъ) |
|
|
|
|
|
ln F (г) = In (а — і) + ln (b — г) — ln (г -f а) — ln (t + 6). |
|||||||
Далее, |
|
|
ln F (0) = |
0, |
|
||
|
|
|
|
||||
dt ■ln/1 |
1 |
|
1 |
|
1 |
- |
|
■t ' |
b — t |
> t 4- а'+ t + ь] |
|||||
|
|
|
|
|
|
Г 2a |
2b 1 |
|
|
|
|
|
|
— Laa—<*+ 6*—1гJ' |
|
Отсюда |
следует, что при |
| 1 1< |
min (a, b) |
|
|||
dГ 1 1 1
—l n F ( t ) < - 2 [ — + X J.
Соответственно |
при |
| f | < min (a, 6) и г ^ 0 |
|
|
|
|||
|
|
i - '( o < - 2 [ 4 - + 4 - ] f . |
|
|
|
|||
Возвращаясь к q (г), |
получаем, |
что при f^ O |
і + і |
|
|
|||
. |
-Г |
2 |
|
|
|
|
|
|
ln q |
m + 1 |
21 _ |
т + |
1 ] г -------- 8 (n t - f l ) |
(21 — |
иг + |
1 ) U |
|
Оценим |
теперь |
|
|
к-і\ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ln |
Д |
(q( i )), |
|
|
|
|
т — 1 |
|
i=j |
|
|
|
|
|
|
|
|
|
|
|
|
||
считая, |
что ■ 2 |
■< / < * —1: |
|
|
|
|
||
к- 1 |
fc-i |
|
|
|
А—1 |
|
|
|
Т-і |
TZ, |
|
(m -I- IK -i - - ^ + 1 ) " |
\ |
2 |
1 |
||
l=l |
г=1 |
|
|
|
|
|
|
|
t — j |
г— j |
|
|
|
|
|
|
|
Возвращаясь к (П.4), получим
ln а (к) < . |
■ 8(1 + 1) |
|
(то + 1) (21 — т + 1) |
||
|
■ Ь - ^ у