книги из ГПНТБ / Вапник В.Н. Теория распознавания образов. Статистические проблемы обучения

ется, что для этого необходимо и достаточно, чтобы энтро­ пия на символ последовательности стремилась к нулю с

сходимость частот к вероятностям с вероятностью 1;

S /j\

lim Р {я^ (хі, . . ж, )> 6} = 1,

1-+0О

т. е. вероятность того, что максимальное по классу S уклонение частоты от вероятности превзойдет б, стре­ мится к 1.

Таким образом, необходимым и достаточным условием равномерной сходимости частот к вероятностям по классу событий в этом смысле является условие

Д о к а з а т е л ь с т в о д о с т а т о ч н о с т и (ут­

Оценим величину

Р {sup IV(И; хъ ..., Хі) — Р (И) I > е} = Р {я? > е}.

A<=S

В силу основной леммы (§ 5 главы X)

Р {л? > 8} < 2Р {pS(^, . . ., X , ) > -£-} .

В свою очередь, как было показано при доказательстве

леммой

ос

2 Р+ (е, Z)< ОО,

г=і

то и

ОО

2 Wps(*ь ■••.*«)> 44 <<*,

а следовательно, и

2 Р {Jts (хъ . . ж2() > е} < оо.

і=і

Отсюда следует равномерная сходимость частот к ве­ роятностям почти наверное.

Утверждение а) доказано (заметим, что в оценке (11.13) только член Р +(е, I) зависит от распределения).

§ 4. Доказательство необходимости условий равномерной сходимости

ТО И

lim Р {ля (жх, ..., х21) > 6} = 1.

ОО

Таким образом, достаточно показать справедливость (11.14) при некотором б (с) > 0.

1. Рассмотрим сначала для пояснения общего доказа­ тельства частный случай, когда

l i m ^ i ^ l .

і—оо 1

В этом случае, как было указано в замечании 2 § 2,

252 ГЛ. X I. НЕОБХОДИМ Ы Е И ДОСТАТОЧНЫЕ УСЛОВИЯ

HSII)

и, поскольку — есть математическое ожидание вели­

чины

lga ÄS(*і. • • •. *()

ТО

lg As (xi, . . xt)

Следовательно, для всякого I с вероятностью 1

As (ж^ ж,) = 2',

т. е. с вероятностью 1 всякая выборка такова, что на ней

Тогда и подавно для всех б < 0,5

lim Р {sup I v' (Л) — ѵ"(Л) I > 26} = 1.

Идея доказательства утверждения б) в общем случае основана на том, что при

4 « - * С> 0

почти из всякой выборки длины I можно выделить подвы­ борку, на которой индуцированы все подвыборки и дли­ на которой растет пропорционально I.

2. Для этого нам понадобится следующая

Лемма 3. Если при некотором а (0 <С а ^ 1) и Г^> А-

для некоторой выборки жх, ..., жг оказывается, что

As (жх, ..., ж,) > 2аі,

то найдется подвыборка

хи, ..., хіг

As (*„ -м xtr) = 2'.

Д о к а з а т е л ь с т в о . В силу леммы § 4 главы X требуемая подвыборка заведомо существует, если

Чтобы убедиться в последнем, достаточно проверить нера­ венство

ченной в замечании 1 § 4 главы X:

Ф(г, г)< Ф (г, Z )< 1 ,5 ^ -.

Всвою очередь это неравенство можно усилить, применяя формулу Стирлинга:

Поэтому отношение (11.15) будет установлено, если спра­ ведливо неравенство

254 Гл. JCI. НЕОБХОДИМ Ы Е И ДОСТАТОЧНЫЕ УСЛОВИЙ

Логарифмированием и сокращением на I это неравенство преобразуется к следующему виду:

При z )> 0 справедливо неравенство

lg2Z< 2 lg ! е / і .

Оно непосредственно следует из того, что функция — ■

V Z

достигает максимума в точке z = е2 и равна при этом

. Поэтому (11.16) следует из неравенства

а > V eq 2 ]g2 е

I

оказывается, что с ростом I

lg A s (ал, . . . , х {)

c — 6

стремится к единице (6 )> 0). Следовательно, при доста­ точно больших I с вероятностью, сколь угодно близкой к единице,

и, согласно только что доказанной лемме, в каждой выбор­ ке, удовлетворяющей условию (11.17), найдется подвы­ борка длины

г = [? (тг)-‘ ]'

полувыборках может вестись следующим образом: берет­ ся выборка длины 21 и случайным образом делится на две полувыборки равной длины, после чего подсчитывается и сравнивается число появления каждого события клас­ са S на первой и второй полувыборках.

Рассмотрим несколько измененную схему. Допустим, что выборка двойной длины хг, ..., х2і удовлетворяет усло­ вию (11.17), т. е.

As (хѵ ..., x2; ) > 2 cI.

Тогда в ней можно указать подвыборку Х г длины

W ü ' l '

на которой индуцированы все подвыборки. Теперь разде­ лим случайно на две полувыборки сначала подвыборку

менты ХІ принадлежат А*, а все элементы Х2 не принад­ лежат А*. Для этого события «разбаланс» частот достига­ ет наибольшего значения. Допустим, что в оставшейся части последовательности элементы из А* встречаются т раз. При случайном разбиении остатка примерно тІ2 из них попадет в первую полувыборку и столько же во вторую. Тогда

и, следовательно,

sup I ѵ' (Л) — ѵ" (Л) I Д> q. A^S

Поскольку число q Д> 0 не зависит от длины выборки, то равномерной сходимости нет.

Измененная схема не вполне эквивалентна исходной, так как в действительности подвыборка Х Т и остаток не

256 ГЛ. XI. НЕОБХОДИМЫЕ И ДОСТАТОЧНЫЕ УСЛОВИЯ

обязательно делятся точно пополам при делении полной выборки X 1, но при достаточно больших I (а значит, и г) это условие почти всегда выполняется достаточно точно. Приводимое дальше формальное доказательство позволя­ ет строго учесть все сделанные здесь допущения и прибли­ жения.

где Ті — всевозможные перестановки последовательности

ветствии с леммой 3 при достаточно больших I существо­ вала подвыборка Хп длины п ]> ql, на которой система S индуцирует все возможные подвыборки (т. е. As (Ху, ...

и заметим, что числа q и б не зависят от I.

258 ГЛ. XI. НЕОБХОДИМЫЕ И ДОСТАТОЧНЫЕ УСЛОВИЯ

Пусть, далее, P (к) — число элементов подвыборки X, принадлежащих"^ г(к), и t — число элементов подвыборки X, принадлежащих А (к) и отнесенных разбиением R j к первой полувыборке. Тогда для фиксированных г, к, j

Наконец, сгруппируем разбиения Rj, соответствующие одному и тому же t (при фиксированных г л к). Число

где суммирование по t ведется в пределах, задаваемых выражением