книги из ГПНТБ / Вапник В.Н. Теория распознавания образов. Статистические проблемы обучения

Таким образом, для того чтобы оценить поведение функции роста, достаточно выяснить, каково минималь­ ное число п такое, что ни на одной последовательности длины п система S не индуцирует все возможные подпо­ следовательности.

Замечание 2. Существуют примеры класса событий S, для которых

п—і

ms (l) = 2 СІ, i=0

где п — первое число, при котором

т8 (I) ф 21.

Пусть X — произвольное бесконечное множество, а S состоит из всех его конечных подмножеств с числом эле­ ментов, меньшим п. Очевидно, что

ms (I) = 21 при I < п,

п—1

ms (I) = 2 С\ при І ^ п .

і—О

Таким образом, оценка теоремы для функций ms (I), не равных тождественно 2г, может достигаться.

§5. Основная лемма

Вконце § 2, было сказано, что основная идея, на кото­ рой строятся условия равномерной сходимости частот к

вероятностям, состоит в том, что бесконечная система с(Р] бытий S заменяется конечной подсистемой, состоящей из | таких событий, которые различимы на конечной выборке.

Для того чтобы сделать такой переход корректным, ока­ зывается необходимым заменить исходную проблему рав­ номерной близости частот событий к их вероятностям проб- ■

220 ГЛ. X. ДОСТАТОЧНЫЕ УСЛОВИЯ РАВНОМЕРНОЙ сходимости

Итак, пусть взята выборка длины 21;

и подсчитаны частоты выпадения события А ЕЕ S на пер­ вой полувыборке Х[ = х г , ...,:% и второй полувыборке

Х 21 — х г+г, хп . Обозначим соответственно частоты че­ рез ѵ' (А) и ѵ" (А) и рассмотрим отклонение этих величин:

Ра ( х х , ..., x2l) = I ѵ' (А) — ѵ" {А) I.

Нас будет интересовать максимальное отклонение ча­ стот по всем событиям класса S;

частоты от вероятности лишь для этого фиксированного события А*. Так как нас интересует всего одно событие, то можно воспользоваться обычным законом больших чи­ сел. Поэтому при достаточно большом I с достаточно вы­ сокой вероятностью частота ѵ" (4*) близка к вероятности

Р (А*):

К И * ) - Р ( л * ) K - f

и, следовательно,

Таким образом, условная вероятность (10.17) при усло­ вии (10.16) становится достаточно большой при соответст­ вующих I. Это и позволяет доказать утверждение а). Перейдем к формальному доказательству.

По определению

Учитывая, что пространство X (21) выборок длины 21 есть прямое произведение (I) и Х 2 (I) полувыборок дли­ ны I, согласно теореме Фуббини [36] для любой измери­ мой функции ф (хх, ..., х2і)

222 гл. X. ДОСТАТОЧНЫЙ УСЛОВИЯ РАВНОМЕРНОЙ сходимости

фиксируется). Обозначим через Q событие пространства

Xi (I)

Оценим внутренний интеграл правой части неравенст­ ва, обозначив его через I. Здесь хІ5 ..., жг фиксировано и таково, что я (х1, х г) е. Следовательно, существует А* GE S такое, что

(аналогично рассматривается случай ѵ'(Л*))>.Р (А *) + е). Тогда для выполнения условия

I ѵ' (Л*; хи ..., ж,) — ѵ" (Л*; хш , . . ж2/) | > ~

достаточно потребовать, чтобы выполнялось соотношение

ѵ"(Л*;ж1, . . . , ж 2г) > Р ( Л * ) -----1-,

что и требуется.

Утверждение б) непосредственно следует из того, что если

I ѵ' (Л; жх, ..., Xі) — ѵ" (А; ж/+1, ..., ж2г) | > е,

то

либо

|ѵ'(Л; хи . . . , х І) — Р(А) |> - | - ,

либо

|ѵ"(Л; жг+1, ...,ж 2г) — Р ( Л ) |> - |- .

Учитывая, что при этом полувыборки и Х2 независимы, получаем:

Р {sup I v' (А; хъ ..., Ж;) — V' (Л; ж/+1, ..., ж2г) | > е} <

А

< 1 — ( і — р |sup I Р (Л) — V' (А) хъ ..., жг) ( > -|-J^ X

X ( l — Р jsup I Р {А) — v' {А; жг+1, . . жаг) | >

и поэтому

2Р [ns (хъ ..., жг) > -|-j — Р I ns (жх, . . ., жг) >

Лемма доказана.

§ 6. Вывод достаточных условий равномерной сходимости частот к вероятностям по классу событий

Итак, задача может быть сведена к оценке равномер­ ной близости частот в двух последующих полувыборках. Схему сравнения частот выпадения событий в двух полу­ выборках можно представить себе так. Берется выборка

224 ГЛ. X. ДОСТАТОЧНЫЕ УСЛОВИЯ РАВНОМЕРНОЙ с х о д и м о с т и

двойной длины X 21 и затем делится случайным образом на две полувыборки равной длины. Будем считать, что вы­ борка X 21 зафиксирована. Еісли два события Ау и А 2 не­ различимы на выборке X 21, т. е. всякий элемент этой вы­ борки, принадлежащий Ау, принадлежит А 2 и наоборот, то частоты выпадения этих событий на всякой подвыбор­ ке одинаковы. Поэтому для оценки максимального укло­ нения частот достаточно из каждой группы неразличимых событий взять по одному. Число таких событий будет ко­ нечно и равно индексу As (ху, ..., х2Х) системы S относи­ тельно выборки Х у , . . . , Х ц . Рассмотрим одно из таких со­ бытий А и, по-прежнему считая выборку X 21 фиксирован­ ной, разобьем ее случайно на две равные полувыборки и оценим уклонение частот этого события в двух полувыборках. Эта схема равноценна схеме с невозвращаемыми ша­ рами, а поэтому (см. [64])

где т — число элементов А в выборке X 21, к — число эле­ ментов А в первой полувыборке.

Как показано в приложении к главе X, правая часть равенства может быть оценена сверху:

Вероятность того, что хотя бы для одного события А, из числа выбранных, окажетсяI

Очевидно, что если два множества А ±и А 2 индуцируют на выборке xlt . . . , Х і , жг+1, . . . , x2i одну и ту же подвыборку, то справедливо

РM X « ) = р Аг ( Т і Х 2' )

для любой перестановки Tt.

Иными словами, если два события эквивалентны отно­ сительно выборки Хі , ..., х21, то уклонение частот для этих событий одинаковы при всех перестановках Tt. Поэтому, если из каждого класса эквивалентности взять по одному

228ГЛ. X. ДОСТАТОЧНЫЕ УСЛОВИЯ РАВНОМЕРНОЙ с х о д и м о с т и

Вприложении к этой главе показано, что

т. е. имеет место равномерная сходимостц по вероятности. Полученное достаточное условие не зависит от свойств распределения (единственное требование — это измери­ мость функций я и р), а зависит от внутренних свойств

системы S.