книги из ГПНТБ / Вапник В.Н. Теория распознавания образов. Статистические проблемы обучения

ствѳ S рассматривать более узкие (не полные) системы со­ бытий.

Примеры систем S, для которых выполняются условия равномерной сходимости частот к вероятностям, будут приведены ниже. Отметим лишь то, что для конечных сис­ тем S, содержащих N событий, равномерная сходимость всегда имеет место. В самом деле, из усиленного закона больших чисел известно, что для каждого А последова­ тельность

л (А; хх, ..., х г) = I Р (А) — V 1 (А) |

стремится к нулю с вероятностью единица при I -> оо. Поскольку число событий в S конечно,

ns (xj., ..., Xi) = max я (Лг; хх, ..., ,гг) Аі, ..., АJY

и также стремится к нулю с вероятностью 1. Выведем оценку вероятности

Р {ля (%, ..., Хі) > е}

для случая конечной системы S. Величина ѵ (А) распре­ делена по биномиальному закону

Р(ѵ (Л)) = CfP (Л)*Л>г (1 — Р (Л ))й-^»г.

Поэтому

р {IV (А) - Р (А) I > 8} = 2 ' С\Рк (А) (1 - Р (A ) f \

к

где штрих у суммы означает, что к пробегает значения, удовлетворяющие неравенству

к_

т - Р ( А ) > е .

Событие ns (Z)^>e означает, что по крайней мере для одного из событий А ц ..., A N справедливо |ѵ (А) — Р (А) |^>

е. Поэтому по теореме о сложении вероятностей

§3. Определение функции роста

Вэтом параграфе будет введена характеристика клас­ са событий, достаточная для выяснения факта равномер­ ной сходимости.

Пусть X — множество, S — некоторая система его подмножеств, X 1 = хг, ..., жг — последовательность эле­ ментов X длины I. Каждое множество 4 g S определя­ ет подпоследовательность Х а этой последовательности, состоящую из тех и только тех элементов, которые принад­ лежат А. Будем говорить, что А индуцирует Х а на после­ довательности X 1. Обозначим через

As (жІ5 ..., ж,)

число различных подпоследовательностей Х а , индуциро­ ванных множествами А ЕЕ S. Очевидно, что

As (хи ..., ж,) < 21.

Число As (xj, ..., Ж;) будем называть индексом системы S относительно выборки хг, ..., жг.

Определение индекса системы можно сформулировать

индекс As (Ж], ..., х г) есть число классов эквивалентности, на которые система S разбивается этим отношением экви­ валентности.

Очевидно, что эти два определения равносильны.

где максимум берется по всем последовательностям дли­ ны Z, назовем функцией роста системы S. Здесь максимум всегда достигается, так как индекс As (жх,, ..., ж г) принима­ ет лишь целые значения. Используя функцию роста, сфор­ мулируем ниже достаточные условия равномерной схо­ димости частот к вероятностям по классу событий и дадим

212 г л . X. ДОСТАТОЧНЫЕ УСЛОВИЯ РАВНОМЕРНОЙ с х о д и м о с т и

Пусть дана последовательность точек xlf ..., Xi без пов­ торений. Изменив порядок последовательности, можно добиться того, что

А8 (жх, ..., хі) = I + 1.

Если в последовательности есть повторения, то индекс Дв (хх, ..., Хі) разве лишь уменьшается.

Поэтому

из всех множеств, каждое из которых представляет собой объединение конечного числа непересекающихся сегмен­

достаточно малыми сегментами с рациональными концами и взять их объединение. Поэтому в данном случае

т8 (I) = 21

(отметим, что система S содержит лишь счетное число эле­ ментов).

П р и м е р З . Пусть X — п-мерное (п >= 1) евклидово пространство, S — система всех подмножеств вида

{X : (ж, ф) > 0 } (ф *= 0).

214 ГЛ. X. ДОСТАТОЧНЫЕ УСЛОВИЯ РАВНОМЕРНОЙ СХОДИМОСТИ

Для доказательства этого утверждения нам понадо­ бится следующая лемма.

Лемма. Если для некоторой последовательности хъ ...

..., хі и некоторого п !> 1

то существует подпоследовательность Х п длины п такая, что

As (Хп) = 2”.

Д о к а з а т е л ь с т в о . Обозначим П—1

2 сі = Ф к о

О

(здесь и дальше считаем, что при і^> I С\ = 0). Для этой функции, как легко убедиться, выполняются соотно­ шения

Эти соотношения в свою очередь однозначно определяют функцию Ф (п, I) при Z> 0 и п > 0.

Будем доказывать лемму индукцией по I и п. Для п — І и любого I > 0 утверждение леммы очевидно. Дей­ ствительно, в этом случае из

As (х1ѵ ..., г,) > 1

следует, что существует элемент последовательности х , такой, что для некоторого А х ЕЕ S выполняется ij е 4 і, а для некоторого другого А 2 ЕЕ S выполняется х ( ф. А 2 и, следовательно,

А3 {хі) = 2.

Для / < п утверждение леммы верно ввиду ложности посылки. Действительно, в этом случае посылка есть

As (хи ..., хі) > 21,

В случае а) в силу предположения индукции существует подпоследовательность длины п0-\-1 такая, что As (Xn»+1)= = 2П°+1, что и требуется.

Для случая б) разделим подпоследовательности после­ довательности Х 1°, индуцируемые множествами из S , на два типа. К первому типу отнесем такие подпоследова­ тельности Х г, что на полной последовательности Х 1о+1

216 ГЛ. X. ДОСТАТОЧНЫЕ УСЛОВИЯ РАВНОМЕРНОЙ сходимости

и следовательно,

Обозначим через S' систему всех подмножеств А Е S таких, что на последовательности Х !о они индуцируют подпоследовательности первого типа. Тогда, если

б') Кг = А«' (хг, ..., хі0) > Ф (п0, 10),

то в силу предположения индукции существует подпосле­ довательность Х ‘п* = хи, ..., Хі такая, что

Д5(жг„ ...,ж ч ) = 2П° и Xn°CZX\

Но тогда для последовательности xilt ..., ж,- , х ш имеем

А8(Хіі, . . . , хІщ, х ш ) = 2"0+1,

так как для каждой подпоследовательности X 9, индуциро­

в противоречии с предположением, т. е. б") невозможно. Лемма доказана.

Теперь докажем теорему. Как уже отмечалось, ms (I) ^ 21. Пусть ms (Г) не равно тождественно 21и пусть п —

первое значение I, при котором ms (I) ф 21.

Тогда для любой выборки длины I, большей п, спра­ ведливо

As (xlt ..., хі) < Ф (п, I).

218 ГЛ. X. ДОСТАТОЧНЫЕ УСЛОВИЯ РАВНОМЕРНОЙ СХОДИМОСТИ

Это положение проиллюстрировано на рис. 21, где сплошной линией изображен график 1g2 ms (l) для случая, когда ms (I) = 2г, а пунктирными — мажорирующие функции для различных «,