книги из ГПНТБ / Вапник В.Н. Теория распознавания образов. Статистические проблемы обучения

Теорема доказана.

§ 5. Примеры и дополнительные критерии

При выводе необходимых и достаточных условий по­ путно было установлено (§ 4), что если

т. е. в этом случае максимальное отклонение частоты от вероятности остается большим даже при сколь угодно длинных выборках.

1. В примере 2 § 3 главы X было принято, что X — сегмент [0, 1], система S состоит из всех множеств, каж­ дое из которых является объединением конечного числа замкнутых сегментов с рациональными концами. Система

S счетна. Было установлено, что

А« (хи . . ., я,) = 2г,

если только выборка не содержит повторений.

При любом непрерывном распределении выборка с вероятностью 1 не содержит повторений. Поэтому

и

I Р (А) - Р (В) I < 6, I Р (А) - Р (С) I < е.

Тогда для системы S также имеет место равномерная сходимость частот к вероятностям (по вероятности).

подмножеств. Занумеруем каким-либо образом элементы X. Поскольку

2 р (*і) = 1-

г= 1

то по всякому е > 0 можно указать п такое, что

п}

2 Р ( х ;) > 1 - 6 ,

и поэтому

ms (I) = 21.

Таким образом, в этом примере достаточные условия не выполнены.

Равномерная сходимость по классу событий S может выполняться или нет в зависимости от распределения. Например, если вероятностная мера сосредоточена на не­ которой окружности и равномерно распределена по ней, то с вероятностью 1

окружностью на множестве меры нуль.

Если же вероятность равномерно распределена в не­ котором круге О, то равномерная сходимость имеет место. Действительно, в этом случае достаточно рассмотреть сис­ тему S *, состоящую из выпуклых замкнутых множеств, целиком вкладывающихся в круг О. Дело в том, что с вероятностью 1 все точки выборки лежат в круге. Поэ­ тому для произвольного А GE S и В = A f]0 оказывается

V {А) = V (В), Р (А) ~ Р (В).

В свою очередь В — А f] О будет замкнутым выпуклым множеством и вкладывается в круг О.

Таким образом, с вероятностью 1

Далее, элементарным построением можно показать, что по заданному е > 0 для всякого выпуклого множества из S* можно найти вложенный в него и объемлющий его /с-сторонние многоугольники, так что их мера отличается не более чем на е, причем число к можно зафиксировать для данного е.

266 гл. XI. НЕОБХОДИМЫЕ И ДОСТАТОЧНЫЕ УСЛОВИЙ

Следовательно, выполнены условия теоремы настоя­ щего параграфа, так как для систем S lf S 2, состоящих из выпуклых многоугольников с фиксированным числом сторон, равномерная сходимость установлена (пример 5 § 8 главы X).

Значит, равномерная сходимость имеет место при исследуемом распределении и для произвольных выпук­ лых множеств.

Отметим, что во всех рассмотренных ранее примерах непрерывное распределение было наиболее неблагоприят­ ным, а в данном случае ситуация обратная.

Г л а в а X II

О Ц Е Н К И Р А В Н О М Е Р Н О Г О О Т Н О С И Т Е Л Ь Н О Г О У К Л О Н Е Н И Я

Ч А С Т О Т О Т В Е Р О Я Т Н О С Т Е Й

ВК Л А С С Е С О Б Ы Т И Й

§1 . О равномерном относительном уклонении

Полученные в главе X оценки скорости равномерной сходимости в действительности оказываются завышенны­

воде. Но в еще большей степени это вызано тем, что, желая получить общий результат, пришлось ориентиро­ ваться на наихудший случай (с точки зрения оценивае­ мой величины) по тем параметрам, которые не входят явно в оценку.

В частности, для того чтобы уложиться в заданное абсолютное уклонение частоты от вероятности для не­ которого события А, придется взять большую выборку,

борки ~ 100 -г- 200. Если же необходимо получить оцен­ ку сверху, не зависящую от Р (Л), то приходится ориен­ тироваться на наихудший случай, т. е. Р (Л) = 0,5.

В нашем доказательстве тоже фактически необходимо было ориентироваться на тот случай, когда вероятности Р (Л) всех событий близки к Ѵ2.

Вообще известно, что для фиксированного события Л отклонение частоты от вероятности имеет порядок е, если

268 ГЛ. XII. ОЦЕНКИ ОТНОСИТЕЛЬНОГО УКЛОНЕНИЯ

среднеквадратичное уклонение а частоты имеет порядок е. В свою очередь

° = y f V P { A ) { \ - P { A ) ) ,

т. е. при фиксированном I отклонение пропорционально

У Р 1 - Р) .

Поэтому естественно было бы и равномерное уклоне­ ние измерять в относительных единицах, т. е. потребо­ вать, чтобы

Однако такого рода оценку при разумных предпо­ ложениях удается получить только для равномерного уклонения частот в двух последующих полувыборках, нормированного к эмпирической оценке величины

У Р (А) (1 — Р (Л)) по всей выборке. А именно, в следу­ ющем параграфе будет выведена оценка:

гЧ

4ms (21) е 4

где ѵ' (А) и ѵ" (А) — частоты выпадения события А со­ ответственно на первой и второй полувыборках, а ѵ(А) =

борке.

При этом достигается определенное «равноправие» со­ бытий класса S. Что же касается равномерного относи­ тельного уклонения частот от вероятностей, то здесь удается получить одностороннюю оценку:

£*/

(1 2 . 1 )

Нормирующий делитель У 1J (А) при малых Р (А) близок к величине У Р (А) (1 — Р (А)).