2. Основные определения.

Одним из ключевых понятий в математической статистике является понятие «наблюдение». Неформальное понятие «наблюдение» в зависимости от рассматриваемой задачи может быть формализовано различным образом: в простых случаях в качестве наблюдения может выступать вектор или последовательность случайных величин, в более сложных случаях – вектор или последовательность случайных функций.

В рамках курса будем ограничиваться простыми случаями, в которых наблюдение представляет собой выборку.

Определение 1.1.

Выборкой называется вектор случайных величин , в котором:

1) все случайные величины , …, независимы в совокупности,

2) все случайные величины , …, имеют одинаковую функцию распределения.

Если функция распределения , участвующая в определении выборки, известна (либо известен параметрический вид функции распределения ), то коротко говорят « – выборка из распределения ». Поскольку всякая функция распределения задает некоторую случайную величину , то иногда говорят « – выборка из распределения случайной величины ».

Определение 1.2.

Число в определении выборки 1.1 называется объемом выборки.

Проведение статистического эксперимента фактически эквивалентно фиксированию некоторого элементарного события из множества всех элементарных событий . Формально, каждая случайная величина выборки является функцией определенной на множестве элементарных исходов , поэтому при фиксированном случайные величины , …, выборки принимают определенные числовые значения ( ).

Определение 1.3.

Реализациями выборки называются числовые векторы , такие что:

( ),

для некоторого .

Определение 1.4.

Выборочным пространством называется множество всех реализаций выборки,

.

С помощью понятия выборки в математической статистике определяются другие основные понятия: вариационный ряд и эмпирическая функция распределения.

Рассмотрим определение вариационного ряда. Представим, что проведен эксперимент, в результате которого реализовалось элементарное событие и функции , …, приняли определенные числовые значения , …, :

, .

Числа , …, могут быть упорядочены по возрастанию следующим образом: сперва определяем число , являющееся наименьшим по величине их всех чисел . Затем найденное число исключаем из множества всех чисел и находим наименьшее из оставшихся, в результате будет найдено число , наименьшее из . Далее аналогичным образом продолжаем процедуру упорядочивания и нахождения чисел до тех пор, пока не будет найдено число , являющееся наибольшим из всех чисел . Заметим, что подобная процедура упорядочивания и нахождения чисел , …, может быть проделана при каждом фиксированном . Таким образом, при каждом однозначно определены все числа , …, и имеет смысл определение функций , …, таких, что каждая функция при фиксированном равна числовому значению полученному в процессе упорядочивания чисел , …, :

, .

Определение 1.5.

Вариационным рядом выборки называется совокупность случайных величин , , …, :

,

в которой принимает наименьшее из значений , …, , - наименьшее из значений , …, , следующее по величине за , и так далее, а - наибольшее из значений , …, .

Определение 1.6.

Случайные величины , …, вариационного ряда называются порядковыми статистиками. Случайная величина называется -ой порядковой статистикой. Случайные величины и называются экстремальными значениями выборки.

Фактически, простое аналитическое выражение имеют только экстремальные значения выборки:

, .

Рассмотрим определение эмпирической функции распределения. Согласно определению выборки (определение 1.1) все случайные величины выборки имеют одинаковую функцию распределения, которую обозначим . Функция играет очень важную роль при решении многих задач, однако, как правило, бывает неизвестной (либо известной с точность до вектора неизвестных параметров). Отсюда происходит вполне естественное стремление на основе имеющейся выборки для неизвестной функции построить известное «приближение», которое затем использовать при решении задач. Таким «приближением» в математической статистике является эмпирическая функция распределения .

Пусть вектор является выборкой, определим случайную функцию так, что при фиксированных и функция равна количеству значений из , …, меньших :

.

Заметим, что при каждом фиксированном величина является случайной, поскольку сами величины , …, являются случайными и, следовательно, количество тех значений среди них, которые окажутся меньше , также случайно.

Определение 1.7.

Эмпирической функцией распределения называется случайная функция :

,

где функция равна количеству случайных величин выборки меньших .

Представление о том насколько «хорошим» приближением к функции является эмпирическая функция распределения дают следующие теоремы.

Теорема (сходимость по вероятности)

Пусть является эмпирической функцией распределения, построенной по выборке из распределения , тогда при всяком фиксированном случайная величина сходится по вероятности к при :

, при .

Теорема (равномерная сходимость по вероятности)

Пусть является эмпирической функцией распределения, построенной по выборке из распределения , тогда последовательность случайных величин сходится к нулю по вероятности при :

, при .

Теорема (Гливенко, сходимость с вероятностью 1)

Пусть является эмпирической функцией распределения, построенной по выборке из распределения , тогда последовательность случайных величин сходится к нулю с вероятностью 1 («почти наверное») при :

, при .

На практике в результате проведения эксперимента будет получен вектор числовых значений (в результате проведения эксперимента происходит элементарное событие , так что все случайные величины выборки принимают определенные числовые значения ). Функция оказывается равной количеству числовых значений в векторе меньших заданного , а эмпирическая функция распределения равна количеству значений меньших , отнесенному к общему количеству числовых значений . Типичный график реализации функции как функции переменной , представлен на рисунке 1.1.

Рисунок 1.1. График реализации эмпирической функции распределения как функции .