1.Усиленный закон больших чисел. Теорема Колмогорова и теорема Бореля.
Теорема
Бореля утверждает,
что относительная частота
fn
= 
появления
случайного события с ростом
числа n независимых
испытаний стремится к истинной
вероятности p
(6)
с вероятностью 1. Другими словами, при любом эксперименте с бесконечным числом испытаний имеет место сходимость последовательности fn к p.
Будем
говорить, что последовательность
случайных величин 
подчиняется
усиленному закону больших чисел, если
при 
(7)
с вероятностью 1.
В частном случае, при равных математических ожиданиях, Mx i=a, это означает
при
(8)
с вероятностью 1.
Достaточное условие выполнения (7) дает
Теорема
Колмогорова.
Если последовательность взаимно
независимых случайных величин 
удовлетворяет
условию
,
то она подчиняется усиленному закону больших чисел.
Для независимых и одинаково распределенных случайных величин справедлив окончательный результат:
Теорема. Необходимым и достаточным условием для применимости усиленного закона больших чисел к последовательности независимых величин является существование математического ожидания.
Проиллюстрируем (6) на примере бросания симметричной монеты, а (8) - на примере равномерно R[0,1] распределенных случайных величин.
2.Оценки подстановки неизвестных параметров. Выборочное среднее и выборочная дисперсия. Несмещенная оценка дисперсии.
В основе почти всех приёмов оценивания лежит следующий основной метод, который можно было бы назвать методом подстановки эмпирического распределения (или, для краткости,методом подстановки).
Пусть X P и неизвестный параметр представим в виде некоторого функционала G от распределения P: =G(P).
Пусть, далее, P*n, как и прежде, означает эмпирическое распределение. Тогда метод подстановки предписывает в качестве оценки * взять функцию: = G (P*n).
Такие оценки будем называть оценками по методу подстановки или просто оценками подстановки.
Вы́борочное сре́днее — это приближение теоретического среднего распределения, основанное на выборке из него. Пусть — выборка из распределения вероятности, определённая на некотором вероятностном пространстве . Тогда её выборочным средним называется случайная величина
.
Выборочная дисперсия в математической статистике — это оценка теоретической дисперсии распределения на основе выборки. Различают выборочную дисперсию и несмещённую, или исправленную, выборочные дисперсии. Пусть — выборка из распределения вероятности. Тогда
Выборочная дисперсия — это случайная величина
,
где символ обозначает выборочное среднее.
Несмещённая (исправленная) дисперсия — это случайная величина
.
Несмещённая оце́нка в математической статистике — это точечная оценка, математическое ожидание которой равно оцениваемому параметру. Пусть — выборка из распределения, зависящего от параметра . Тогда оценка называется несмещённой, если
.
В противном случае оценка называется смещённой, и случайная величина называется её смеще́нием.