Статистическое тестирование дискретных случайных последовательностей.
Приводится обзор современных методов проверки различных статистических гипотез о законе распределения наблюдаемой на выходе некоторого генератора последовательности случайных символов из заданного конечного алфавита. Основное внимание уделяется проверке гипотезы о независимости и равновероятности символов, а в случае ее отрицания – различным конкретизациям гипотезы о марковской зависимости.
1.Общий алгоритм тестирования по методу χ2.
Пусть наблюдается последовательность случайных символов (выборка) длины n’=Mn
(1.1)
относительно которой требуется проверить гипотезу H0, согласно которой случайные величины (с.в.) {xt} в совокупности независимы и
(1.2)
Разобьем выборку X на M фрагментов длиной n:
и
для некоторой (вообще говоря, векторной)
статистики
вычислим ее значения на этих фрагментах:
(1.3)
Пусть
есть множество возможных значений
статистики T
(некоторым
образом упорядоченных). Подсчитаем
частоты встречаемости этих значений в
последовательности (1.3):
(1.4)
(здесь и далее I(A) – индикатор события A) и построим
Статистику
(хи-квадрат)
К.Пирсона:
,
(1.5)
где
. (1.6)
Пусть
далее,
– функция распределения хи-квадрат с
r
степенями
свободы и
– заданный уровень значимости теста.
Вычисляем так называемые P-значения
для статистики (1.5):
и выносим решение по правилу:
(1.7)
Для
практического применения теста (1.7)
рекомендуется выбирать количество
фрагментов M
так,
чтобы выполнялось условие
При
увеличении числа фрагментов (
вероятность ошибки первого рода
(отклонить истинную гипотезу
)
асимптотически совпадает с
и тест
(1.7) является состоятельным: если гипотеза неверна, то он отклоняет её с вероятностью, стремящийся к 1.
2. Тест n-серий
Этот
тест является классическим тестом
n-мерной
равномерности:
для любых
и
.
Он входит в «батарею тестов» Кнута [1] и является частным случаем общего теста (1.7) при
(2.1)
Здесь,
вычисляемая в (1.4) частота υj
–это
частоты встречаемости j-й
возможной n-серии
;
при этом серии, отличающиеся лишь
перестановкой символов, считаются
различными, поэтому общее количество
серий
.
Отметим,
что для применения этого теста требуется,
чтобы число M
фрагментов исследуемой последовательности
было
не менее критической величины
.
Таким образом, при увеличении исследуемого порядка равномерности n требуемое количество фрагментов M растет экспоненциально быстро. В этом заключается главный недостаток теста n-серий.
3. Тест интервалов
Это
еще один классический тест n-
мерной равномерности [1], в котором
используется частоты попаданий элементов
наблюдаемой последовательности {xt}
в заданный промежуток [a,b),
где
.
В этом тесте заранее не фиксируется ни
размер фрагментов, ни длина n’
исследуемой последовательности (1.1), но
тем не менее, он представляет собой
частный случай общего алгоритма
тестирования (см. п. 1) при следующих
значения определяющих его характеристики:
(3.1)
Таким
образом, здесь статистика T
- это длина серии непопаданий в [a,b)
до первого попадания. Если
- зарегистрированная длина серии
попаданий в к-м фрагменте, то общая длина
n’
последовательности (1.1) определяется
как суммарная длина M
фрагментов:
Отсюда и из свойств геометрического распределения следует, что средняя длина последовательности (1.1), необходимая для построения теста интервалов, равна
а среднеквадратическое отклонение
Наконец, параметр L в (1.5) есть L=max(t(1),…, t(M)).