Приложения шифров. Криптоанализ. Учебное пособие

количество текстов, в которых встретилась хотя бы одна ошибка при идентификации знаков данной группы.

Из табл. П5 можно увидеть, что при решении задачи по методу MAP происходит уменьшение ошибки идентификации по сравнению с методом JAC в шести группах знаков из восьми, начиная с третьей, но в первых двух группах погрешность идентификации может возрастать.

Идентификация пробела при неизвестной знаковой кодировке в русскоязычных текстах

Во многих случаях необходимым начальным условием для анализа и обработки текста являются установление факта отсутствия или нали- чия в тексте знака пробела и его идентификация. От решения этой за- дачи зависят как словарные, так и частотные методы, используемые при решении задач лингвистики и криптографии. При известной коди-

ровке знаков текста определение наличия и идентификация в тексте знака пробела являются тривиальными. Однако в случаях применения произвольной, заранее неизвестной кодировки, называемой в крипто- графии шифром простой замены, следует определить методы для ре- шения такой задачи.

Простой способ решения задачи по идентификации пробела – под- счет частоты встречаемости знаков, так как по частоте появления в тексте пробел в большинстве случаев занимает первую позицию в упо- рядочивании знаков по убыванию частоты встречаемости. Однако, с одной стороны, такой подход не решает проблему определения нали- чия в тексте пробела, а с другой – идентификация пробела по частоте встречаемости невозможна в текстах объемом менее 1400 знаков, по- скольку пробел не всегда занимает первое место в частотном упорядо- чивании знаков таких текстов.

Помимо частоты встречаемости существует другое измеряемое свойство пробела как знака текста, связанное с его основной функцией

61

в текстах, заключающейся в разграничении слов. Можно принять, что

пробел является единственным способом обозначения границ слов в текстах. Данное свойство пробела находит свое отражение в распреде- лении слов словаря текста по длине. Из ряда работ по лингвистике следует, что это распределение хорошо согласуется с распределением Пуассона.

Например, на рис. П3 представлены аппроксимированные графики дискретного распределения по длине:

1)лемм русского языка в словаре [11] (нормированных к 51 646 сло-

вам);

2)словоформ без повторений для выборки из русскоязычных тек- стов 2 (нормированных к 485 099 словам);

3)словоформ без повторений для одного случайно выбранного фрагмента текста размером 150 тыс. знаков из данной выборки (нор- мированных к 5275 словам).

Как можно увидеть из рис. П3, форма распределения сохраняется

как для уникальных словоформ в выборках различных фрагментов из текстов, так и для словаря лемм и отдельного текста. Если же в каче- стве ограничителя слов принять первый знак, следующий непосред- ственно за пробелом в частотном упорядочивании, то вид распределе- ния существенно изменится. На рис. П4 представлен график кусочно- линейной аппроксимации распределения словоформ по длине для тек- ста 3 (рис. П3), полученных в таком случае. График нормирован к

10 641 «словам».

Очевидно, что в случаях произвольной кодировки текста любой знак-разделитель слов должен обладать такими же свойствами, что и знак пробела. Из примеров на рис. П3 и П4 следует, что по искажению

формы распределения слов словаря текста по длине можно судить о наличии в тексте пробела и идентифицировать его. Для этого можно использовать два подхода:

1)идентификация пробела на основе оценки отклонения распреде- ления слов текстов по длине от распределения Пуассона;

2)непосредственная оценка изменения формы такого распределе- ния на основе введенного в работе индекса длины слов текста.

Допускается также совместное применение этих подходов.

62

Идентификация пробела на основе распределения Пуассона

Распределение Пуассона – это распределение, при котором случай-

Очевидно, что на практике выполнение равенства (9) следует по- нимать в приближенной форме M (l) D(l) . Поскольку частотные ха-

рактеристики пробела зависят от объема текста, то для того, чтобы

применить распределение Пуассона к идентификации пробела в любом тексте, необходимо определить зависимость изменений в распределе- нии от объема текста, а также получить средние и граничные значения изменений и их разброс.

Оценку отклонения от распределения Пуассона в тексте размером x

знаков проведем по формуле

где l – длина словоформ (l 1, 2, , 40) ; Mi (l) и Di (l) – математиче-

ское ожидание и дисперсия длины словоформ в тексте размером x со- ответственно; i принимает значение «0» для пробела и «1» для первого

знака непосредственно за пробелом в частотном упорядочивании по убыванию знаков текста. Под словоформой будем понимать уникаль-

ную лексему в некоторой грамматической форме без учета количества ее повторений в тексте. Чем ближе значение (10) к нулю, тем ближе исследуемое распределение к распределению Пуассона. Отношение (10) есть не что иное, как относительная погрешность определения ма- тематического ожидания в распределении Пуассона.

Оценку изменений значений i (x), вычисляемых по формуле (10),

проведем в диапазоне объемов текстов 200 ≤ x ≤ 350 000, х N. Ис- пользуемые выборки текстов – тексты 1 и 2. Отметим, что в текстах 1 пробелы исключены из фрагментов текстов. Для текстов 2 получим

64

значения i (x) для пробела и первого знака в частотном упорядочива-

нии, отличного от пробела, а для текстов 1 – первого знака в частотном упорядочивании. Результаты измерений средних, минимальных и мак-

Из табл. П6 видно, что средние значения 0(x) для пробела с уве-

личением размера текста имеют тенденцию к уменьшению, в то время

как значения для первого знака после пробела фактически колеблются в диапазоне 4,5 < 1(x) < 6,5.

65

На рис. П5 видно, что графики max 0 и minδ1 пересекаются в

точке x = 1200, после чего пересечений между ними нет, следователь- но, возможна безошибочная идентификация пробела. При x > 1200

наибольшее значение max(max 0) = 3,68 приходится на точку x = 6000, после чего график max 0 стабилизируется в области значе-

ний, меньших единицы. Разделим шкалу объемов текстов на два ин- тервала: [200; 6000] и (6000; 350 000]. На втором интервале в качестве постоянного граничного значения возьмем значение 3,75, несколько

меньшее среднего значения между max(max δ0) и min(min δ1) в точке

x = 6000 (табл. П6). Для построения граничной прямой на первом ин-

тервале в начальной точке интервала возьмем среднее значение между0(200) и 1(200) , которое затем уточним экспериментально для ми-

нимизации ошибок; в конечной точке интервала – значение 3,75.

Рис. П5. Границы:

1 – максимального значения для пробела и 2 – минимального значения для пер- вого значащего символа в текстах 2; 3) минимального значения для первого

значащего символа в текстах 1

66

Полученное уравнение граничной линии имеет вид

ничной линии (4) в точке x, будем считать, что знака пробела в тексте нет. В противном случае будем считать, что пробел в тексте есть, и в

качестве знака пробела принимать тот знак, значение i (x) для кото-

рого меньше либо равно значению (11) в данной точке, либо является наименьшим из двух, если оба значения i (x) удовлетворяют этому

условию.

Для оценки погрешности применения критерия (10) с граничными условиями (11) к решению задачи идентификации пробела на выбор- ках текстов 1 и 2 были подсчитаны ошибки первого и второго рода.

Ошибка первого рода связана с принятием решения об отсутствии

пробела в текстах 2, где пробел имеется. Ошибка второго рода связа- на с принятием решения о наличии пробела в текстах 1, не содержа- щих пробела. Также в эксперименте было обнаружено восемь случаев,

когда оба первых знака в частотном упорядочивании одновременно удовлетворяли условию (11), однако ошибки идентификации не воз- никло, поскольку значение отклонения (10) для пробела оказалось меньше, чем для первого значащего знака. Результаты эксперимента

представлены в табл. П7, где Рош – частота соответствующей ошибки.

67

Как видно из табл. П7, в текстах объемом больше 1200 знаков ошибок идентификации нет. При объемах текстов от 800 до 1200 зна- ков средняя ошибка идентификации не превышает 0,5 %, при объемах текстов от 400 до 800 знаков – 1,5 %. Средняя ошибка идентификации на интервале [200; 1200] знаков составляет 1,75 %, минимальная сред- няя ошибка – 0,47 % в точке x 1200 , максимальная средняя ошибка – 6,5 % в точке x 200 . На интервале 800 ≤ х ≤ 1200 максимальный уровень значимости критериев (10)–(11) при принятии решения о

наличии пробела составляет = 0,01, минимальная мощность крите- рия: 1 – β = 0,99. На интервале 200 < х < 800 уровень значимости не

превышает = 0,02, мощность критерия – 0,99. При x = 200 уровень значимости = 0,03, но мощность критерия – 0,9. То есть ошибка β в

три раза больше ошибки и вероятность пропустить пробел для тек- стов, в которых он есть, в три раза меньше вероятности найти несуще- ствующий пробел в текстах, в которых его нет. Для таких малых текстов

ошибки и β следует поменять местами, тогда уровень значимости при принятии решения об отсутствии пробела в тесте будет равен 0,1, а мощность критерия составит 0,97.

Индекс длины слов текста. Резкое изменение формы распределе- ния длин «слов» при использовании в качестве разделителя буквы языка, продемонстрированное на рис. П4, позволяет провести более простую, чем (10), оценку такой формы на основе отношения площа- дей распределения, ограниченных по длине слова, равной шестнадцати (см. рис. П4). Для этого определим индекс длины слов, вычисляемый

по формуле

значение «0» для пробела «1» – для первого значащего символа, «2» – для второго значащего символа и т. д.

При этом выбирая в качестве границы разделения площадей длину слова, равную шестнадцати, можно быть уверенным, что не менее 95 % распределения Пуассона для русскоязычных текстов будет нахо-

диться на интервале длин слов от одного до пятнадцати даже при росте

68

средних значений, например до десяти. Индекс (12) отвечает условиям хорошей статистики по Шеннону [1], так как вычисляется по меньшей мере в три раза быстрее, чем отклонение (10) при тех же исходных данных. Для его практического использования получена статистика средних, максимальных и минимальных значений, а также стандартно- го отклонения, которая приведена в табл. П8 и П9.

Т а б л и ц а П8

69

Т а б л и ц а П9

Статистика, приведенная в табл. П8 и П9, получена на тех же вы- борках текстов 1 и 2, что и статистика для критерия (10), для различ- ных знаков текста, которые могут быть приняты в качестве пробела.

70