1)повторяемость букв;

2)повторяемость пар букв (биграмм), троек (триграмм) и вообще последовательностей из n букв (n-грамм);

3)сочетаемость букв друг с другом;

Эти и другие характеристики изучаются на основе наблюдений текстов большой длины, однако не являются полными характеристиками, так как значительно зависят от тематики текста. Например, в научном тексте,

изобилующем словами функция, дифференциал, коэффициент, диффузия,

буква ф встречается гораздо чаще среднего.

Табл. 3.1 содержит частоты букв в основных европейских языках, а табл. 3.2 – в русском языке.

Таблица 3.1

Частоты букв европейских языков, в %

33

Таблица 3.2

Частоты символов русского языка, в %

За счет повторяемости корней, суффиксов, окончаний существенными характеристиками являются также частотные характеристики биграмм и триграмм осмысленных текстов. Так, в русском языке наиболее часто встречающимися являются следующие биграммы и триграммы:

СТ, НО, ЕН, ТО, НА, ОВ, НИ, РА, КО, ВО СТО, ЕНО, НОВ, ТОВ, ОВО, ОВА.

Полезной является информация о сочетаемости букв. В табл. 3.3 в центральном столбце расположены буквы русского алфавита. Слева и справа – наиболее частые «соседи» в порядке убывания частоты.

Таблица 3.3

Сочетаемость букв русского языка

34

Возможно также применение данных о частоте встречаемости биграмм вида гласная-гласная (Г-Г), гласная-согласная (Г-С), согласная-гласная (С-Г), согласная-согласная (С-С), которые приведены в табл. 3.4.

Таблица 3.4

Чередование гласных и согласных для текста длиной 105 знаков

Систематическими исследованиями зависимостей букв в текстах занимался российский ученый Андрей Андреевич Марков (1856–1922 гг.). Состоят они в следующем.

Пусть имеется алфавит AN = {a1, a2, a3, …, aN} мощности N и некоторая последовательность символов с1 с2 с3…сn, называемая иначе n-граммой.

Требуется определить вероятность появления в тексте, составленном на основе алфавита AN, этой n-граммы. Искомую вероятность будем обо-

значать p(c1 c2 c3…cn).

Для построения самой простой модели предположим, что символы в тексте появляются независимо от предыдущих. Вероятность появления каждого символа из ci, i=1, …, n равна p(ci).

35

Тогда

i=1

что следует из теоремы умножения вероятностей для независимых событий.

Такую модель назовем вероятностной моделью текста первого приближения.

Усложним построенную модель, для чего предположим, что каждый символ n-граммы появляется в зависимости от того, какой был предыдущим. В этом случае события появление символа ci-1 и появление символа ci становятся зависимыми. Это значит, что существует вероятность появления символа ci в зависимости от ci-1, которая называется условной вероятностью и обозначается p ( ci | ci-1 ).

Так как первый символ сообщения появляется независимо, а каждый последующий зависит от одного предыдущего, вероятность появления n- граммы c1c2…cn выражается формулой

i=2

Такая модель называется вероятностной моделью текста второго приближения, а последовательность, сгенерированная на основе этой мо-

дели, называется цепью Маркова первого порядка.

Выполним третий шаг построений. Предположим, что вероятность появления символа в тексте зависит от двух предыдущих. Тогда первый символ n-граммы ни от чего не зависит, второй появляется в зависимости от первого, а каждый следующий – в зависимости от двух предыдущих. Тогда вероятность появления n-граммы выражается следующей формулой:

i=3

и называется вероятностной моделью текста третьего приближения.

Последовательность, сгенерированная по этой формуле, называется цепью Маркова второго порядка.

36

Все вероятности, которые используются в формулах (3.1) – (3.3), вычисляются на основе анализа текстов большой длины и могут меняться в зависимости от характера текста.

Приведем пример текстов, сгенерированных с использованием теории марковских цепей. Пример построен на основе русского алфавита со знаком пробела.

Пример 3.1

1) на основе модели первого приближения (генерируемый символ ни от чего не зависит):

ПАВЛНТ И ОАБУТ ЕИИЕТК ЖМЕ КСВИДАИВ;

2) на основе модели второго приближения (каждый генерируемый символ зависит от одного предыдущего):

МОЙ ОГЛЬ ТАМАНУ ЧТЕТОГАНЕ СТА СЛИНА;

3) на основе модели второго приближения (каждый генерируемый символ зависит от двух предыдущих):

КРУЖБЫ И ОТЧАЕТОНЕИСТАК ПЕХ ЭТОГО 3;

4)на основе модели второго приближения (каждый генерируемый символ зависит от трех предыдущих):

ВДЕПАРЫ ЧТО НАСТЯМИ РАСПРОИСХОДИН;

5)на основе модели второго приближения (каждый генерируемый символ зависит от четырех предыдущих):

ПОНЯЛ О ГЛУБОКОЙ СИСТЕМЕ И ДЕЛЕ ВОДЫ.

Уже на пятом шаге мы получили текст, состоящий из осмысленных слов. Однако генератор, выдающий символы для построения текста, основывался только на вероятностной мере появления того или иного символа после определенной n-граммы. Следует отметить, что при длине построенной цепи, приближающейся к 30 символам, зависимость вероятности появления следующего символа от предыдущих исчезает.

37