выражает долю символов, которую можно исключить из сообщения без потери его содержания и которая называется избыточностью языка. Например, избыточность русского языка равна 72,6 %. Именно избыточность естественных языков является основной причиной низкой криптостойкости классических симметричных шифров.

4.2. Комбинаторный подход к анализу текстов

До сих пор мы не задумывались о смысловом содержании текста. Другой возможный подход к определению величины H (U ) предложил А. Н. Колмогоров. Он основывается не на вероятностных, а на комбинаторных методах.

Рассмотрим алфавит мощности N. Тогда количество всех возможных текстов фиксированной длины L равно N L .

Сделаем тождественную замену N = 2log2 N . Тогда число всех возможных текстов длины L равно

N L = 2L log2 N = 2L H0 .

Так было бы, если бы мы имели право брать любые наборы из L букв. Чтобы получить аналогичную формулу для числа осмысленных текстов длины L, то есть удовлетворяющих статистическим ограничениям естественного языка, заменим H0 на энтропию языка H:

M L = 2L H ,

где ML – число осмысленных текстов длины L.

Найдя из этого уравнения H и перейдя к пределу по длине текстов, получим определение энтропии языка без использования понятий теории вероятностей:

43