Математическое определение

Математически данная величина определяется как

где   — абсолютная энтропия языка,   — фактическая энтропия языка.

Если принять фактическую энтропию английского языка за 1,3 бита на букву, то его избыточность равна 3,4 бита на букву (абсолютная энтропия — 4,7 бита на букву).

Избыточность естественных языков

Величина избыточности разных языков мира колеблется в пределах 70-80%^[1]. Во всех языках на всех уровнях присутствуют избыточные элементы. Избыточность в языке неслучайна: её функция — облегчить коммуникацию при неблагоприятных условиях передачи информации. Избыточность представляет собой систему предупреждения возможных ошибок^[2].

Избыточность и сжатие текстов

С точки зрения теории информации большая избыточность позволяет хорошо сжимать тексты с помощью энтропийного кодирования.

14. Блочные шифры. Атака созданием кодовой книги. Режим электронной книги, режим сцепления блоков зашифрованного текста: достоинства и недостатки.

Блочный шифр — разновидность симметричного шифра. В отличие от поточного, в блочном шифре содержимое одного блока никак не влияет на результат шифрования других блоков и чаще всего блоковый шифр обрабатывает открытый текст блоками по несколько (как правило 8 или 16) байт за одну итерацию. Если исходный текст (или его остаток) меньше размера блока, перед шифрованием его дополняют.

Преобразование должно использовать следующие принципы:

• Рассеивание (diffusion) — то есть изменение любого знака открытого текста или ключа влияет на большое число знаков шифротекста, что скрывает статистические свойства открытого текста;

• Перемешивание (confusion) — использование преобразований, затрудняющих получение статистических зависимостей между шифротекстом и открытым текстом.

К достоинствам блочных шифров относят похожесть процедур шифрования и расшифрования, которые, как правило, отличаются лишь порядком действий. Это упрощает создание устройств шифрования, так как позволяет использовать одни и те же блоки в цепях шифрования и расшифрования.

Основная идея

Блочный шифр состоит из двух взаимосвязанных алгоритмов: алгоритм шифрования E и алгоритм расшифрования E⁻¹. Входными данными служат блок размером n бит и k-битный ключ. На выходе получается n-битный зашифрованный блок. Для любого фиксированного ключа функция расшифрования является обратной к функции шифрования   для любого блока M и ключа K.

Для любого ключа K, E_K является биективной функцией (перестановкой) на множестве n-битных блоков.

Размер блока n — это фиксированный параметр блочного шифра, обычно равный 64 или 128 битам, хотя некоторые шифры допускают несколько различных значений. Длина 64 бита была приемлема до середины 90-х годов, затем использовалась длина 128 бит, что примерно соответствует размеру машинного слова и позволяет эффективную реализацию на большинстве распространённых вычислительных платформ. Различные схемы шифрования позволяют зашифровывать открытый текст произвольной длины. Каждая имеет определенные характеристики: вероятность ошибки, простота доступа, уязвимость к атакам. Типичными размерами ключа являются 40, 56, 64, 80, 128, 192 и 256 бит. В 2006 г. 80-битный ключ способен был предотвратить атаку грубой силой.