21. Оптимизация кодирования

<possible answer>

 В соответствии с принятым критерием оптимизации различают несколько направлений в теории кодирования. Наиболее известными из них являются - статистическое кодирование и помехоустойчивое кодирование. Объектами кодирования могут быть как дискретные, так и непрерывные сообщения.

Начала теории кодирования заложил К.Шеннон в 1948 г.. Им сформулированы и доказаны два основных результата. Один из них утверждает, что для случая канала без помех возможно осуществить кодирование дискретных сообщений таким образом, чтобы среднее количество двоичных знаков на элемент исходного алфавита было как угодно близко, но не менее некоторой величины - энтропии источника информации, определяемой статистическими свойствами источника . Такое кодирование получило название статистического (эффективного).

Второй результат утверждает, что для канала связи с шумами существует такой способ кодирования конечного количества информации, при котором информация будет передана с какой угодно высокой достоверностью, если только скорость поступления ее не превышает пропускную способность канала связи. Реализация этой возможности неразрывно связана с теорией и техникой кодов корректирующих и помехоустойчивых методов приема. Теоремы Шеннона устанавливают только существование оптимальных или близких к ним кодов, но не указывают способа построения их.

В общем случае условия основных теорем Шеннона выполняются лишь при увеличении длины кодируемых сообщений до бесконечности. Исследования в области теории кодирования ведутся в основном в направлении обоснования и разбора условий основных теорем Шеннона и в направлении создания наилучших методов кодирования информации.

</possible answer>