Первая теорема Шеннона.

При отсутствии помех Всегда возможен такой вариант кодирования сообщения, при котором среднее число знаков кода, приходящихся на один знак первичного алфавита, будет сколь угодно близко к отношению средних информаций на знак первичного и вторичного алфавитов.

Таким образом, оптимальное кодирование принципиально возможно.

Наиболее важна для практики ситуация, когда М=2, то есть информацию кодируют лишь двумя сигналами 0 и 1.

Почему 0 и 1?

Компьютер - универсальное устройство, всю информацию в нем представляют в виде двоичного набора изображающих знаков 0 и 1. Выбор такой формы определяется реализацией аппаратуры ЭВМ (электронными схемами), составляющими схематику компьютера, в основе которого лежит использование двоичного элемента хранения данных – триггера. Он имеет два устойчивых состояния (~ вкл., выкл.), условно обозначаемых как 0 и 1 и способен хранить минимальную порцию информации, называемую бит (binary digital).

Шенноном была рассмотрена ситуация, когда при кодировании сообщения в первичном алфавите учитывается различная вероятность появления знаков, а также равная вероятность появления знаков вторичного алфавита. Тогда:

Кmin (А,В)= I(A)/log2M=I(A) , здесь I(A) - средняя информация на знак первичного алфавита.

Первая теорема Шеннона (переформулировка).

При отсутствии помех средняя длина двоичного кода может быть сколь угодно близкой к средней информации, приходящейся на знак первичного алфавита.

Какие же могут быть особенности вторичного алфавита при кодировании:

• Элементарные коды 0 и 1 могут иметь одинаковые длительности (t0=t1) или разные (≠).

• Длина кода может быть одинаковой для всех знаков первичного алфавита (код равномерный) или различной (неравномерный код)

• Коды могут строиться для отдельного знака первичного алфавита (алфавитное кодирование) или для их комбинаций (кодирование блоков, слов).

Комбинации этих особенностей – основа конкретного способа кодирования.

Принципы кодирования информации

Эффективное (статистическое) кодирование осуществляется с целью повышения скорости передачи информации и приближения её к пропускной способности канала.

Теорема Шеннона для эффективных кодов (без доказательства): для канала без помех всегда можно создать систему эффективного кодирования дискретных сообщений, у которой среднее количество двоичных кодовых сигналов на один символ сообщения будет приближаться как угодно близко к энтропии источника сообщений.

Корректирующее (помехоустойчивое) кодирование имеет целью повышение верности передачи информации путём обнаружения и исправления ошибок.

Теорема Шеннона для корректирующих кодов (без доказательства): для канала с помехами всегда можно найти такую систему кодирования, при которой сообщения будут переданы со сколь угодно высокой степенью верности, если только производительность источника сообщений не превышает пропускной способности канала.

При кодировании каждый символ дискретного сообщения пронумеровывается, и передача сообщений сводится к передаче последовательности чисел.

Например, для передачи русских букв нужно передавать числа от 1 до 32.

Если основание системы счисления есть g , то n – разрядное число X можно записать в виде полинома

 (8)

где   – целые числа,   В двоичной системе, очевидно,  = 0 или 1.

Кодом называется полная совокупность условных символов, которую применяют для кодирования сообщений. Число различных символов в коде называется основанием кода. Код с основанием 2 – бинарный, с другими основаниями –многопозиционный.

Пример:

Кодовая комбинация – это последовательность кодовых символов, соответствующих одному элементу (символу) дискретного сообщения, т.е. число, записанное в выбранной системе счисления.

Число символов в кодовой комбинации называется значностью кода.

Оператор кодирования показывает, какую кодовую комбинацию присваивают каждому элементу сообщения.

Если все кодовые комбинации содержат одинаковое число символов, код называют равномерным, в иных случаях – неравномерным.

Для равномерного кода общее число различных кодовых комбинаций равно   где b – основание кода, n – значность кода.

Примеры:

Равномерный код b = 2, n = 5, N = 32.

Код Морзе – неравномерный (наиболее часто встречающиеся буквы кодируются наиболее короткими кодовыми комбинациями).