Вопрос 2.

Теорема Шеннона для дискретного канала без помех.

2.1. Дискретный канал без помех.

Один из основных вопросов теории передачи информации  Возможно ли передать инф. без потерь со скоростью, равной пропускной способности канала? Если ДА, то КАК?

Рассмотрим идеализированный случай, когда действиями помех можно пренебречь. Для повышения эффективности с.м. связи широко исп. кодирование сообщений.

Кодирование:

алфавит сообщений А = {a_i}, i = , ­ – скорость выработки сообщ.

алфавит кодовых символов – скорость передачи символов.

Получаем:

v _k = v_{k max}  J’max при H(B)_max, что возможно равновероятности кодовых символов, т.е. H(B)_max = log m_k.

C = J’(B, B*)_max = v_kH(B)_max = v_k log m_k

при двоичном кодировании = 1

(4.14)

Большинство реальных источников сообщ. обладает избыточностью в следствие:

а

Энтропия этих источников меньше max, т.е. каждый символ в среднем несет меньше кол-во инф., чем мог бы нести.

) отличие з-на распределения вер-тей появления символов от равномерного.

б) наличием связей (зависимостей) между символами.

Пример: русский алфавит 32 буквы, при двоичном коде, т.е. при m_k = 2, код будет 5-ти разрядным (5 символов 0 или 1). Если алфавит равновероятный, то каждая буква (код 5-ти разрядный) переносят 5 бит, а каждый символ 1 бит.

Реально каждый символ в среднем переносит 0,6 бит.  скорость передачи инф. меньше пропускной способности канала. Символ кода при одной и той же длительности τ_k мог бы доставлять в сек 1/ τ_k бит информации, а доставляет 0,6/τ_k бит.

Но можно использовать эффективные коды и обеспечить скорость передачи инф. близкую к пропускной способности канала.

2.2. Теорема Шеннона для дискретного канала без помех.

Если производительность источника сообщений H’(A) не превышает пропускную способность канала связи С

Н’(А) ≤ С, то

существует способ кодирования, позволяющий передавать по каналу все сообщения источника, причем средняя скорость передачи букв сообщения v_a может быть увеличена при любой статистике источника до значения сколь угодно близкого к С/Н(А), энтропия Н(А) = log m_a.

Энтропия источника сообщ. при равновероятн. H(A) = log m_a, c=v_kH(A) = v_klogm_a.

v_k = C/H(A)

Теорема очевидна, если символы источника независимы и равновероятны. А если нет?

2.3. Статистическое кодирование.

Пример А. Источник выдает 4 шт равновероят. буквы. Н₀ = 2 бит. Эф. код а₁ – 00; а₂ = 01; а₃ = 10; а₄ =11. Число символов кода, приходящихся на 1 букву равно энтропии  полное согласование и источника и канала.

Пример В. Источник выдает 4шт неравновероятные буквы p(a₁) = 0,5; p(a₂)=0,25; p(a₃) = p(a₄) = 0,125.

Энтропия источника H₁(A) = 1,75 бит. Применяя код из примера А, на каждую букву затратим 2 кодовых символа (2 бита). Но из теоремы следует, что можно более экономичное кодирование с затратой на каждую букву в среднем 1,75 дв. кодовых символов.

Разработано много методов эффективного кодирования среди которых статистическое кодирование.

Суть – неравномерные коды, более часто встречающиеся сообщ. источника отображаются более короткими кодовыми комбинациями.

Впервые предложены Шенноном и Фено.

Методика: символы алфавита источника выписываются в порядке убывания вер-тей. Затем они разделяются на 2 гр. так, чтобы ∑ ветвей в каждой из групп были бы по возможности одинаковыми. Первой гр. присваивается кодовый символ 0, второй 1. Каждая из полученных групп (если там более 1 сообщ.) в свою очередь разбивается снова на две подгруппы, вновь первой присваивается символ 0, второй 1 и т.д.

а1, а2, а3, а4 a1  0

0 ,5 0,25 0,125 0,125 a2 10

a3  110

0 1 a₄  111

0,25 0,125 0,125

0 1

0,125 0,125

0 1

Ср. кол-во кодовых символов, приходящихся на 1 букву

,

т.е. равно энтропии источника.

Если вер-ти появл. символов источника не явл. целочислен. степенями двойки, то невозможно произвести разбиение на группы с равными ∑-ными вероят. Тогда рез-ты будут более худшими.

Для увеличения эффектив. кода в этом случае переходят от кодирования одиночных символов к кодированию сообщений, составленных из большего кол-ва символов (блочное или укрупненное кодирование). Чем больше символов в блоке, тем больше будет символов, которые не зависят от предыдущих блоков. Происходит декореляция кодов.

Кодирование с целью экономного представления инф. в чистом виде в реальных каналах – нецелесообразно, т.к. процесс декодирования становится сесьма чувствительным к воздействию помех.