6. Что понимают под избыточностью алфавита источника сообщения?

Энтропия дискретного источника максимальна в том случае, когда выполняются 2 условия:

1. все сообщения источника независимы (источник без памяти).

2. все сообщения источника равновероятны.

Невыполнение любого из этих требований уменьшает энтропию источника и является причиной избыточности. Избыточностью источника дискретных сообщений с энтропией H_u и объемом алфавита N называется величина (1.20), где - максимально возможное значение энтропии при данном объеме алфавита, оно достигается при выполнении условий 1) и 2) и в соответствии с (1.6)

.

Избыточность показывает, какая доля максимально возможной при заданном объеме алфавита неопределенности (энтропии) не используется источником. В частности избыточность современного английского текста составляет 50%, избыточность русского текста 70%.

7. Каковы причины наличия избыточности в сообщении?

Энтропия дискретного источника максимальна в том случае, когда выполняются 2 условия:

3. все сообщения источника независимы (источник без памяти).

4. все сообщения источника равновероятны.

Невыполнение любого из этих требований уменьшает энтропию источника и является причиной избыточности.

8. Сформулируйте теорему Шеннона о кодировании для канала с помехами

Если канал обладает пропускной способностью С бит/сек, энтропия источника сообщения равна Н(z), то сообщение вырабатываемое источником всегда можно закодировать так, что бы V_z передачи была сколько угодно близка к величине . Не существует метода кодирования, позволяющего сделать эту скорость больше чем V_z.

Иными словами К. Шеннон доказал, что если энтропия источника информации не превышает пропускной способности канала, т.е. H(X) < C, то существует код, который обеспечивает передачу информации через канал с шумами со сколь угодно малой недостоверностью. При H(X )> C такого кода не существует.

9. Напишите и поясните выражение для пропускной способности гауссова канала

Ширина спектра помехи и полезного сигнала на выходе канала ограничена его полосой пропускания. Наиболее просто описывается помеха типа «белого шума», имеющая равномерный спектр в пределах полосы пропускания и нормальную плотность распределения.

Доказано, что теоретический предел скорости передачи информации по каналу связи при ограниченной средней мощности передаваемых сигналов и при наличии аддитивной помехи в виде «белого шума» с ограниченным спектром, определяется по формуле:

где - граничная частота спектра сигнала и помехи;

- средняя мощность сигнала;

- средняя мощность помех.

Способ кодирования позволяющий реализовать С неизвестен. Однако известно, что сообщение должно иметь нормальный закон распределения мгновенных значений. Приведенная формула справедлива при условиях:

1. Ширина полосы частот ограничена частотой ;

2. Средняя мощность сигнала задана величиной ;

3. Помеха в канале распределена по нормальному закону;

4. Помеха в полосе имеет равномерный спектр и мощность помехи задана как ;

5. Сигнал и помеха статически независимы;

При расширении полосы пропускания канала пропускная способность увеличивается, но есть конечный предел:

т.к. спектр помехи типа «белого шума» равномерен в пределах от 0 до .

N-количество выборок

- количество информации в i-й выборке

где -белый гауссов шум

нетрудно видеть что