14. Как связаны между собой понятия количества информации и энтропии?

В общем случае количество информации I, получаемое в результате эксперимента, определяется как мера уменьшения неопределенности, а именно I=H-H0, где H – неопределенность (энтропия) до проведения эксперимента, Н0 – неопределенность после проведение эксперимента (остаточная).

В случае дискретного источника полное количество информации на его выходе в расчете на одно сообщение совпадает с энтропией источника и будет I=-P logP

15. Какие коды называют помехоустойчивыми?

Кодирование с помощью которого можно устранять ошибки обусловленные наличием шума в канале называется помехоустойчивым. Коды способные исправлять и обнаруживать ошибки называется помехоустойчивым кодом.

Помехоустойчивые коды можно подразделить на два больших класса блочные и непрерывные. В случае блочных кодов, при кодировании, каждому дискретному сообщению ставится в соответствие отдельный блок кодовых символов называемого кодовой комбинацией. Непрерывные коды образуют последовательность символов неразделяемых на кодовые комбинации.

Классификация помехоустойчивых кодов

Блочные, разделимые, не разделимые, циклические, непрерывные(рекуррентные).

Хэмминга(циклический и линейный).

Блочные- информация разделиться на блоки, а проверочные элементы располагаються в определенном порядке между информационными.

Неразделимые - деление отсутствует.

Линейные – проверочные элементы представляют собой линейные комбинации информационных элементов.

16. За счет чего помехоустойчивый код получает способность обнаруживать и исправлять ошибки?

Рассмотрим основополагающие принципы заложенные в основу построения помехоустойчивых кодов. Как следует из доказательства основной теоремы Шеннона неприменимым свойством помехоустойчивых кодов является наличие избыточности. При этом необходима не просто любая избыточность, а специфическая, определяемая свойствами канала и правилом построения кода. И позволяющая с минимальными затратами повысить вероятность передачи. В ситуации когда источник сообщений обладает собственной существенной избыточностью, которая в принципе тоже в определенной степени повышает достоверность передачи информации, но не так эффектно как это возможно. Поступают следующим образом: сначала с помощью эффективного кодирования до минимума уменьшают избыточность источника сообщений, а затем в процессе помехоустойчивого кодирования вносят в передаваемый сигнал избыточность, позволяющую простыми средствами поднять верность. Таким образом эффективное кодирование может сочетаться с помехоустойчивым.

Число К обычно называют количеством информационных разрядов кодовой комбинации, поскольку именно столько разрядов должна содержать комбинация кода с основанием m, чтобы число разных кодовых комбинаций было не меньше числа сообщений М подлежащих передаче. R=n-K разрядов кодовой комбинации необходимых для передачи полезной информации называются проверочными. Количество их и определяет избыточность помехоустойчивого кода.

17. Запишите соотношения, связывающие минимальное кодовое расстояние с числом обнаруживаемых и исправляемых ошибок

Минимальное кодовое расстояние . Чем больше d0, тем меньше ошибок.

Можно обнаружить и исправить где

r - число обнаружений,

s –число исправленных ошибок.