27. Кодирование. Натуральное кодирование. Эффективное кодирование.

Кодирование информации – это представление информации с помощью какого-либо алфавита для ее обработки и передачи.

Основные элементы для кодирования информации:

1) символы 2) слова.

1. Натуральное кодирование:

Каждому элементу сообщения ставится в соответствие свой сигнал. x_i=S(t,x_i). Каждый сигнал имеет длительность - число необходимых символов которые определяются исходя из размера алфавита. При двоичном кодировании элементы сообщения нумеруются в двоичной системе счисления. Недостатками являются: трудности в разделении слов естественного языка, сопоставление языку, высокая избыточность, низкая помехоустойчивость и др.

2. Эффективное кодирование: Используется максимальная экономичность представления символов с точки зрения: 1. статистических свойств языковых конструкций естественного языка. 2. экономичность достигается снижением разрядности кодового слова и длительности передаваемого сообщения.

При ЭК разрядность обратно-пропорциональна вероятностям элемента сообщения. Для более вероятных элементов выдается меньшая разрядность кодового слова. При ЭК разрядность кодового слова является переменной величиной. Среднее значение длины кодового слова может быть меньше чем при натуральном кодировании, что позволяет увеличить скорость передачи дискретной информации.

Для реализации ЭК необходимо, чтобы выполнялись следующие требования:

- более короткие слова не должны быть началом более длинных;

- при передачи кодовых посылок, сформированных методом эффективного кодирования, не используются разделительные паузы.

Недостатки ЭК:

1) сложность реализации кодирующей и декодирующей аппаратуры;

2) низкая помехоустойчивость при передачи;

3) ошибки при декодировании хотя бы одного символа могут привести к декодированию всего сообщения.

28. Помехоустойчивое кодирование. Избыточность кода. Информационные и проверочные разряды. Классификация помехоустойчивых кодов: циклические, систематические и др.

Это способ кодирования при котором кодовая комбинация содержит не только информационные разряды число, которых равно k, но и дополнительные проверочные разряды k+r, n=k+r.

При натуральном кодировании изменение хотя бы одной двоичной кодовой комбинации приводит к неверному приему сообщения, т.е. безизбыточные коды имеют большую избыточность к помехам.

При использовании количества кодовых комбинаций n, в помехоустойчивом коде только 2^к различных комбинаций являются разрешенными. Общее число комбинаций 2^k+r. Количество разрешенных комбинаций 2^r.

ПК называются корректирующими, если они позволяют обнаруживать и исправлять ошибки, в следствии высокая избыточность для обеспечения возможности исправлять ошибки. В зависимости от способа ведения избыточности корректирующие коды подразделяют на: разделимые коды и неразделимые коды.

1. Разделимые коды. Четко разделяются позиции информационных и проверочных разрядов. Такое построение позволяет преобразовать любой первичный информационный код в корректирующий путем добавления к нему проверочных разрядов.

2. Неразделимые коды. Нет четкого разграничения проверочных и информационных разрядов. Пример неразделимых кодов: проверка четности-нечетности, которая используется в ЭВМ при передачи данных.

. В системах, в которых используется только проверочные коды, при обнаружении ошибки выполняется повторный запрос переданных данных.

Циклические коды. Разделимые и неразделимые коды имеют структуру двух видов: 1) блочная структура; 2) непрерывная структура.

При блочной структуре операции которые совершаются над информационной и проверочной частями выполняются при определенной длине информационной последовательности.

При непрерывной структуре, нет разделения в информационной последовательности на блоки определенной длины. Передавая последовательность символов образуется путем размещения проверочных символов между информационными символами по определенным алгоритмам, иначе групповой ход. Если все кодовые комбинации блочного кода обладают свойствами симметрии, т.е. любая кодовая комбинация одинаково удалена от других кодовых комбинаций, то такой ход называется групповым.

Блочные коды делятся на: систематические и несистематические.

Систематические коды – это коды в которых разрешенная комбинация может быть получена в результате операции над другими разрешенными комбинациями. Линейная операция совершаемая над любой другой позволяет получить другую кодовую комбинацию. Под линейной операцией понимается сумма по модуля 2.

А и В – кодовые комбинации.

А=а₁,а₂,…,а_n

B=b₁,b₂,…,b_n

A+B=(a₁+b₁),(a₂+b₂),…,(a_n+b_n)

Линейная операция или линейная комбинация:

С реди систематических кодов наибольшие граничные значения имеют циклические коды. В циклических кодах комбинации обладают свойством цикличности при последовательности этих элементов.

Несистематические коды – коды которые образуются путем выполнения не линейной операции над информационными комбинациями. Если изменить n-разрядный код, то полная совокупность ненулевых кодовых комбинаций может быть получена с помощью n-разрядной единичной матрицы.

, n=m

29. Характеристики кодов: избыточность, скорость кода, кодовое расстояние. Число обнаруживаемых и исправляемых ошибок. Предельные границы Хэмминга. Характеристики кодов: 1) Избыточность – величина показывающая какую часть от общего числа разрядов занимают информационные разряды: w=r/n=(n-k)/n, w=1-(k/n), v=h*k/n, где k/n – скорость кодирования.

Для обнаружения и исправления ошибок код должен обладать определенной избыточностью, чем выше избыточность, тем выше способность кода к исправлению ошибок, с другой стороны, тем ниже скорость передачи и приема информации.

Количество ошибок имеющихся в кодовой комбинации называется кратностью ошибок.

2) Число обнаруживаемых и исправляемых ошибок.

Если код используется для обнаружения ошибок кратности а, то необходимо и достаточно чтобы dmin>=a+1. При этом условии некая комбинация из а ошибок не может привести к разрешенному коду в другую кодовую комбинацию.

Для исправления ошибки кратности а, необходимо dmin>=2*a+1. В этом случае любая кодовая комбинация с ошибками отличается от любой разрешенной кодовой комбинации не менее чем в 2*а+1 позиции. Отсюда следует, что условие исправления всех ошибок кратности а, это а_испр=(dmin-1)/2.

Минимальное кодовое расстояние на котором можно исправить ошибки кратности а и обнаружить ошибки кратности b.: dmin>=a+b+1

3) Придельные границы.

Коды, которые обеспечивают заданную корректирующую особенность при минимальной избыточности, называются оптимальными. Оптимальный код при заданном распределении ошибок в связи должен обеспечить минимальную вероятность приема ошибочных кодовых комбинаций. Однако, общего метода оптимальных линейных кодов не найдено. Имеются граничные оценки, которые позволяют оценить необходимую избыточность.

r=n-k=f(k,dmin). Граничная оценка Хэмминга: ,