18. Математическая модель канала связи.

Опр.: Канал называется дискретным по входу (выходу), если множество входных (выходных) сигналов конечно. Канал называется с дискретным временем, если сигналы на входе и выходе представляют собой конечные или бесконечные последовательности элементов алфавита Х на входе канала и алфавита Y на выходе. Дискретный по входу и выходу канал с дискретным временем будем называть дискретным каналом.

Опр.: Дискретный канал называется каналом без памяти (ДКПБ) если для любого n и любых последовательностей иимеет место равенство:

. Дискретный канал без памяти (ДКБП) обозначается как , гдеX и Y – входные и выходные алфавиты, а - переходные вероятности канала.

Опр.: Кодом длинны n и объемом М для канала называется множество из М пар , гдепоследовательности длиныn, образованные входными сигналами канала и называемые кодовыми словами , и- решающие области, образованные выходными последовательностями канала, причем примножества и не пересекаются.

Опр.: Скоростью кода (или скоростью передачи) называется величина , гдеM – объем кода, n - его длинна. Скорость кода представляет собой максимальное количество информации, которое может быть передано с помощью одного сигнала (символа кода). Такое количество информации передается по каналу, если кодовые слова имеют одинаковую вероятность появления. Скорость кода измеряется в битах на символ.

Опр.: Пропускной способностью канала называется максимальное число G, такое что для любого сколь угодно малого и любогоR, R<C существует код G(n,R) такой, что средняя вероятность ошибки удовлетворяет неравенству .

Опр.: Информационная емкость G* дискретного канала без памяти определяется соотношением: , где максимум берется по всем входным распределениям вероятностейp(x) на X.

Пусть задан дискретный канал, то есть, заданы множества входных Х и выходных Y сигналов, а также при всех n=1,2,… заданы условные распределения вероятностей . Предположим, что для передачи по каналу используется код:

длины n и объема . Обозначим черезW множество решений , который принимает приемник о передаваемых словах: решение естьесли выходная последовательность канала принадлежит, решение есть, если выходная последовательность не принадлежит ни одной решающей области

Пусть - множество кодовых слов ивероятность появления слована выходе канала. Тем самым определено множество, элементами которого являются пары, а расположение вероятностей задаются соотношением:

, где

При этом средняя вероятность ошибки декодирования совпадет с условной вероятностью ошибки декодирования для кода G(n,R) при условии принятия решения .

Теорема: Пусть - информационная емкость дискретного канала ипроизвольное положительное число. Тогда существует положительное число, зависящее отR, такое, что для всякого кода G(n,R) вероятность ошибки удовлетворяет неравенству:.

19. Линейные коды. Порождающая матрица линейного кода, проверочная матрица. Минимальное кодовое расстояние, теорема Хемминга. Синдромное декодирование. Код Хэмминга, декодирование кодов Хемминга.

• Линейные коды. Порождающая матрица линейного кода, проверочная матрица.

Линейным кодированием называется отображение , удовлетвор требованиям:

1. - линейное отображение (,)

2. - инъекция (разные элементы множества X переводятся в разные элементы множества Y).

Пусть - линейное кодирование, тогдалинейным кодом соответствующим кодированию называется множество(образ)

Заметим, что линейный код является подпространством пространства , а т.к.- инъекция, то размерность. Кроме того ввиду инъективности ядро отображениябудет состоять только из нулевого вектора:(данное замеч. назыв. критерия инъективности) ()

Пусть - линейное кодирование, тогдапорождающей матрицей линейного кода С, соответствующего называется матрицаотображенияв стандартных базисах:

В столбцах порождающей матрицы записаны координаты образов базисных векторов пространства и следовательно столбцы этой матрицы образуют базис кода С как векторного пространства. Линейные коды в пространстве- это в точности все возможные подпространства данного пространства. Если задан какой либо линейный код, то он может соответствовать различным линейным кодированиям, соответственно имеет различные порождающие матрицы.

Обозначение: если С – это подпространство размерности k пространства , то будем говорить что С является(n, k) кодом. Где длинна кода, а- его размерность

Пусть С линейный (n, k) код над полем , тогда матрицас элементами изназываетсяпроверочной матрицей для кода С, если выполняются следующие условия:

1. (количество столбцов в равно)

2. 

Теорема о связи порождающей и проверочной матрицы.

Пусть С – линейный (n,k) код, ,- его порождающие и проверочные матрицы. Тогда будут справедливы следующие утверждения:

1. (нулевая матрица)

2. Если матрица имеющая размерностьс элементами из, удовлетворяет условию такова что , тобудет являться проверочной матрицей для кода С

• Минимальное кодовое расстояние, теорема Хемминга.

Опр. Определим расстояние Хемминга на следующим образомпо правилу d(x,y) = количеству координат, по которым x и y отличаются.

Теорема о свойствах расстояния Хемминга

Расстояние Хемминга над является метрикой, т.е. для него выполнены аксиомы:

1. (положительная определенность)

2. (симметричность)

3. (неравенство треугольника)

Опр. Весом Хемминга элемента называется число

Свойства веса Хемминга: 1) ; 2)

Теорема о декодировании по принципу максимальной вероятности

Пусть С - код над .Предположим, что все кодовые слова могут с одинаковой вероятностью встречаться в отправленном сообщении. Предположим, что в результате передачи некоторого кодового слова из С по информационному каналу было получено сообщение . Тогда наиболее вероятным будет следующее событие: отправлено сообщение

Опр. Пусть С – линейный код в , тогдаминимальным кодовым расстоянием данного кода будет называться число

Замечание: Тогда по свойству расстояний Хемменга несложно заметить закономерность, характерную только для линейных кодов: .

Опр.: Будем говорить, что код С обнаруживает ошибок, если любое сообщение, содержащее ошибок (), будет интерпретировано получателем как ошибочное.

Опр.: Будем говорить, что код С исправляет ошибок тогда и только тогда, когда любое сообщение, содержащее ошибок (), будет декодировано верно.

Пример: Рассмотрим код с повторением , т.е.

Код позволяет обнаружить две ошибки, а исправляет одну.

Пример: Рассмотрим код с проверкой на четность: , т.е.. Указанный код обнаруживает одну ошибку. Не исправляет ни одной.

Теорема «О связи минимального расстояния с количеством обнаруживаемых и исправляемых ошибок»: Пусть С – код в (не обязательно линейный) и, тогда данный код обнаруживаетошибку, а исправляет( целая часть ) ошибок. Доказательство:

1. Предположим, что было получено сообщение , содержащееошибок, где, а отправлено сообщение, т.е.. Т.к.кодовое слово, а, тоне может быть кодовым словом. Следовательно,ошибочное сообщение.

2. Покажем теперь, что данный код исправляет указанное количество ошибок. Пусть отправлено , а получено, содержащееошибок, где.

От противного.Пустьдекодировано неверно.Это возможно если, но тогда справедливо:. Получили противоречие с определением минимального расстояния.

• Синдромное декодирование

Опр. Пусть - проверочная матрица линейного кода в. Пусть, тогдасиндромом вектора y называется вектор столбец, вычисленный по правилу

Свойства синдрома:

1) 2)3)

4) (равенство смежных классов)

Опр. Пусть , тогда x называетсялидером множества M, если он имеет минимальный вес Хемминга

Утверждение о ближайшем соседе

Пусть С – линейный код в ,- проверочная матрица,, тогдабудет ближайшим к элементу y в смысле расстояния Хеммингаэлементбудет лидером смежного класса с синдромом S(y)

Алгоритм декодирования с помощью синдромов и лидеров

1. Найти проверочную матрицу

2. Перечислить все смежные классы по С и для каждого смежного класса указать соответствующий ему синдром и выбрать какого-либо лидера этого класса.

3. Для полученного сообщения вычислить его синдром

4. По полученному синдрому найти соответствующий этому синдрому лидер z

5. Декодировать , где

Пример ,

1. Поиск по: а) записать слуб) Найти фундаментальную систему решений; в) вектора фунд. сист. Решений записать в строки проверочной матрицы

2. 

(лидеры подчеркнуты, в 3м классе смежности 2 лидера, значит декодирование неоднозначное)

3. Лидер – Синдром

4. . Соответствует лидеру

5. Декодирование:

• Код Хэмминга, декодирование кодов Хемминга

Опр. Пусть (), тогдакодом Хемминга с параметром m называется бинарный код, проверяющая матрица которого состоит из всех ненулевых различных бинарных столбцов высоты m.

Замечание. Обычно в качестве проверочной матрицы кода Хемминга берут упорядоченную проверочную матрицу , у которой в i-ом столбце содержится бинарная запись числа i.

Пример. ,

Теорема о коде Хемминга

Пусть код Хемминга с параметромm, тогда справедливо:

1) 2) - совершенный код, исправляющий 1 ошибку

(код совершенный, если в границе Хемминга для него достигается равенство: )

Декодирование кодов Хемминга

Предположим, что нам требуется декодировать сообщение , если известно, что было отправлено кодовое слово принадлежащее коду Хемминга с параметром m.

Т.к. С_m это совершенный код, исправляющий 1 ошибку, то для сообщения y т.ч.

Поэтому . Представим, где, где е – вектор ошибок.

Пусть - упорядоченная проверочная матрица. Вычислим синдром y, относительно этой матрицы.()

Случай 1. Если

Случай 1. Если i – столбец матрицы

В упорядоченной матрице i-ый столбец содержитбинарную запись числа i S(y) – бинарная запись номера той координаты в которой произошла ошибка.

Алгоритм декодирования:

1. Вычислить S(y) относительно упорядоченной матрицы

2. По виду S(y) определить номер координаты, в которой произошла ошибка (S(y)-бинарная запись этого номера)

3. Изменить координату, в которой произошла ошибка на ее отрицание

Пример Декодировать сообщение , если оно принадлежит

1)

2)100 – запись числа 4, N=4, значит меняем 4ю координату. 3)