
- •Лекция №1. Теория информации.
- •1.2 Основные понятия комбинаторики.
- •1.3 Случайные модели в теории информации.
- •1.4 Основные понятия теории информации
- •Этапы обращения информации:
- •Практическое занятие
- •Лекция №2. Меры информации
- •1.Энтропия всегда неотрицательна.
- •3.Энтропия сообщения максимальна, если события равновероятны.
- •4.Энтропия аддитивна.
- •Аксиомы Хинчена
- •Аксиомы Фадеева
- •2.4 Понятие совместной энтропии.
- •Лекция №3 .Источники информации и их энтропия.
- •Лекция №4 оптимальное и эффективное кодирование
- •4.3.3. Арифметическое кодирование.
- •Лекция № 5 помехоустойчивое кодирование
- •5.1 Классификация помехоустойчивых кодов.
- •5.2 Параметры (характеристики) помехоустойчивых кодов и их границы. Корректирующие свойства кодов.
- •0 Запрещенные кодовые комбинации00
- •5.3.Линейные (систематические) коды.
- •5.3.1.Механизмы кодирования и синдромного декодирования.
- •100 → Ошибка в b1,
- •5.3.2. Матричное представление линейных (систематических) кодов.
100 → Ошибка в b1,
010→ ошибка в b2,
001→ ошибка в b3.
Появление большего числа единиц в синдроме будет связано с ошибками в информационных символах.
Теперь присвоим информационным символам с ошибками оставшиеся синдромы, причем в порядке возрастания их двоичных символов:
011→
ошибка в ,
101→
ошибка в ,
110→
ошибка в ,
111→
ошибка в .
Для определения коэффициентов их надо подобрать таким образом, чтобы при возникновении ошибки в информационном символе аi появлялся бы соответствующий этой ошибке синдром.
Например,
для ошибки в символе
необходимо в уравнениях правила
формирования проверочных символов
коэффициенты при этом ошибочном символе
взять соответствующими синдрому этого
символа. Тогда
→
=0,
=
1,
=1,
→
=1,
=0,
=1,
→
=1,
=1,
=0,
→
=1,
=1,
=1.
Тогда по этим коэффициентам строятся уравнения формирования проверочных символов, которые будут иметь вид:
,
,
.
|
|
|
|
|
|
|
|
|
|
|
5.3.2. Матричное представление линейных (систематических) кодов.
В матричной форме систематическое кодирование задается некоторой порождающей матрицей Gk×n. Тогда можно записать следующее соотношение:
B1×n=
A1×k
• Gk×n,
где
B1×
n=
[]
- вектор-строка
кодового слова; A1×
k
=
[
] - вектор-строка
информационного слова; Gk×n-
порождающая матрица.
Порождающая матрица может быть представлена в следующем виде, если учесть, что для проверочных символов мы выбираем синдром с одной единицей, и использовать правило формирования проверочных символов, тогда:
Gk×n= (Ik×k Pk×r), где Ik×k - единичная матрица по числу информационных символов; Pk×r - правило формирования проверочных символов.
Заметим,
что в матрице Pk×r
включаются именно коэффициенты ,
которые и дают правило формирования
проверочных символов.
Для рассмотренного ранее примера порождающая матрица будет иметь вид:
1
G4×7
= |
0 |
0 |
0 |
0 |
1 |
1 |
0 |
1 |
0 |
0 |
1 |
0 |
1 |
0 |
0 |
1 |
0 |
1 |
1 |
0 |
0 |
0 |
0 |
1 |
1 |
1 |
1 |
|
|
|
|
|
|
|
Тогда можно определить любой вектор кодовой комбинации В по заданному вектору информационных символов А.