Введение в помехоустойчивое кодирование

Примеры:

И

К

П

•

Передача данных

И - Источник, К - Канал, П - Получатель

•

Запись и считывание

•

Распознавание ввода

x

y

~

y

ˆ

И

КУ

К

ДКУ

x

П

x V

k

y V

n

~

V

n

ˆ

k

y

x V

V {0,1}

- Множество двоичных значений символов

k

- Число двоичных символов в информационном блоке x

n

- Число двоичных символов в кодовом сообщении y

n k

y f (x)

-Функция кодирования (инъективная)

x (x1, x2 , xk )

y ( y1, y2 , yn )

x, y -

Двоичные вектора

i

xi V & yi V

размерности k и n

V k

A

n

Кодирование

B

A V

x

f

y

ˆ

Искажение

x

f

1

ˆ

~

y

Обращение

y

f B(V k )

&

f 1 (V k )B

Оценивание

B {v | u V k

f (u) v} -Множество допустимых кодовых векторов (слов)

B A

B

V k

2k

yˆ - Оценка кодового слова

A

V

2

ˆ

ˆ

n

n

ˆ

y B

~

ˆ

y

y

ˆ

?

f 1

x

Свойство канала

PК{y | y}

~

Вероятность трансформации кодового вектора y в

искаженное сообщение ~

y

Это условная вероятность

P(a)=0,7

“a”

P(c|a)=0,6

“c”

P(c)=0,48

,2

P(a|c)=(0,7·0,6)/0,48=0,875

0

=

)

b

|

c

P(b|c)=(0,3·0,2)/0,48=0,125

P

(

P

(

d

|

a

)

P(d)=0,52

=0

,

P(d|b)=0,8

4

P(a|d)=(0,7·0,4)/0,52=0,538…

P(b)=0,3

“b”

“d”

P(b|d)=(0,3·0,8)/0,52=0,462…

P(c)=0,7·0,6+0,3·0,2=0,48

P(d)=0,7·0,4+0,3·0,8=0,52

Формулы

P(c)=P(ac)+P(bc)

P(d|a)

ad

Байеса:

P(d)=P(ad)+P(bd)

P(a|c)=P(ac)/P(c)

bd

P(d|b)

P(ac)=P(a)P(c|a)

P(a|d)=P(ad)/P(d)

P(ad)=P(a)P(d|a)

P(c|a)

ac

bc

P(b|c)=P(bc)/P(c)

P(bc)=P(b)P(c|b)

P(c|b)

P(b|d)=P(bd)/P(d)

P(bd)=P(b)P(d|b)

P(a)

P(b)

Какой вариант максимально

P {y | f (x)}P {x}

max

К

~

ˆ

И

ˆ

правдоподобный?

~

xˆ V k

PК{y | f (x)}PИ{x}

x V k

~

~

ˆ

1

ˆ

max PК{y |

ˆ

ˆ

max P {y | y}P { f

( y)}

К

И

f (x)}PИ{x}

yˆ B

xˆ V k

Выбор гипотезы

f

~

| y}

~

f

1

y

PК{y

x

y

ˆ

ˆ

y

PИ{x}

~

x

КУ

K

PК{y

| y

}

И

~

ДКУ

PИ{x }

f

~

| y }

PК{y | y}

f

1

x

y

P {y

~

yˆ

К

ˆ

y

x