Другие возможные соображения по выбору правил принятия решений.
Какова вероятность принять неправильное решение?
Для каждого наблюдаемого искаженного сообщения
Вероятность того, что информационное сообщение отличается от нашей оценки
~
y
P{xˆ |
~ |
|
~ |
|
|
|
|
x | y} |
P(x | y) |
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
x B\{xˆ} |
min P{x x | y} |
x g( y) |
|||
Вариант решающего правила: |
|||||||
ˆ |
~ |
ˆ |
~ |
||||
xˆ B
Оценка по последствиям принятия неправильных решений. Пример: сигнализация.
Оценить вероятности: |
|
Учесть требования: |
|
||
- |
|
Пример: P{(2)}<ε |
(1)получить ложный сигнал тревоги |
|
|
-(2)потерять настоящий сигнал тревоги… |
|
|
Алгебраическая модель представления искажений при передаче двоичного вектора по ненадежному каналу
Пример: |
отличия |
|
|
|
Алгебра поразрядного ИСКЛЮЧАЮЩЕГО ИЛИ |
||||||||||||||||||||||||||||
|
|
|
|||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
как алгебра-степень. |
|
|
|
|
|
|
|
|
|
|
||||
y |
|
0101110011 |
|
|
|
|
|
|
Группа |
|
|
|
|
0 |
1 |
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||
~ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
0110110110 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
y |
|
|
|
|
|
|
|
|
A, V , |
n |
0 |
|
0 |
1 |
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
1 |
0 |
|
|
|||||||
e |
0011000101 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||
|
~ |
|
|
|
|
|
|
|
|
|
|
|
Особенности |
|
|
|
|
|
|
||||||||||||||
e |
|
|
|
|
|
|
|
|
e A |
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
Вектор ошибок |
|
0 |
1 |
0 |
|
|
|
|
|
|
|
|
|
||||||||||||||||||||
y y |
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 1 1: u u 1 u : u u 0 |
|
|
|||||||||
Модель двоичного канала |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
u v q u v q q v u v q 0 |
||||||||||||||||||||||||||||||||
y |
|
|
|
|
|
|
|
|
|
|
|
~ |
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
y |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
~ |
y e |
|
|
|
|
|
|
0 (0,0, ,0) |
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
y |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
e |
~ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
y y e 0 |
|
|
|
|
|
|
|
|
|
|
|
|
||||||
Некоторые новые обозначения
Вес вектора – число двоичных разрядов |
w(u) 1 |
|
(компонентов), имеющих значение 1 |
{i|ui 1} |
|
w(01001101) 4 |
w(11111) 5 |
w(0) 0 |
Расстояние между векторами – число разрядов |
d(u,v) 1 |
(позиций), в которых они отличаются. |
|
|
{i|ui vi } |
(Расстояние Хэмминга) |
|
d(0100,1101) 2
Два отличия |
Совпадения |
d(u,v) w(u v)
d(u,0) w(u 0) w(u)
d(u,u) w(u u) w(0) 0
Некоторые упрощения для варианта оценивания по максимуму правдоподобия
1) Все сообщения источника равновероятны:
|
x V k P {x} |
1 |
|
|
||
|
|
|
|
|||
|
|
|
И |
2k |
|
|
~ |
|
|
|
~ |
|
|
ˆ |
1 |
ˆ |
|
ˆ |
||
max PК{y |
| y}PИ{ f |
|
( y)} |
max PК{y |
| y} |
|
yˆ B |
|
|
|
|
yˆ B |
|
2)Все искажения в канале не зависят от передаваемой информации и каждый информационный разряд искажается независимо от остальных
разрядов: |
~ |
~ |
|
PК{y |
| y} PK ( y y) PK (e) h(w(e)) |
h(m) pm (1 p)n m |
P (e) pw(e) (1 p)n w(e) |
|
K |
m=w(e) – число искаженных разрядов
p n
–вероятность искажения одного разряда
–число разрядов в закодированном сообщении
Поведение функции h(m) для p<0,5
h(m) pm (1 p)n m Монотонно убывает с ростом m
h
n=9
p=0,4
p=0,2
p=0,08
m
Декодирование по минимуму расстояния
m |
|
pm (1 p)n m |
|
|
P (e) pw(e) (1 p)n w(e) |
|
|
||
K |
|
|
|
|
|
~ |
ˆ |
ˆ |
~ |
max P {y |
| y} |
min d( y, y) |
||
yˆ B |
К |
|
ˆ |
|
|
|
y B |
|
|
Оценка вектора ошибки |
e y y |
|||
ˆ ˆ |
~ |
|||
V k |
|
Кодирование |
|
|
x |
|
|
f |
|
ˆ |
|
|
|
|
x |
|
|
f 1 |
|
|
|
|
|
|
|
|
Обращение |
|
|
Исправление |
y y e |
|
||
ˆ |
~ |
ˆ |
|
|
B y
yˆ
min w(eˆ)
~ ˆ
y e B
A
e
eˆ
~
y
Пример декодирования по минимуму расстояния: распознавание написания цифр почтового индекса.
Названия символов
Номера разрядов
|
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
0 |
1 |
1 |
0 |
1 |
0 |
1 |
0 |
1 |
1 |
1 |
0 |
0 |
1 |
1 |
0 |
0 |
0 |
1 |
0 |
2 |
1 |
0 |
0 |
1 |
0 |
0 |
1 |
0 |
1 |
3 |
1 |
0 |
1 |
0 |
1 |
0 |
1 |
0 |
0 |
4 |
0 |
1 |
0 |
1 |
1 |
0 |
0 |
1 |
0 |
5 |
1 |
1 |
0 |
0 |
1 |
0 |
0 |
1 |
1 |
6 |
0 |
0 |
1 |
0 |
1 |
1 |
0 |
1 |
1 |
7 |
1 |
0 |
1 |
0 |
0 |
1 |
0 |
0 |
0 |
8 |
1 |
1 |
0 |
1 |
1 |
1 |
0 |
1 |
1 |
9 |
1 |
1 |
0 |
1 |
1 |
0 |
1 |
0 |
0 |
|
|
|
|
|
|
|
y1 |
|
|
|
|
|
|
|
y2 |
y3 |
y4 |
|
|
|
|
|
|
y5 |
||
d('0','8') d(110101011,110111011) 1 |
|
y6 |
y7 |
y8 |
||||
|
|
|||||||
d('4','6') d(010110010, 001011011) 5 |
|
|
y9 |
|
||||
|
|
|
|
|
|
|
|
|
«Исправление» ошибочного написания |
|
|
||||||
|
~ |
,'7') d(100100100, 101001000) 4 |
|
|||||
d( y |
|
|||||||
|
~ |
|
|
|
|
|
|
|
d( y,'2') d(100100100,100100101) 1 |
|
|||||||
|
~ |
,'9') d(100100100,110110100) 2 |
|
|||||
d( y |
|
|||||||
|
ˆ |
|
|
|
|
|
|
|
y '2' |
|
|
|
|
|
|
||
~ |
|
|
~ |
,'3') 4 |
|
|
|
|
,'7') 4 |
d ( y |
|
|
|
|
|||
d( y |
~ |
|
|
|
ˆ |
|
||
~ |
|
|
,'8') 2 |
|
|
y '1' |
||
,'1') 2 |
d ( y |
|
|
|
|
|||
d( y |
~ |
,'5') 2 |
|
|
|
|
||
|
ˆ |
|
|
|
|
|
||
|
'1' |
d ( y |
|
|
|
|
||
y |
|
yˆ '8' |
|
yˆ |
'5' |
|
||
|
|
|
|
|||||
Исправление ошибок считывания
4 |
3 |
2 |
|
5 |
3 |
|
|
|
|||
|
4 |
7 |
7 |
|
|
|
|
|
|||
|
|
|
|
||
|
|
6 |
5 |
|
|
Кодирование + написание
‘4’ |
‘4’ |
Дефект писчего |
Загрязнение |
Восприятие |
Декодирование |
|
|||
прибора |
|
|
|
|
сканером |
|
|
|
|
|
Двоичные групповые коды
Цель – построение кода с удобной (эффективной) «алгебраической» процедурой декодирования, отличной от перебора всех допустимых слов при выборе оценки передававшегося сообщения.
A, Группа |
B A |
B, Подгруппа |
Код называется групповым, если его допустимые кодовые слова образуют группу по +.
В конечной группе любое замкнутое множество образует подгруппу.
u B |
v B |
u v B |
Код групповой |
В групповом коде «сумма» допустимых слов тоже является допустимым словом
u B |
u u 0 |
0 B |
В групповом коде нулевой вектор является допустимым словом
Матричное кодирование – способ построения группового кода.
y f (x) x M
M11
M M 21
M k1
M12 |
|
M1n |
||
M |
22 |
|
M |
|
|
|
|
2n |
|
|
|
|
||
M k 2 |
|
|
|
|
M kn |
||||
M – порождающая матрица кода k строк, n столбцов
k |
|
y j xi & Mij , |
j 1 n |
i 1 |
|
y j (x1 & M1 j ) (x2 & M 2 j ) (xk & M kj )
Для такого «умножения» на матрицу выполняется распределительный закон:
(u v) M (u M) (v M)
a B & b B u v a u M & b v M
a b (u M) (v M) (u v) M a b B
Матричное кодирование приводит к групповому коду