Юсупова Лекции
.pdf
H( ) q |
1 |
log |
2 |
1 / |
|
|
|
||
Поскольку |
|
|
|
|
|
|
1 |
|
1 |
, |
|
q |
|
q |
q |
|
||
2 |
3 |
2 |
|
|||
|
|
|
|
|||
q |
1 |
q |
2 |
log |
2 |
1 / |
|
|
|
|
|
|
1 |
|
1 |
, |
|
q |
|
q |
q |
|
||
2 |
3 |
3 |
|
|||
|
|
|
|
|||
q |
2 |
|
то
q |
3 |
log |
2 |
1 / q |
. |
|
|
3 |
|
||
H( ) H( ). |
|
||||
|
Пример 2. Источник сообщений выдает символы из алфавита |
A ai , |
i 1,4 |
|
p1 |
0,2; p2 0,3; p3 0,4; p4 0,1. |
Найти количество информации и избыточность. |
||
|
Решение. По формуле Шеннона |
|
|
|
с вероятностями
H( A) 0,2 log |
2 |
0,2 0,3 log |
2 |
0,3 0,4 log |
2 |
0,4 0,1log |
2 |
|
|
|
|
|
|
||||
По определению избыточности |
1 H( A) / log 2 |
4 0,07. |
|
|
||||
0,1
1,86
(бит).
Лекция № 5
Тема: Условная энтропия и взаимная информация (Часть 1)
1. Условная энтропия
Пусть
и
случайные величины с множествами возможных значений:
Количество информации распределением вероятностей P
X= x1, x2 ,...xN ,Y y1, y2 ,...yM
H ( ) при наблюдении случайной величиныp1, p2 ,..., pn задается формулой Шеннона:
X
x , x |
,..., x |
|
1 |
2 |
n |
с
|
N |
i |
H ( ) |
i |
|
p log l / p |
||
|
i l |
|
Условной энтропией |
величины |
|
|
|
|
при |
наблюдении |
величины |
|
||||||||
N |
M |
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
H( ) H( / ) H(Y / X ) p(xi |
y j ) log2 |
|
|
|
|
. |
|
|
|
|
|
|
|||||
|
p(y |
|
/ x |
|
|
|
|
|
|
||||||||
i 1 j 1 |
|
|
|
|
j |
) |
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|||
Справедливы соотношения: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
N |
M |
1 |
|
|
|
|
|
H( , ) H( ) H ( ), |
H( , ) p(xi y j ) log2 |
|
|
. |
|
||||||||||||
|
|
|
|
|
|||||||||||||
|
p(y |
x |
) |
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
i 1 |
j 1 |
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
j |
i |
|
|
|
||
2. Взаимная информация |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Взаимной информацией величин и называется |
I ( , ) H( ) H ( ). |
|
|||||||||||||||
Справедливы следующие соотношения: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
N M |
|
p(x |
y |
j |
) |
|
|
|
|
|
|
|
|
|
|
||
I ( , ) p(xi |
y j ) log 2 |
|
i |
|
|
|
, |
I ( , ) I ( , ) H( ) H ( ), |
|||||||||
p(x |
) p(y |
|
|||||||||||||||
i 1 j 1 |
|
j |
) |
|
|
|
|
|
|
|
|
|
|||||
|
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
I ( , ) H( ) H( ) H( , ), |
H( , ) H( ) H( ) I ( , ), |
|
|||||||||||||||
0 I ( , ) H( ), 0 I ( , ) H( ). |
|
|
|
|
|
|
|||||||||||
Если и независимы, то I ( , ) =0. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
называется
При расчетах условной энтропии и взаимной информации удобно пользоваться следующими соотношениями теории вероятностей:
1) теорема умножения вероятностей p(xi y j ) p(xi )p(y j / xi ) p(y j )p(xi / y j ) ;
21
2)формула полной вероятности
3)формула Байеса p(xi / y j )
|
|
|
|
|
|
M |
|
p(xi |
) |
||||||
|
|
|
|
|
j 1 |
||
p(x |
i |
) p(y |
|
j |
/ |
||
|
|
|
|
|
|
||
|
|
|
p(y |
j |
) |
|
|
|
|
|
|
|
|
||
p(x |
i |
||
|
|
|
|
x |
i |
) |
|
|
|
|
|
, y |
j |
); |
|
|
|
||
|
|
p |
|
N |
|||
|
|||
|
|||
|
i 1 |
||
p(y |
j |
) |
|
|
(x |
i |
) p(y |
j |
||
|
|
|
|
||
p(x |
i |
) p(y |
|||
|
|
|
|
|
|
|
N |
|
|
|
|
|
|
p(xi |
, y j |
); |
|||||
|
i 1 |
|
|
|
|
|
|
/ x |
i |
) |
. |
|
|
||
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
j |
/ |
x |
i |
) |
|
|
|
|
|
|
|
|
|
||
3. Пример с троичным каналом (с матрицей)
Пример 1. Дана матрица
|
|
|
|
|
|
|
|
|
|
1 |
1 |
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
8 |
8 |
|
8 |
|
|
|
|
|
|
|
|
P( X , Y ) |
1 |
0 |
|
1 |
, X , |
Y . |
|
||||||||
|
|
|
8 |
|
8 |
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
1 |
1 |
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
8 |
8 |
|
8 |
|
|
|
|
|
Определить: H( ), |
H( ), H ( ), |
H ( ), |
H( , ), I ( , ). |
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
3 |
|
|
Решение. По формуле полной вероятности имеем: P(x1 ) p(x1 |
, |
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
j 1 |
|
|
|
1 |
|
|
3 |
|
|
|
|
|
3 |
|
|
|
3 |
|
|
||
P(x2 ) |
, |
P(x3 ) |
, |
P(y1 ) p(xi |
, y1 ) |
, P(y2 ) |
||||||||||||
4 |
8 |
8 |
||||||||||||||||
|
|
|
|
|
|
|
|
i 1 |
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Следовательно, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
3 |
|
|
|
|
1 |
|
|
|
|
|
|
|
3 |
|
|
|
H( ) p(xi ) log |
|
|
|
|
1,57; |
H( ) p(yi ) log |
|
|||||||||||
2 |
|
p(x |
) |
2 |
||||||||||||||
|
i 1 |
|
|
|
|
|
|
|
|
i 1 |
|
|
||||||
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|||||
По теореме умножения
y |
|
) |
3 |
, |
|
|
|
|
j |
8 |
|
|
|
||||
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
||
1 |
, |
P(y |
|
) |
3 |
. |
||
4 |
3 |
8 |
||||||
|
|
|
|
|
||||
|
|
|
|
|
|
|||
1 |
1,57. |
|
p(y |
||
) |
||
i |
|
p(x1 / y1 ) p(x1 y1 ) / p(
p(x2 / y1 ) 13 ,
p(x |
|
/ y |
|
) |
1 |
, |
|
3 |
1 |
3 |
|||||
|
|
|
|
||||
|
|
|
|
|
|
Следовательно,
y1 )
p( x |
2 |
|
p( x3
1 |
, p( x1 / y2 ) |
||||
3 |
|||||
|
|
|
|
||
/ |
y2 ) 0, |
p( x2 |
|||
/ y2 ) |
1 |
, |
p( x3 |
||
|
|||||
|
2 |
|
|
||
21 , p(x1 / y3 ) 13 ,
/y3 ) 13 ,
/y3 ) 1 . 2
Аналогично
H ( ) 1,43;
3 |
3 |
|
|
H ( ) p(xi |
y j ) log |
||
I 1 |
J 1 |
|
|
H( , ) H( ) H |
( ) |
||
|
|
|
|
2
3;
|
|
1 |
|
1,43. |
|
|
p(x |
|
/ y |
|
|
|
|
i |
j |
) |
|
|
||
|
|
|
|
|
||
I ( , ) H( ) H |
|
( ) 0,14. |
||||
|
|
|
|
|
|
|
Лекция №5 Тема: Каналы передачи информации
1. Структурная схема системы передачи информации (повторение);
22
|
Сообщение |
Сигнал |
|
Помехи |
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Источник |
|
|
Кодирующее |
|
|
|
Передатчик |
|
Линия |
|
||
|
информации |
|
|
устройство |
|
|
|
|
|
связи |
|
||
|
|
|
|
|
|
|
|||||||
|
|
Информация |
|
|
|
Сигнал |
Сигнал-помеха |
||||||
|
|
|
|
|
|||||||||
Получатель |
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
Декодирую- |
|
|
|
Решающее |
|
Прием- |
|
||||
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
щее |
|
|
|
Канал связи |
|
ник |
|
||
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
устройство |
|
|
||||
|
|
|
|
устройство |
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Система состоит из отправителя информации, линии связи и получателя информации. Сообщение для передачи его в соответствующий адрес должно быть предварительно преобразовано в сигнал. Физическая среда, по которой происходит передача сигналов от передатчика к приемнику, называется линией связи.
Преобразование сообщений в сигналы, удобные для прохождения по линии связи, осуществляется передатчиком.
В процессе преобразования дискретных сообщений в сигнал происходит в кодирующем устройстве. В широком смысле кодированием называется преобразование сообщений в сигнал.
Решающее устройство, помещенное после приемника, осуществляет обработку принятого сигнала с целью наиболее полного извлечения из него информации.
Декодирующее устройство, (декодер) преобразует принятый сигнал к виду удобному для восприятия получателем.
Совокупность средств, предназначенных для передачи сигнала, называется каналом связи. Одна и та же линия связи может использоваться для передачи сигналов между многими источниками и приемниками, т.е. линия связи может обслуживать несколько каналов.
2. Технические и информационные характеристики канала связи без помех;
Источник |
|
Приемник |
сообщений |
|
сообщений |
|
|
|
Источник
помех
Выходной алфавит символов источника сообщений: |
|
|
|
|
|
|
A a |
, A a |
, a |
2 |
,...., a |
n |
|
i |
1 |
|
|
|
||
Количество информации, приходящееся в среднем на один символ источника:
|
n |
2 |
H ( A) |
i |
|
p log |
|
|
|
i 1 |
|
Алфавит символов
B b1 ,b2 ,....,bm
1/ pi , где pi – вероятность появления символа ai на выходе источника.
канала связи:
Среднее количество информации, выдаваемое источником в единицу времени – информационная производительность:
dI (A) / dt A H(A), где A - среднее число символов, выдаваемое источником в единицу времени.
Скорость передачи информации по каналу:
dl(B) / dt B H(B), где B -среднее число символов, передаваемое по каналу в единицу времени.
Пропускная способность канала:
23
Ck |
max dI (B) / dt, |
где |
p множество всех возможных распределений |
|
p |
|
|
алфавита B канала.
Пропускная способность канала (с учетом свойств энтропии):
вероятностей символов
C |
k |
|
B |
log |
2 |
m |
|
|
|
|
n, m, A , B - технические характеристики канала связи.
3. Обобщенные характеристики сигналов и каналов
Сигнал может быть охарактеризован различными параметрами. Таких параметров, вообще говоря, очень много, но для задач, которые приходится решать на практике, существенно лишь небольшое их число. Например, при выборе прибора для контроля технологического процесса может потребоваться знание дисперсии сигнала; если сигнал используется для управления, существенным является его мощность и так далее. Рассматривают три основных параметра сигнала, существенных для передачи информации по каналу. Первый важный параметр - это время передачи сигнала Tс. Второй характеристикой, которую приходится учитывать, является мощность Pс сигнала, передаваемого по каналу с определенным уровнем помех Pz . Чем больше значение Pс по сравнению с Pz, тем меньше вероятность ошибочного приема. Таким образом, представляет интерес отношение Pс /Pz. Удобно пользоваться логарифмом этого отношения, называемым превышением сигнала над помехой:
Lc log a( PcPz )
Третьим важным параметром является спектр частот Fc . Эти три параметра позволяют представить любой сигнал в трехмерном пространстве с координатами L, T, F в виде параллелепипеда с объемом Tc Fc Lc . Это произведение носит название объема сигнала и обозначается через Vc
Vc TcFcLc
Информационный канал можно характеризовать также тремя соответствующими параметрами: временем использования канала Тк , шириной полосы частот, пропускаемых каналом Fk, и динамическим диапазоном канала Dk характеризующим его способность передавать различные уровни сигнала.
Величина
V |
T |
F D |
k |
k |
k k |
называется емкостью канала.
Неискаженная передача сигналов возможна только при условии, что сигнал по своему объему «вмещается» в емкость канала.
Следовательно, общее условие согласования сигнала с каналом передачи информации определяется соотношением
V |
V |
c |
k |
Однако соотношение выражает необходимое, но недостаточное условие согласования сигнала с каналом. Достаточным условием является согласование по всем параметрам:
T |
T |
|
c |
k |
|
F |
F |
|
c |
k |
|
D |
D |
k |
c |
|
Для информационного канала пользуются понятиями: скорость ввода информации, скорость передачи информации и пропускная способность канала.
Под скоростью ввода информации (потоком информации) V(A) понимают среднее количество информации, вводимое от источника сообщений в информационный канал в единицу времени. Эта характеристика источника сообщений и определяется только статистическими свойствами сообщений.
Скорость передачи информации V(X,Y) – среднее количество информации, передаваемое по каналу в единицу времени. Она зависит от статистических свойств передаваемого сигнала и от свойств канала.
Пропускная способность С – наибольшая теоретически достижимая для данного канала скорость передачи информации. Это характеристика канала и не зависит от статистики сигнала.
С целью наиболее эффективного использования информационного канала необходимо принимать меры к тому, чтобы скорость передачи информации была как можно ближе к пропускной способности
24
канала. Вместе с тем скорость ввода информации не должна превышать пропускную способность канала, иначе не вся информация будет передана по каналу.
Это основное условие динамического согласования источника сообщений и информационного канала.
Одним из основных вопросов в теории передачи информации является определение зависимости скорости передачи информации и пропускной способности от параметров канала и характеристик сигналов и помех. Эти вопросы были впервые глубоко исследованы К. Шенноном.
25
Лекция № 6
Тема: Каналы передачи информации с помехами 1. Вероятностные модели каналов передачи информации:
–двоичный канал
Пример 1. По двоичному каналу связи с помехами передаются две цифры 1 и 0 с вероятностями
1 |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
p |
|
p 0,5. Вероятность перехода единицы в единицу и нуля в нуль соответственно равны |
p 1 / 1 p , |
||||||||||
p(0 / 0) q. Определить закон распределения вероятностей случайной величины |
|
- однозначного числа, |
|||||||||||
получаемого на приемной стороне. |
|
|
|
|
|
|
|
||||||
|
|
Решение. |
X {0,1}. Нуль |
( 0) на приемной стороне может быть получен в двух случаях: при |
|||||||||
передаче нуля или при передаче единицы, следовательно, по формуле полной вероятности |
|
|
|||||||||||
P (0) P(0,0) P(1,0) P(0) P(0 / 0) P(1) P(0 / 1), |
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
P(0 / 1) 1 P(1/ 1). |
|
|
|
|
|
|
|
||||||
|
|
Поэтому |
P (0) 0,5q 0,5(1 p) 0,5(1 q p). |
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Аналогично |
P (1) P(0,1) P(11,) |
0,5(1 q p). |
|
|
|
|
|||||
|
|
|
|
|
|
|
|
||||||
|
|
Распределение вероятностей представлено в табл. 1. |
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
Табл. 1. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x |
i |
|
|
|
|
0 |
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
pi |
|
|
|
|
0,5(10p q) |
|
|
0,5(1 p q) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
–троичный канал
Пример 1. Дана матрица
|
1 |
1 |
1 |
|
|
8 |
8 |
8 |
|
P( X , Y ) |
1 |
0 |
1 |
|
8 |
8 |
|||
|
|
|||
|
1 |
1 |
1 |
|
|
8 |
8 |
8 |
,
X ,
Y .
Определить: распределения вероятностей на входе и на выходе канала, условное распределение вероятностей появления сигналов на выходе канала при фиксированном входе и на входе канала при фиксированном выходе канала.
P(x |
2 |
|
p(x1
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
3 |
|
|
3 |
|
||
Решение. По формуле полной вероятности имеем: P(x1 ) p(x1 , y j |
) |
, |
||||||||||||||||||||||||||
8 |
||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
j 1 |
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
1 , P(x3 ) 3 , P(y1 ) |
3 |
|
|
|
|
3 |
|
|
|
|
|
|
1 |
|
|
|
3 . |
|
|
|
|||||||
) |
p(xi , y1 ) |
, |
P(y2 ) |
|
|
, |
P(y3 ) |
|
|
|
||||||||||||||||||
8 |
|
|
4 |
|
|
|
||||||||||||||||||||||
|
4 |
|
|
8 |
|
|
i 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
8 |
|
|
|
||||
По теореме умножения |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
/ y |
) p(x |
|
y |
) / p( y ) |
1 |
, |
p( x |
|
/ y |
|
) |
1 |
|
, |
p(x |
|
/ y |
|
|
) |
1 |
, |
|
|
|
|
||
1 |
|
1 |
1 |
1 |
3 |
|
|
1 |
|
2 |
|
2 |
|
|
|
1 |
|
3 |
|
|
3 |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
p(x2 / y1 ) 13 , p( x2 / y2 ) 0, p( x2 / y3 ) 13 ,
1
p(x |
|
/ y |
|
) |
1 |
, |
|
3 |
1 |
3 |
|||||
|
|
|
|
||||
|
|
|
|
|
|
p( x |
|
/ y |
|
) |
1 |
, |
|
3 |
2 |
2 |
|||||
|
|
|
|
||||
|
|
|
|
|
|
p( x |
|
/ y |
|
) |
1 |
. |
|
3 |
3 |
2 |
|||||
|
|
|
|
||||
|
|
|
|
|
|
2. Характеристики каналов передачи информации с помехами
Источник |
|
|
|
|
Приемник |
сообщений |
|
|
|
|
сообщений |
|
|
|
|
|
|
|
|
|
|
|
|
Источник
помех
Выходной алфавит символов источника сообщений:
A ai , A a1 , a2 ,...., an
Количество информации, приходящееся в среднем на один символ источника:
H ( A)
pi log 2 1/
i1n
pi
, где pi – вероятность появления символа ai на выходе источника.
Среднее количество производительность:
dI (A) / dt |
A |
H(A), |
|
|
информации, выдаваемое источником в единицу времени – информационная
где A |
- среднее число символов, выдаваемое источником в единицу времени. |
Алфавиты символов канала связи: |
|
|
|
|
|
|||||||
B |
X x , x |
,..., x |
, B |
Y |
y |
, y |
,..., y |
|||||
вх |
|
1 |
2 |
m |
вых |
|
1 |
|
2 |
|
l |
|
Матрица переходных вероятностей: |
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
l |
|
|
|
|
|
p( y |
/ x ) , где |
k 1...m,i |
1...l; |
|
p( y |
/ x |
) 1 |
|||||
|
i |
k |
|
|
|
|
|
i |
k |
|
||
|
|
|
|
|
|
|
i 1 |
|
|
|
|
|
Среднее количество информации на один входной и на один выходной символ канала:
m |
l |
|
|
H ( X ) p(xi ) log 2 1/ |
p(xi ); H (Y ) p( y j |
) log 2 1/ p( y j |
) |
i 1 |
j 1 |
|
|
Информация, которую несет выход канала о входе:
I (Y
где
, X )
H |
y |
( X |
|
|
H ( X ) H |
y |
( X ) H (Y ) |
|
|
|
) - ненадежность канала, |
||
H |
x |
(Y ) |
|
|
|
Hx (Y ) - энтропия шума. |
||
Скорость передачи информации по каналу:
dl(B) / dt |
I (X ,Y ), |
B |
|
где
|
B |
|
-среднее число символов, передаваемое по каналу в единицу времени.
Пропускная способность канала:
Ck |
max dI (B) / dt , |
где p множество всех возможных распределений вероятностей входного алфавита |
|
p |
|
символов канала |
|
|
Ck |
B max I (x, y) |
|
n, m,l, A , B - {p} характеристики канала.
ПРИМЕР
1.Найти пропускную способность двоичного симметричного канала – канала с двухсимвольными входными и выходными алфавитами и одинаковыми вероятностями ошибок (см. рисунок)
X1 |
1-P1 |
P1 P1
X2
1-P1
2
если априорные вероятности пояления входных символов
p(x ) p p, p(x ) p |
1 p |
|||
1 |
1 |
2 |
2 |
|
РЕШЕНИЕ. В соответствии с моделью канала условные вероятности
Ck
|
y |
|
|
p( |
1 |
) p( |
|
x |
|||
|
|
||
|
2 |
|
Пропускная |
||
|
B |
max H |
|
p |
|
|
|
|
y |
2 |
|
|
y |
|
y |
2 |
|
|
|
) p |
, p( |
1 |
) p( |
|
) 1 |
p |
||
x |
l |
|
x |
|
x |
|
|
l |
|
|
|
|
|
|
|
||||
1 |
|
|
1 |
|
2 |
|
|
||
способность канала |
|
|
|
|
|||||
(Y ) H (Y / X ) |
|
|
|
|
|||||
Найдем энтропию шума
|
|
|
|
|
|
|
2 |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
H ( X / Y ) p(xi |
y j ) log |
2 |
1/ p( y j |
/ xi ) |
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
i 1 |
j 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
По теореме умножения |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
p( y |
j |
, x |
) p(x |
) p( y |
j |
/ x |
) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
i |
|
|
i |
|
|
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
следовательно, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
p(x1 y1 ) p(1 pl ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
p(x2 y1 ) (1 p) pl |
|
|
|
|
||||||||||||||||||||||||
p(x1 y1 ) ppl |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
p(x2 y2 ) (1 p)(1 pl ) |
|
|
|
|
|||||||||||||||||
Подставляя в формулу, получаем |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||
H (Y / X ) p |
l |
log |
|
2 |
1/ p |
l |
(1 p |
) log |
2 |
1/(1 p |
) |
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
l |
|
|
|
|
|
|
|
|
l |
|
|
|
|
|
|
|
|
||||||
Таким образом, H(Y/X) не зависит от распределения входного алфавита, следовательно, |
|||||||||||||||||||||||||||||||||||||||||||||||
C |
k |
|
k |
max H (Y ) |
н |
H (Y / X ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||
|
|
|
|
p |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Определим энтропию выхода |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||
H (Y ) p( y log |
2 |
)1/ |
p( y ) |
p( y |
2 |
) log |
2 |
1/ p( y |
2 |
), |
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
где p( y |
) p( y |
|
x |
|
) p( y x |
2 |
) |
p(1 p |
l |
) p |
(1 p); |
|
|
|
|
||||||||||||||||||||||||||||||||
|
|
|
|
|
|
1 |
|
|
1 |
|
1 |
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
l |
|
|
|
|
|
|
|
|
|
||||||
|
|
p( y |
2 |
) p( y |
|
x |
|
) p( y |
2 |
x |
2 |
) pp |
l |
(1 p)(1 p |
) |
|
|
|
|
|
|||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
2 |
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
l |
|
|
|
|
|
|
|||||||
Таким образом, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
H (Y ) |
p(1 p |
) p |
(1 p) log |
2 |
1/ p(1 p |
) p |
(1 p) pp |
l |
(1 p)(1 p |
) |
|||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
l |
|
|
|
|
|
l |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
l |
|
|
l |
|
|
|
|
l |
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
log |
2 |
1/ pp |
l |
(1 p)(1 p |
) |
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
l |
|
|
|
|
|
||
Варьируя p, убеждаемся, что максимальное значение H/Y, равное I, |
получается при равновероятных входных |
||||||||||||||||||||||||||||||||||||||||||||||
символах p(y1) и p(y2). |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
Следовательно, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
C |
k |
|
k |
1 p |
l |
log |
|
2 |
1/ p |
l |
(1 p |
) log |
2 |
1/(1 p |
) . |
|
|
|
|
|
|
|
|||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
l |
|
|
|
|
|
|
|
|
l |
|
|
|
|
|
|
|
|
||||||||
3.Современные технические средства передачи информации
Передатчик – устройство, являющееся источником данных. Приемник – устройство, принимающее данные.
Приемником могут быть компьютер, терминал или какое-либо цифровре устройство.
Сообщение – цифровые данные определенного формата, предназначенные для
передачи.
Чтобы обеспечить передачу информации из ЭВМ в коммуникационную
Это может быть файл базы данных, таблица, ответ на запрос, текст или изображение.
Средства передачи – физическая передающая среда и специальная аппаратура, обеспечивающая передачу сообщений.
Для передачи сообщений в вычислительных сетях используются различные типы каналов связи. Наиболее распространены выделенные телефонные каналы и специальные каналы для передачи цифровой информации. Применяются также радиоканалы и каналы спутниковой связи.
3
Особняком в этом отношении стоят ЛВС, где в качестве передающей среды используются витая пара проводов, коаксиальный кабель и оптоволоконный кабель.
Чтобы обеспечить передачу информации из ЭВМ в коммуникационную среду, необходимо согласовать сигналы внутреннего интерфейса ЭВМ с параметрами сигналов, передаваемых по каналам связи. При этом должно быть выполнено как физическое согласование (форма, амплитуда и длительность сигнала), так и кодовое.
Технические устройства, выполняющие функции сопряжения ЭВМ с каналами связи, называются адаптерами или сетевыми адаптерами. Один адаптер обеспечивать сопряжение с ЭВМ одного канала связи. Кроме одноканальных адаптеров используются и многоканальные устройства – мультиплексоры передачи данных или просто мультиплексоры.
Мультиплексор передачи данных – устройство сопряжения ЭВМ с несколькими каналами связи. Мультиплексоры передачи данных использовались в системах телеобработки данных – первом шаге на пути
к созданию вычислительных сетей. В дальнейшем при появлении сетей со сложной конфигурацией и с большим количеством абонентских систем для реализации функций сопряжения стали применяться специальные связные процессоры.
Как уже говорилось ранее, для передачи цифровой информации по каналу связи необходимо поток битов преобразовать в аналоговые каналы, и при приеме информации из канала связи в ЭВМ выполнить обратное действие – преобразовать аналоговые сигналы в поток битов, которые может обрабатывать ЭВМ. Такие преобразования выполняет специальное устройство – модем.
Модем – устройство выполняющее модуляцию и демодуляцию информационных сигналов при передаче их из ЭВМ в канал связи и при приеме в ЭВМ из канала связи.
Наиболее дорогим компонентом вычислительной сети является канал связи. Поэтому при построении ряда вычислительных сетей стараются сэкономить на каналах связи, коммутируя несколько внутренних каналов связи на один внешний. Для выполнения функций коммутации используются специальные устройств –
концентраторы.
Концентратор – устройство, коммутирующее несколько каналов связи на один путем частотного разделения.
В ЛВС, где физическая передающая среда представляет собой кабель ограниченной длины, для увеличения протяженности сети используются специальные устройства – повторители.
Повторитель – устройство, обеспечивающее сохранение формы и амплитуды сигнала при передаче его на большее, чем предусмотрено данным типом физической передающей среды, расстояние.
Существуют локальные и дистанционные повторители. Локальные повторители позволяют соединять фрагменты сетей, расположенные на расстоянии до 50 м., а дистанционные – до 2000 м.
4.Методы повышения помехоустойчивости
Восновах всех способов повышения помехоустойчивости информационных систем лежит использование определенных различий между полезным сигналом и помехой. Поэтому для борьбы с помехами необходимы априорные сведения о свойствах помехи и сигнала.
Внастоящее время известно большое число способов повышения помехоустойчивости систем. Эти способы удобно разбить на две группы.
I группа – основана на выборе метода передачи сообщений.
II группа – связана с построением помехоустойчивых приемников.
Простым и применяемым способом повышения помехоустойчивости является увеличение отношения сигнал/помеха за счет увеличения мощности передатчика. Но этот метод может оказаться экономически не выгодным, так как связан с существенным ростом сложности и стоимости оборудования. Кроме того, увеличение мощности передачи сопровождается усилением мешающего действия данного канала на другие.
Важным способом повышения помехоустойчивости передачи непрерывных сигналов является рациональный выбор вида модуляции сигналов. Применяя виды модуляции, обеспечивающие значительное расширение полосы частот сигнала, можно добиться существенного повышения помехоустойчивости передачи.
Радикальным способом повышения помехоустойчивости передачи дискретных сигналов является использование специальных помехоустойчивых кодов. При этом имеется два пути повышения помехоустойчивости кодов:
5.Выбор таких способов передачи, которые обеспечивают меньшую вероятность искажения кода;
6.Увеличение корректирующих свойств кодовых комбинаций. Этот путь связан с использованием кодов, позволяющих обнаруживать и устранять искажения в кодовых комбинациях. Такой способ кодирования
связан с введением в код дополнительных, избыточных символов, что сопровождается увеличением времени передачи или частоты передачи символов кода.
Повышение помехоустойчивости передачи может быть также достигнуто путем повторной передачи одного и того же сообщения. На приемной стороне сравниваются полученные сообщения и в качестве истинных
4
принимаются те, которые имеют наибольшее число совпадений. Чтобы исключить неопределенность при обработке принятой информации и обеспечить отбор по критерию большинства, сообщение должно повторяться не менее трёх раз. Этот способ повышения помехоустойчивости связан с увеличением времени передачи.
Системы с повторением передачи дискретной информации делятся на системы с групповым суммированием, у которых сравнение производится по кодовым комбинациям, и на системы с посимвольным суммированием, у которых сравнение осуществляется по символам кодовых комбинаций. Посимвольная проверка является более эффективной, чем групповая.
Разновидность систем, у которых повышение помехоустойчивости достигается за счет увеличения времени передачи, являются системы с обратной связью. При наличии искажений в передаваемых сообщениях информация, поступающая по обратному каналу, обеспечивает повторение передачи. Наличие обратного канала приводит к усложнению системы. Однако в отличие от систем с повторением передачи в системах с обратной связью повторение передачи будет иметь место лишь в случае обнаружения искажений в передаваемом сигнале, т.е. избыточность в целом оказывается меньшей.
Помехоустойчивый прием состоит в использовании избыточности, а также априорных сведений о сигналах и помехах для решения оптимальным способом задачи приема: обнаружения сигнала, различия сигналов или восстановления сообщений. В настоящее время для синтеза оптимальных приемников широко используется аппарат теории статистических решений.
Ошибки приемника уменьшаются с увеличением отношения сигнал/помеха на входе приемника. В связи с этим часто производят предварительную обработку принятого сигнала с целью увеличения отношений полезной составляющей к помехе. К таким методам предварительной обработки сигналов относится метод ШОУ (сочетание широкополосного усилителя, ограничителя и узкополосного усилителя), селекция сигналов по длительности, метод компенсации помехи, метод фильтрации, корреляционный метод, метод накопления и др.
Лекция № 7 Тема: Результаты Шеннона и проблемы кодирования (Часть 1).
1. Теорема Шеннона для канала без помех
Рассмотрим две фундаментальные теоремы идеального кодирования, носящие имя Шеннона. Первая из них рассматривает случай отсутствия помех в канале, вторая учитывает наличие помех, приводящих к ошибкам.
Рассмотрим проблему согласования источника сообщений и канала при передаче последовательности сообщений. Пусть источник сообщений выдает сообщения с некоторой скоростью u (сообщений/ед.
времени), называемой технической производительностью источника. Пусть по каналу можно передавать без |
||||
искажений сообщения со скоростью, не превышающей некоторую величину |
k |
(сообщений/ед. времени), |
|
|
|
|
|
|
|
называемую технической пропускной способностью канала. Очевидно, что если выполняется условие u |
< |
k |
||
|
|
|
|
|
то канал успевает передать все сообщения, поступающие на его вход от источника, и передача будет вестись
без искажений. Что произойдет, если |
u |
> |
k |
? Можно ли в этом случае обеспечить передачу без искажений? |
|
|
|
||
|
|
|
|
,
Если исходить только из технических характеристик, то, очевидно, нельзя. А если учесть информационные характеристики? Ведь нам известно, что если последовательность обладает информационной избыточностью, то её можно сжать, применив методы экономного кодирования. Рассмотрим подробнее такую возможность.
Пусть Vu - (информационная) производительность источника, т.е. количество информации, производимое источником в единицу времени; Ck – (информационная) пропускная способность канала, т.е. максимальное количество информации, которое способен передать канал без искажений за единицу времени. Первая теорема Шеннона утверждает, что безошибочная передача сообщений определяется соотношением Vu и Ck.
Первая теорема Шеннона: если пропускная способность канала без помех превышает производительность источника сообщений, т.е. удовлетворяется условие
Ck >Vu,
то существует способ кодирования и декодирования сообщений источника, обеспечивающий сколь угодно высокую надежность передачи сообщений. В противном случае, т.е. если
Ck <Vu
Такого способа нет.
Таким образом, идеальное кодирование по Шеннону по существу представляет собой экономное кодирование последовательности сообщений при безграничном укрупнении сообщений. Такой способ кодирования
характеризуется задержкой сообщений
2T ,
5