Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Основы теории информации и криптографии. Учебное пособие.pdf
общая неопределённость ансамбля, которая характеризует его энтропию, составит
H1 = log
27 бит.
2
Одно взвешивание будет способно прояснить неопределённость ансамбля, который насчитывает три возможных исхода (весы находятся в равновесии, или правая чаша весов легче, или левая чаша весов легче). Так как
все исходы равновероятны, то результат одного взвешивания есть источник с
равновероятными состояниями, и его энтропия составляет
В связи с тем, что энтропия аддитивна и при этом
H
= log23 бит.
2
Н
= 3Н2 = 31og23, то
1
определение фальшивой монеты может быть выполнено за три взвешивания.
Рассмотрим алгоритм определения фальшивой монеты. При выполнении первого взвешивания кладётся по девять монет на каждую чашку весов.
Фальшивая монета окажется либо среди более лёгкой кучки из девяти монет,
либо среди тех монет, которые не взвешивались (в случае равновесия весов).
Более лёг
кую кучку из девяти монет снова разобьём на три кучки по три монеты и произведём взвешивание. По аналогии после второго взвешивания
число монет, содержащих фальшивую, сократится до трёх. И третье, последнее, взвешивание позволит точно определить фальшивую монету.
Рассмотренная выше оценка информации основана на предполо-
жении о равновероятности всех знаков алфавит
а.
В действительности большинство источников информации не соответствуют условиям равновероятного исхода. Рассмотрим основы информационного подхода Шеннона.
Пусть имеется источник, выдающий последовательность дискретных
независимых сообщений {λ
алфавита сообщения A (λ
точника. Этот источник называется
}, каждое из которых случайно выбирается из
i
) = λ1, λ2, λ3, ..., λK, здесь K – размер алфавита ис-
i
источником без памяти с конечным дис-
кретным алфавитом, а сообщения, которые он вырабатывает, называются
простыми сообщениями.
Каждое элементарное сообщение λ
содержит для своего получателя
i
некоторую
информацию. Выясним, от чего зависит эта количественная мера
и определим её.
До момента связи у получателя имеется некая неопределённость
по отношению к тому,
передано.
какое сообщение λi из числа возможных будет
21
Очевидно, что степень этой неопределённости, или неожиданности передачи λ
ния. Так, например, если
, сильно зависит от вероятности передачи того или иного сообще-
i
вероятность передачи некоторого сообщения λ
i
очень высока, то ещё до момента связи мы практически будем знать, какое
сообщение будет передано, и его получение не даст нам почти никакой новой
информации.
Очевидно, что количество информации, которое содержится в элементарном сообщении λ
сообщения
Р(λ
i
):
J
Определим вид этой функции
личества информации
1. Если выбор сообщения λ
ределённости нет), то
J (λ
лю:
) = ϕ {1} = 0.
i
, есть некоторая функция от вероятности передачи этого
i
(λi) = ϕ {P (λ
)}. (3.1)
i
ϕ . Для этого потребуем, чтобы мера ко-
J(λ
) удовлетворяла двум интуитивным свойствам:
i
заранее предопределён (Р(λi) = 1 – неоп-
i
количество информации в этом сообщении равно ну-
2. Если источник последовательно выбирает сообщения λ
ятность такого выбора
количество информации в этих двух элементарных сообщениях будет
то
равно
сумме количеств информации в каждом из них.
Вероятность совместного выпадения событий λ
Р(λ
, λj ) есть совместная вероятность событий λi и λ
i
и λj Р(λi , λj), как из-
i
и λj и веро-
i
вестно, определяется по формуле полной вероятности
Р (λ
, λj) = Р(λi) Р(λj /λ
i
) = PQ. (3.2)
i
Тогда, в соответствии с требованием (2), должно выполняться условие
ϕ{
PQ} = ϕ(P) + ϕ(Q). (3.3)
Функцией, которая удовлетворяла бы этим двум условиям, является
функция вида
при этом и коэффициент
J (λ
) = a log P(λ
i
), (3.4)
i
a, и основание логарифма могут быть выбраны
,
j
произвольно. Однако для удобства (чтобы количественная мера информации
была положительной) принимают
a = –1, а основание логарифма обычно вы-
бирают равным 2. В этом случае
J (λ
22
) = –log
i
P(λ
2
). (3.5)
i
Вычисляемая подобным образом единица измерения информации будет называться
если некоторое элементарное сообщение λ
ётся с вероятностью
(1/8) = 3 бита информации.
log
2
В некоторых случаях основание логарифма выбирают равным
информация будет измеряться в натуральных единицах или
битом информации или двоичной единицей. Так, например,
выбирается из алфавита и переда-
i
P(λ
) = 1/8, то говорят, что в сообщении содержится
i
e. Тогда
натах.
Количество информации, которое содержится в одном элементарном
сообщении λ
, пока никак не характеризует источник. Ведь одни элементар-
i
ные сообщения несут много информации, но передаются очень редко, другие – наоборот, передаются чаще, но несут меньший объём информации. Поэтому источник информации может характеризоваться
информации, приходящимся на одно элементарное сообщение
вается «
энтропия источника» и определяется следующим образом:
K
∑
i
=
i
1
PPH λλ−=λ
, i = 1, K. (3.6)
)(log)()(
i
средним количеством
, которое назы-
Энтропии, являющейся количественной мерой информативности источника, характерны следующие свойства:
1. Энтропия – величина вещественная, ограниченная и неотрицатель-
ная, что вытекает из вида выражения для
2. Энтропия детерминированных сообщений равна нулю, т.е.
Н(λ) с учётом того, что 0 < P(λ
Н(λ) = 0,
) < 1.
i
если вероятность хотя бы одного сообщения равна единице.
λ
3. Энтропия максимальна, если сообщения
P(λ
) = P(λ2) = ... = P(λ
1
равновероятны, т.е.
i
) = 1/K ,
k
и тогда
K
H
1
)(
∑
=
i
1
log
1
=−=λ
KK
(3.7)
.log
K
Из последнего выражения видно, что в случае равновероятных сообщений энтропия будет расти с увеличением объёма алфавита источника (увеличением числа сообщений). При неравновероятных элементарных сообщениях λ
энтропия будет уменьшаться.
i
4. Энтропия двоичного источника (
K = 2) изменяется от нуля до едини-
цы. На самом деле, энтропия системы из двух сообщений λ
и λ
1
2
23
λλ−λλ
−=λ
ξ
A
A
{
∞
N
PPPPH
)(log)()(log)()(
=
2211
(3.8)
PPPP
)}.(1log{)}(1{)(log)(
λ−λ−−λλ−=
1111
Откуда видно, что энтропия равна нулю при P(λ1) = 0; P(λ2) = 1, или
P(λ
) = 1; P(λ2) = 0; при этом максимум энтропии будет наблюдаться, когда
1
P(λ
) = P(λ2) = 1/2 и это максимальное значение будет равно 1 бит.
1
4. ВЕРОЯТНОСТНО-СТАТИСТИЧЕСКИЕ МОДЕЛИ СООБЩЕНИЙ И ИХ СВОЙСТВА
4.1. ИСТОЧНИКИ ДИСКРЕТНЫХ СООБЩЕНИЙ И ИХ ВЕРОЯТНОСТНЫЕ МОДЕЛИ
Рассмотрим произвольный источник сообщений. Каждое сообщение
представляет собой последовательность символов (
0 и 1 в компьютерной ло-
гике, точки и тире в телеграфии, буквы русского алфавита и др.).
В этом сообщении отдельные символы:
– есть случайная величина,
которая принимает все возможные значения из заданного алфавита сообщений
А :
Если мощность
.
∈ξ
конечна:
)()2()1(
...,,,
N
aaa – символы алфавита;
N
)()2()1(
}
2,...,,,
<≤= NaaaA
, где
– мощность алфавита, то имеют
дело с источником дискретного сообщения (ИДС), в противном случае – источником непрерывного сообщения.
Будем использовать модель ИДС как наиболее часто встречающуюся.
Каждое появление символа алфавита в сообщении будет описываться дискретной вероятностной моделью.
Дискретный ансамбль
В – это полная совокупность состояний (симво-
лов алфавита) с вероятностью их появления:
N
где
B
⎛
⎜
=
⎜
...
⎝
{}
aPaP =ξ=)(
.
)()2()1(
aaa
aPaPaP
⎞
⎟
⎟
N
)()2()1(
)(...)()(
⎠
N
∑
=
i
i
)(
1
i
)(
,
1)(0,1)(,
<<=
aPaP
Ясно, что эта модель
вол сообщения.
24
)(, aPA
описывает одиночный случайный сим-
Сообщение, которое порождается ИДС, – есть в общем случае после-
(
Ξ
∈
t
∈=ξ=ξ
=
(
x
=
N
∈
≤
довательность
1≥n
случайных символов:
21
nn
n
)
A∈ξξξ=Ξ ...,,,
. При этом
полное вероятностное описание ИДС задаётся вероятностной моделью случайного временного ряда (случайного процесса)
дискретным пространством состояний
где
(){ }
()
aaaP ...,,,
21
nn
ξ=
– n-мерное дискретное распределение вероятностей
с дискретным временем
n
...,2,1,=nA
n
:
()
21
21221121
nnnnn
N и
aaaPA ...,,,,
,
nn
,...,,,,...,,,...,,,
AaaaaaaPaaaP
n-символьного сообщения.
ИДС называется стационарным
, если случайный процесс Ξ инвариан-
тен по отношению к сдвигу начала отсчёта t. Если порождаемые ИДС случайные символы одинаково распределены и независимы в совокупности, то
стационарный ИДС будет являться источником без памяти
.
4.2. СОБСТВЕННАЯ ИНФОРМАЦИЯ
Задача количественного измерения информации возникла при необходимости решения конкретных практических задач. Так, к примеру, можно
пытаться уменьшить количество электрических сигналов, которые необходимы для передачи по каналам связи сообщения. Поэтому разумной мерой
информации, которая содержится в сообщении, будет такая мера, которая
монотонно связана с затратами на передачу сообщения.
Собственная информация
дискретного ансамбля
{}
)
xI сообщения
)(, xPXB =
– это:
, которое выбирается из
1
log xP
xI
тах;
()
−==
xP
)(
Если 2=b , то количество информации измеряется в битах; eb
10=b – ди/хартли (в 1928 г. Хартли впервые предложил эту формулу в
)(log
bb
. (4.1)
– на-
виде
1
()
xI
lg−=
).
Свойства собственной информации:
1.
()
Монотонность: если
2.
XxxI ∈≥ ,0 .
xPxPXxx ≥
2121
)()(,,
, то
)()(
xIxI
.
21
25
3. Аддитивность (для независимых сообщений):
===
−
×
n
11
=
∑
i
=
xIxxIxx
)()...,,(:...,,
.
inn
1
Пример.
'''''''' dcba
⎞
⎟
1
. Будем производить кодирование,
⎟
⎠
8
Дан ансамбль
B
⎛
⎜
1
=
1
1
⎜
⎝
2
8
4
используя 0 и 1.
1
log)'('
=−=aI
2
2
;бит1
dIcIbI
3)'(')'(',2)'('
.
Как видно, чем выше вероятность появления символа в сообщение и,
соответственно, чем чаще он появляется, тем меньшим числом битов его необходимо кодировать, с целью экономии на длине закодированного сообщения.
Таким образом, собственная информация характеризует степень неожиданности появления конкретного сообщения.
Пример.
Определить собственную информацию, которая содержится в изображении, состоящем из 500 строк по 500 элементов в каждой строке. Каждый
элемент передается 8 уровнями яркости, которая независима для различных
элементов.
Решение:
Случайная величина
– яркость одного элемента изображения.
X
11
)( ==
xP
i
n
)1(
xI
log)(
=
i
яркости элементов независимы, то
.
8
1
1
⎞
⎛
. Изображение содержит
3
=
⎟
⎜
2
⎟
⎜
8
⎠
⎝
xNIimageI
i
4
элементов. Так как
1025 ⋅=N
5
бит.105,7)()(
⋅==
Пример.
На экране радара размером
1010
полос изображение появляется в ви-
де яркой отметки. Все положения равновероятны. Определить количество
собственной информации, содержащейся в следующих сообщениях: (а) объ-
26
ект находится в 46 квадранте, (б) объект находится в 5-й горизонтальной
≤
строке.
Решение:
1
(а)
log)(
246
100
644,6
≈−=xI
.
10
(б)
log)(
25
≈−=xI
100
.322,3
4.3. ВЗАИМНАЯ ИНФОРМАЦИЯ
Рассмотрим два ансамбля сообщений:
⎛
X
=
⎜
⎝
⎛
Y
=
⎜
21
⎝
...
21
21
...
21
xxx
⎞
n
– ансамбль сообщений на входе системы,
⎟
)(...)()(
xPxPxP
⎠
n
yyy
⎞
m
– на выходе.
⎟
)(...)()(
yPyPyP
⎠
m
где
,, YX
Эти ансамбли зависимы друг от друга.
В ходе эксперимента (приёма символа
появления символа
x
изменяется в сравнении с априорной. Тогда количест-
j
во информации символа сообщения
x
, которое доставляется символом
j
y
) апостериорная вероятность
k
y
k
можно определить как логарифм отношения апостериорной вероятности к
априорной:
)|(
yxP
kj
yxI =
log);(
kj
xP
. (4.2)
)(
j
Формула (4.2) определяет взаимную информацию.
Свойства взаимной информации:
,
1.
Если
yxI
yxI
kj
наступление события
2.
y
.
k
дения
∞<<∞− );(
kj
0);( <
x
.
, то считается, что наступление события
менее вероятным, чем оно было априори до наблю-
j
)();(
xIyxI ≤
,
jkj
превышает свою собственную.
y
)();(
yIyxI
– взаимная информация не
,kkj
делает
k
27
При данном
≠
=
+
=
X
Z
Y
X
взаимная информация достигает своего максимума,
)(jxP
когда принятый символ
При этом
xPyxI −=
априорной вероятностью символа
3.
Симметрия:
относительно
Поэтому
4.
Аддитивность:
, равна информации, содержащейся в
y
k
– это взаимная информация.
);(
yxI
kj
ловии, что ансамбли
Информация, содержащаяся в реализации
y
однозначно определяет переданный символ
k
kj
,0
⎧
=
yxP
)|(
⎨
kj
, т.е. собственной информации, определяемой только
)(log);(
jkj
независимы от
Y
,
,1
⎩
и это максимальное значение равно
kj
=
.
x
j
);();(
xyIyxI
. Информация, содержащаяся в
jkkj
y
относительно
k
);();(),;,(
qzIyxIqyzxI
, только при ус-
likjlkij
.
Q
,
y
принятого сигнала отно-
k
x
.
j
x
j
x
j
сительно ансамбля передаваемых сообщений Х, определяется следующей
формулой
)|(
⎛
log);(
MyXI
=
k
⎜
⎜
⎝
yXp
k
)(
Xp
n
⎞
⎟
⎟
j
⎠
log)|(
yxp
kj
yxp
kj
)(
xp
j
n
)|(
).;()|(
==
∑∑
11
j
==
kj
yxIyxp
kj
.
Наконец, средняя взаимная информация между ансамблем принимае-
(4.3)
мых сигналов
и ансамблем передаваемых сообщением
определяется
формулой:
m
n
)|(
YXp
⎛
log);(
MYXI
=
⎜
⎜
⎝
⎞
log);(
⎟
⎟
)(
Xp
⎠
k
j
yxp
kj
yxp
)(
xp
j
т.е. то количество информации, содержащееся в среднем в ансамбле прини-
m
)|(
kj
==
∑∑∑
k
k
111
===
),;()(
yXIyp
(4.4)
k
маемых символов Y относительно ансамбля передаваемых символов X.
Пример.
Пусть по дискретному каналу передаются сообщения
наличия шумов на выходе канала появляются сигналы
их совместного появления
x
1
x
2
заданы в таблице:
);(
yxP
ji
y
y
1
1/4 1/16 1/8
2
1/8 3/16 1/4
y
3
x
,, yyy
321
x
1
и
. Из-за
2
. Вероятности
28
Необходимо найти взаимную информацию
Решение:
)|(
yxP
yxI =
31
log);(
31
.
)(
xP
1
);(22yxI
и
);(31yxI
.
3
∑
1
=j
yxP
)|(
31
Аналогично:
7
==
16
);(
==
,
1
. Значит,
3
log);(
222
);()(
yxPxP
11
j
yxP
31
yP
)(
3
2
∑
=i
1
3/1
≈=yxI
4/1
3
==
xyPyP
);()(
i
33
.
8
3/1
log);(
231
бит.415,0
−≈=yxI
16/7
бит.39,0
Заметим, что среднее значение, или математическое ожидание, вычисленные по ансамблю, будут характеристикой информативности всего ансамбля: для этого вводят понятие энтропии.
5. ЭНТРОПИЯ
Предположим, что ИДС может быть описан некоторым дискретным
ансамблем:
X
⎛
=
⎜
⎝
...
21
21
xxx
⎞
n
. Тогда энтропия ИДС (или иначе
⎟
)(...)()(
xPxPxP
⎠
n
энтропия случайного символа ξ) может быть вычислена по формуле
n
()( )
−=ξ−=ξ=ξ
∑
i
=
1
xPxPPMIMH
)(log)()(log)()(
. (5.1)
ii
Впервые приведённая выше мера была предложена Клодом Шенноном
в работе «Математическая теория связи». Эта формула совпала с более
ранним результатом Больцмана для случая энтропии термодинамических
систем.
В общем случае энтропия может быть интерпретирована как количественная мера априорной неосведомлённости о сообщении, которое будет порождено источником (т.е., какой из
подастся на вход). Как видим, энтро-
x
j
пия – есть мера неопределённости. Одновременно встречается и другое определение энтропии – среднее количество собственной информации.
29
Энтропиия обладает следующими характерными свойствами:
H
H
H
≤
H
1.
2.
0)( =ξ
ξ
.
0)( ≥ξ
, если ξ неслучайно.
.
n
log)(
1
)( =
, если
n
log)( =ξ
xP
i
. Такое возможно, если все сообщения
n
x
равновероятны или источник без памяти.
3.
Аддитивность: в последовательности из m независимых символов
энтропия будет равна сумме энтропий, которые содержатся в отдельных символах:
m
ξ=ξξ
HH
)(]...,,[
1
4.
Для ансамблей с одинаково распределёнными вероятностями, отли-
∑
i
=
1
.
im
чающимися только порядком следования элементов, энтропии равны.
i
Пример 1.
Пусть на измерительной станции есть два прибора:
Первый имеет 100 делений, его показания меняются каждые 0,05 с.
Второй имеет 10 делений, его показания меняются каждые 0,01 с.
Какова наибольшая средняя информация, поставляемая двумя приборами в 1 с?
Решение:
Так как все деления на приборах равновероятны, то энтропия 1-го
прибора:
H
1
Число измерений в секунду первым прибором:
1
2
==n
01,0
восве
--2
=
100log
. Аналогично для 2-го прибора:
2
=H
10log
.
22
1
, вторым
20
1
. Энтропия двух приборов в 1 с (их показания независимы друг
100
==n
05,0
от друга):
30
восве
--3
≈+= HnHnH
2211
464
бит/с.