Все задания за 4 курс 7 семестр / Основы теории информации / Примеры решения задач по контрольной работе
.pdfПример: Система имеет два состояния и эти состояния равновероятны.
xi |
x1 |
x2 |
H(x) = - (0.5 log 0.5 + 0.5 log 0.5) = 1 бит/символ |
|
|||||||||||||
p1 |
0.5 |
0.5 |
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
Определить энтропию системы X, которая имеет n равновероятных состояний |
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
xi |
|
x1 |
|
x2 … |
xn |
|
1 |
|
1 |
|
|
||||||
pi |
|
|
1 |
|
|
|
1 |
… |
|
1 |
|
H (x) = −n |
log |
|
= - log 1 + log n = log n |
||
|
|
|
|
n |
n |
||||||||||||
|
|
|
n |
|
|
n |
|
n |
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
- это частный случай, когда все вероятности одинаковы.
Пример: Система X имеет восемь состояний. Определить энтропию. (состояния равновероятны)
n = 8 |
H (x) = log2 8 = 3 |
|
n |
η( p) = −p log2 p |
H (x) = ∑η( pi ) |
|
i=1 |
Пример: Определить H, состояние которой описывается таблицей.
Система имеющая пять состояний
xi |
x1 |
x2 |
x3 |
x4 |
x5 |
H (x) = 4η(0.01) +η(0.96) ≈ 0.322 бит/символ |
|
p1 |
0.01 |
0.01 |
0.01 |
0.01 |
0.96 |
||
|
Пример: Алфавит состоит из букв a, b, c, d. Даны вероятности pa = pb = 0,25; рс = 0,34; pd =
0.16
H(x) = - (2*0.25 log 0.25 + 0.34 log 0.34 + 0.16 log 0.16) = 1.952 бит/символ
Энтропия сложной системы
Пример: Имеются две системы, объединённые в одну, вероятности состояния которых заданы таблицей совместных вероятностей. Определить полную условную энтропию.
xi & yi |
x1 |
x2 |
x3 |
rj |
y1 |
0.1 |
0.2 |
0 |
0.3 |
y2 |
0 |
0.3 |
0 |
0.3 |
y3 |
0 |
0.2 |
0.2 |
0.4 |
pi |
0.1 |
0.7 |
0.2 |
|
Определим вероятности каждого события. Для этого складываем pij по столбцам.
∑pi =1
∑rj =1
Построить таблицу условных вероятностей p(y / x). |
pij |
в каждой строке |
||||
pi |
||||||
yi& xj |
x1 |
x2 |
x3 |
|
|
|
y1 |
1 |
0.2/0.7 |
0 |
|
|
|
y2 |
0 |
0.3/0.7 |
0 |
|
|
|
y3 |
0 |
0.2/0.7 |
1 |
|
|
|
H (Y / x) = 0.7[η(0.2 / 0.7) +η(0.3 / 0.7) +η(0.2 / 0.7)] =1.09 бит/символ
Составим таблицу условных вероятностей P(x / y). |
pij |
|||||
p j |
||||||
|
|
|
|
|
||
xi& yi |
x1 |
x2 |
x3 |
|
|
|
y1 |
0.1/0.3 |
0.2/0.3 |
0 |
|
|
|
y2 |
0 |
1 |
0 |
|
|
|
y3 |
0 |
0.2/0.4 |
0.2/0.4 |
|
|
|
H(x / y) = 0.3[η(0.1/0.3) + η(0.2/0.3)]+ 0.4[η(0.2/0.4 + η(0.2/0.4)] = 0.68 бит/символ
Н - характеризует потери сигналов при прохождении через канал связи
Теорема сложения энтропий
Пример: Передаются два элемента a, b. Определить количество переданной информации
вслучае, когда:
1)Элементы взаимозависимы и не равновероятны
p(a) = |
3 |
; |
p(b) = |
1 |
; |
p(a / a) = |
2 |
p(b / a) = |
1 |
|
4 |
4 |
3 |
3 |
|||||||
|
|
|
|
|
|
|||||
|
|
|
|
|
|
p(b / b) = 0 |
p(a / b) = 1 |
|||
I = H – вероятность события а
I = H = - p(a)[ p(a / a) log p(a / a) + p(b / a) log p(b / a) ] – p(b)[ p(a / b) log p(a / b) + p(b / b) log p(b / b)] = 0.685 бит/символ .
2) не равновероятны и независимы: |
|
|
|
|
|
|
|||||||||
p(a) = |
3 |
; |
|
p(b) = |
1 |
|
|
|
|
|
|
|
|
|
|
4 |
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
||||||
4 |
|
|
|
|
3 |
|
3 |
|
1 |
|
1 |
|
|||
I = - p(a) log p(a) – p(b) log p(b) = - |
log |
- |
log |
= 0.815 бит/символ |
|||||||||||
4 |
4 |
||||||||||||||
|
|
|
|
|
4 |
|
4 |
|
|
|
|||||
3) элементы независимы и равновероятны: |
|
|
|
|
|||||||||||
p(a) = p(b) = |
1 |
; |
I = log2 = 1 |
|
|
|
|
|
|
||||||
2 |
|
|
|
|
|
|
|||||||||
Определение информационных потерь в каналах связи
Пример: Влияние помех в канале связи описывается канальной матрицей. Требуется вычислить потери при передачи сигналов, если вероятность появления сигналов следующая:
p(x1) = 0.7 |
p(x2) = 0.2 |
|
p(x3) = 0.1 |
|
0.98 |
0.01 |
0.01 |
||
|
0.15 |
0.75 |
0.1 |
|
p( y / x) = |
|
|||
|
0.3 |
0.2 |
0.5 |
|
|
|
|||
H(y / x) = -[0.7 * (0.98 log 0.98 + 2*0.01 log 0.01) + 0.2 * (0.15 log 0.15 + 0.75 log 0.75 + 0.1 log 0.1) + 0.1 * (0.3 log 0.3 + 0.2 log 0.2 + 0.5 log 0.5)] = 0.463 бит/символ .
Энтропия и информация
Пример: На шахматной доске в одной из клеток поставлена фигура. Вероятность нахождения фигуры на любой клетке одинакова. Определить информацию, получаемую от сообщения о нахождении фигуры в какой-либо клетке.
Ix = log 64 = 6 бит
Пример 2: Определить частную информацию от сообщения о нахождении фигуры в одной из четырёх клеток.
P = |
4 |
= |
|
1 |
; - вероятность сообщения |
I xi |
= −log |
|
1 |
= 4 бит |
|
|
|
|||
64 |
16 |
16 |
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
||||||
Пример 3: Определить частную информацию, содержащаяся в сообщении случайного |
||||||||||||||||
лица о своём дне рожденье. |
|
|
|
|
|
|
|
|
|
|||||||
P = |
|
1 |
|
|
- вероятность полученного сообщения; |
I x |
|
= −log |
1 |
≈8.51 |
бит |
– |
||||
365 |
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
365 |
|
|
|
||||||
количество информации
Пример 4: Определить полную информацию от сообщения о дне рождения случайного
лица.
x1 |
– день рожденье |
|
|
p = |
1 |
|
|
|
|
||||
|
|
|
|
1 |
365 |
|
|
|
|
|
364 |
|
|
x2 |
– не день рожденье |
p2 |
= |
|
|
|
365 |
|
|
||||
|
|
|
|
|
|
|
I x = −3651 log 3651 − 364365 log 364365 ≈ 0.063 бит
Пример 5: По цели может быть произведено n выстрелов. Вероятность поражения цели при каждом выстреле p. После k-ого выстрела (1≤ к n) производятся разведка, сообщение поражена или не поражена цель. Определить к при условии, чтобы количество информации, доставляемая разведкой была максимальной.
xk – система (цель после к-ого выстрела) имеет два состояния: x1 – цель поражена;
x2 – промах
p1 = 1 – (1 - p)k p2 = (1 - p)k
Информация будет максимальна, когда p1 = p2, следовательно
|
k |
|
k |
|
1 |
|
1 |
– (1 - p) |
= (1 - p) |
|
, |
k = − |
|
|
log(1 − p) |
|||||
p |
= 0.2; |
к = 3 |
|
|
|
|
Взаимная информация
Пример: Найти полную взаимную информацию, содержащуюся в системах X и Y. Если задача на матрицы совместных вероятностей.
|
|
|
|
|
Сумма равна единице |
|
|
|||
xi & yi |
x1 |
x2 |
x3 |
rj |
Этих сведений достаточно, чтобы определить взаим- |
|||||
y1 |
0.1 |
0.2 |
0 |
0.3 |
ную информацию, создавшуюся в системе |
|||||
y2 |
0 |
0.3 |
0 |
0.3 |
n |
m |
pi, j |
|||
|
|
|
|
|
||||||
y3 |
0 |
0.2 |
0.2 |
0.4 |
I y→x = ∑∑pi, j log |
|
|
|
||
|
pi rj |
|||||||||
pi |
0.1 |
0.7 |
0.2 |
|
||||||
|
i=1 |
j=1 |
||||||||
I y→x |
= 0.1 log |
|
0.1 |
+ 0.2 log |
0.2 |
+ 0.3 log |
0.3 |
+ 0.2 log |
0.2 |
+ |
|||
0.1 0.3 |
0.7 0.3 |
0.7 0.3 |
0.7 0.4 |
||||||||||
|
|
|
|
|
|
|
|||||||
+ 0.2 |
log |
0.2 |
|
= 0.488 бит |
|
|
|
|
|
|
|||
0.2 0.4 |
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
||||
Частная информация о системе
Пример: Система X и Y характеризуется таблицей вероятностей.
xi & yi |
x1 |
x2 |
rj |
Определить частную информацию о системе х, |
||
y1 |
0.1 |
0.2 |
0.3 |
|||
содержащуюся в сообщении y1. |
||||||
y2 |
0.3 |
0.4 |
0.7 |
|||
I y →x |
= ? |
|||||
pi |
0.4 |
0.6 |
|
|||
|
1 |
|
||||
|
|
|
|
|
||
Iy →x = |
0.1 log |
0.1 |
+ |
0.2 log |
0.2 |
= 0.013 бит |
|
0.3 0.4 |
0.3 0.6 |
||||||
1 |
0.3 |
|
0.3 |
|
|||
|
|
|
|
|
|
Условная энтропия непрерывной системы
Пример: Найти энтропию непрерывной системы X, все состояния которой на участке от α до β равновероятны.
|
1 |
,α ≤ x ≤ β |
|
|
|
||
β −α |
|||
f (x) = |
|
||
|
0, x α, x β |
||
|
|||
β |
1 |
|
1 |
|
|
β −α |
|
H* = −∫ |
log |
dx = log(β −α) H (x) = log(β −α) −log |
x = log |
||||
β −α |
β −α |
x |
|||||
α |
|
|
|
Пример: Для нормального закона распределения.
|
1 |
|
− |
x2 |
|
|
|
|
|
||
|
2δ 2 |
||||
f (x) = |
|
|
|
||
2π δ |
exp |
|
|
|
|
|
|
|
|
|
H(x) = −+∞∫ f (x) log{ f (x) x}dx log{ f (x) |
x} = |
1 |
(−ln 2π |
δ |
− |
x22 ) |
−∞ |
|
ln 2 |
|
x |
|
2δ |
Подставляем f(x) и log в интеграл, получим после вычисления |
|
|
|
|||
H (x) = log{ 2π e δ } |
|
|
|
|
|
|
x |
|
|
|
|
|
|