Добавил:

hahahahad Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Московский технический университет связи и информатики

Предмет:

Теория информации, данные, знания

Файл:

Практики / Практические_занятия_по_ТИДЗ_Темы_5_6

.pdf

Скачиваний:

Добавлен:

28.06.2026

Размер:

1.18 Mб

Скачать

☆

Практические занятия по ТИДЗ

Тема 5 . Энтропия дискретного источника информации

5.1. Собственная информация и энтропия ДИС

Если рассматривается одно случайное дискретное информационное сообщение (ДИС) X {xi }, xi A {a1, , aL } , то говорят о собственной информации или энтропии. Для двухмерного

ДИС X {x1 , x2} , состоящего из 2-х случайных величин (x1, x2 ) x , принимающих значения ak , aq A

из алфавита A {a1,	, aL } с известным	дискретным вероятностным распределением	(ДВР)
p1,2 (ak , aq ) P {x1 ak , x1	aq } , ak A, k 1,	, L ,
собственной случайной информацией Шеннона ДИС называется
	I(x) I(x1 , x2 ) log2 ( p1,2 (x1 , x2 )) бит		(5.1)

Собственной энтропией Шеннона ДИС называется неслучайная величина H[x] , получаемая путем усреднения случайной информации Шеннона I(x) , т.е.

L	L	, aq ) бит
H[x] M[I(x)] k 1	q1 log2 ( p1,2 (ak , aq )) p1,2 (ak	, aq ) бит	(5.2)
Информацией Хартли двухмерного ДИС X {x1 , x2} называется неслучайная величина
IHart log2 (1/ L2 ) 2 log2 (L), бит .			(5.3)

Собственной условной энтропией Шеннона ДИС называется величина, определяемая выражением

H[x1 \| x2	] L	L	log	2 ( p1 (ak \| aq )) p1,2 (ak , aq ), бит .	(5.4)
	k 1	q 1
Собственной взаимной энтропией Шеннона 2-х случайных величин одного ДИС называется
M	L			( p(ak \| br ) / p(ak ) ), бит .
H[х y] r 1 k 1 p(ak ,br ) log2				( p(ak \| br ) / p(ak ) ), бит .	(5.5)

2). Аналогично, для одномерного ДИС X {x} из одной случайной величины с одномерным ДВР

p(ak ) P {x1 ak } ,	ak A,	k 1,	, L выражения (5.1)-(5.3) принимают вид
		I(x) I(x) log2 ( p(x)), бит
		IHart	log2 (1 / L) log2 (L), бит	(5.6)
		H[x] M[I(x)] kL 1 log2 ( p(ak )) p(ak ), бит
3). Для ДИС из двух случайных величин (x1, x2 ) x с заданным двухмерным ДРВ				p1,2 (ak , aq )

собственная случайная информация (5.1) и энтропии (5.2),(5.3) каждой из этих случайных величин могут быть вычислены по формулам (5.6), после нахождения их одномерных распределений из условия согласованности ДРВ, т.е. по формулам

	p(ak ) L	p(ak , aq ),	p(aq ) L	p(ak , aq ),	(5.7)
	q 1		k 1
Если	X {xi } содержит большее число случайных величин, то собственные энтропии строятся
аналогично (см. лекции)
	5.2. Взаимная информация и энтропия двух ДИС
Если	рассматривают два взаимно связанных случайных ДИС X {xi }, xi A {a1,				, aL } и

Y {yi }, yi B {b1, , bM } с возможно разными алфавитами A, B и оценивают их информационное содержание, то говорят о взаимной информации или взаимной энтропии. Они определяются по формулам аналогичным (5.1)-(5.7) с формальной заменой переменных x1 x, x2 y .

Рассмотрим самый простой случай когда ДИС X {x},Y {y} включают по одному случайному

элементу

x A, y B

известно

их

совместное

взаимное

распределение

p1,2 (ak , br ) P {x ak , y br } , ak A, br B. Тогда для них можно определить следующие взаимные энтропии.

1). Случайная взаимная информация Шеннона двух ДИС

I(x, y) log2 ( p1,2 (x, y)), бит									(5.8)
2). Совместная взаимная энтропия двух ДИС
H[х, y] M[I(x, y)] M				L	p(ak , br ) log2	p(ak , br ),	бит		(5.9)
		r 1		k 1
3). Условная взаимная энтропия двух ДИС
H[х \| y] M			L		p(ak , br ) log2	p(ak \| br ),	бит		(5.10)
		r 1		k 1
4) Взаимная энтропия двух ДИС
H[х y] M	L			p(ak , br ) log2 ( p(ak		\| br ) / p(ak ) ), бит			(5.11)
r 1		k 1
5) Собственные взаимные энтропии двух ДИС
H[x] L p(ak ) log2		p(ak ),			H[ y] M	p(br ) log2	p(br ),	бит	(5.12)
k 1					r 1
где одномерные ДВР p(ak ) , p(br ) находятся из условия согласованности.								Если	X {xi },Y {yi }

содержат большее число величин, то взаимные энтропии строятся аналогично (см. лекции)

5.3. Основные тождества и неравенства для энтропий ДИС

Все перечисленные выше энтропии связанны между собой определенными соотношениями, которые легко доказываются с использованием формул Байеса, свойств логарифма и неравенства

ln x x 1. Ниже приводятся наиболее важные соотношения (тождества) между разными энтропиями одного ДИС.

	H[x1 x2 ] H[x1 ] H[x1 \| x2 ],	(а)
	H[x1, x2 ] H[x1 ] H[x2 \| x1 ],	(б)
	H[x1, x2 ] H[x2 , x1 ],	(б)
	H[x1, x2 ] H[x2 , x1 ],	(5.13)
	H[x1 \| x2 ] H[x1, x2 ] H[x2 ],	(в)

H[ x1 x2 ] 0, H[x1 , x2 ] 0, 0 H[x1 | x2 ] H[x1 ] (г)

Для двух ДИС справедливы аналогичные тождества и неравенства, которые получаются из (5.13) формальной заменой переменных x1 x, x2 y .

5.4. Собственные энтропии ДИС

Энтропия ДИС-БП. Дискретный источник информации без памяти (ДИИ-БП) генерирует ДИС-БП {xi , i 1, 2, } , у которого все случайные элементы статистически независимы, т.е. для любой n-мерной совокупности X (x1, , xn ) многомерное ДРВ факторизуется в произвед одномерных ДРВ.

p1, ,n	(ak ,	, ak	) pn (ak	)	p1	(ak ),	ak	A .	(5.14)
	1		n	n		1		i

Поэтому для энтропии ДИИ-БП получаем следующее выражение:

H[ X ] n	L	log2 ( pi	(ak	)) pi	(ak	i	) n	H[xi ],	(5.15)
i 1	k 1		i			i	i 1
	i

При дополнительном условии стационарности источник ДИИ-БП генерирует стационарное ДИС с

независимыми элементами (ДИС-СБП), а n-мерная ДВР (5.16)		упрощается и принимает вид
p(ak1 , , akn ) p(ak1 )	p(akn ), где p(aki ) p(aq ), aki aq A, т.е. все с. в. xi одинаково распределены.
Поэтому H[xi ] H[x] и из (5.17), как частный случай получаем
	H[ X ] n H[x] n H[x],	(5.16)
	i 1

Энтропия ДИС-CM. Будем говорить, что дискретный источник информации генерирует стационарное

марковское ДИС {xi , i 1, 2, } , если его любое n-мерное ДРВ p1, ,n	(ak ,	, ak	) факторизуется в
	1		n

произведение одномерных условных и безусловных ДВР которые не зависят от временного индекса i 1, , n и одинаково распределены, т.е. справедливо

p1, ,n (ak ,

, ak ) p (ak | ak

)

p (ak | ak

) p (ak ), ak

(5.17)

n 1

i : p(ak | ak

) p(ak | aq ),

p (ak ) p(aq ), ak A, aq A,

i 1

В этом случае энтропия n-мерного сообщения X (x1 ,

, xn ) упрощается и принимает вид

H[ X ] (n 1) H[x2 | x1 ] H[x1 ],

(а)

H[x2 | x1

] L

p(ak , aq ) logb p(ak

| aq ) ,

(б)

(5.18)

q 1

k 1

H[x1 ] L

p(aq ) logb p(aq )

(в)

q 1

5.4. Экстремальные свойства энтропии

Общий случай. Пусть ДИИ генерирует произвольное n-мерное ДИС X {x1 ,

, xn } с зависимыми или

независимыми элементами xi A ,

тогда его энтропия H[X ]

и любая условная энтропия H[X | Y]

ограничены сверху неравенством

H[ X | Y ] H[ X ] n log2 (L),

Hn,max n log2 (L) .

(5.17)

При этом максимум энтропии

Hn,max

достигается,

когда все случайные величины ДИС xi A

независимы одинаково распределены, а их значения равновероятны, т.е.

i :

pi (ak

) po (ak

) 1 / L, ak

(5.18)

5.5. Удельная энтропия, производительность, насыщенность и избыточность ДИИ

Удельная энтропия. Рассмотрим

ДИС

x (x1,...., xn )

из

зависимых

случайных

элементов

xi A={a1,....,aL} с энтропией Шеннона

H[ X ] . Тогда

удельной

энтропией

называется

величина,

определяющая среднюю информацию Шеннона, приходящуюся на один элемент сообщения, т.е.

Hn[X ] H[x1,	, xn ] n H[x] n	(5.19)
В случае ДИС с бесконечным числом	элементов x (x1, x2 , x3 ,	) , предел H [ X ] lim Hn[x]
		n

называется удельной эргодической энтропией.

Показатели информационной эффективности. Пусть ДИИ генерирует ДИС X {xi } , xi A={a1,....,aL}

, которое по длительности может быть конечным или бесконечным; Т э – длительность формирования

любого элемента ДИС xi в секундах;

Тс

Tэ n –

длительность конечного ДИС; n –

число его

элементов, тогда определяются следующие показатели информационной эффективности:

Производительность источника.

J p

[X ]

Hn [X ]

H[ X ]

, J p [X ]

H [ X ]

(5.20)

Тэ

Информационная насыщенность источника.

Js [ X ]

J p [ X ]

H[ X ]

Js [ X ]

J p

[ X ]

H [ X ]

(5.21)

J p max

Hmax

J p max

Hmax

Избыточность источника.

Jr [ X ] 1 Js

[ X ]

H[ X ]

Jr [ X ] 1 J s [ X ] 1

H [ X ]

(5.22)

Hmax

Задача 5.1. Один из символов x A {a1, , aL } дискретного источника информации (ДИИ) появляется на его выходе с вероятностью p P{x ak } : 1) p 0,1 ); 2) p 0, 27 ; 3) p 0, 05; 4) p 0, 46 . Найти его собственную информацию I(x) в битах.

Задача 5.2. Дискретный двоичный источник без памяти (ДИИ-БП) выдает случайные символы Х {xi }, i 1, 2,3, xi A {0;1} с вероятностями p и q .

1.Найти энтропию каждого символа источника, если а) p 0,1; б) p 0,3 ); в) p 0,5 ; г) p 0,7 ;

в) p 0,9 ; 2)Найти энтропию ДИС-БП из 7 символов этого источника для тех же вероятностей. 3) Найти максимальную энтропию сообщения, состоящего, соответственно, из 5; 14; 23; 50 символов.

Задача 5.3. ДИИ-БП имеет объем алфавита L и формирует ДИС в виде бесконечной последовательности отсчетов. Чему равна максимально возможная энтропия: а) каждого символа такого источника; б) сообщения, составленного из нескольких символов, если число символов в сообщении равно 3; 10; 27.

Задача 5.4. Даны три дискретных источника без памяти. У одного объем алфавита L 2 , символы алфавита равновероятны; у второго L 3, символы источника равновероятны, у третьего L 2 , символы появляются с вероятностями p 0,3 , q ? . Вычислить энтропию всех этих источников

и определить, какой из них обладает большей энтропией.
Задача 5.5. Дискретный	источник	информации		выдает случайные символы
X {x}, x A {0,1, , n} с биномиальным законом распределения
p(k) P ({x k}) Ck pk (1 p)n k		, k A ,	Ck	n!


n	n		n	(n k)!k !

Определить энтропию H X этого источника: а) в общем случае; б) при p=0,5 и n=5; в) p=0,1 и n=4.

Задача 5.6.	Дискретное распределение	вероятностей (ДРВ)	случайного	ДИС
X {x}, x A {a1, a2 , a3 , а4} имеет вид: p(ak ) p(a1)		0.1, p(a2 ) 0.1, p(a3 )	0.1, p(a4 )	0.7
Определить какое число M элементов алфавита B {b1,		, bM } должно быть у ДИС Y {y},Y B с

равномерным ДРВ случайной величины y , чтобы энтропия ДИС Y была наиболее близка к энтропии ДИС X.

Задача 5.7. Для двух случайных ДИС X {x}, x A {a1,a2 ,a3},

Y {y},Y B {b1,b2} известно

совместное взаимное ДВР :

p(ak

p(a1,b1 ) 0.1;

p(a1

,b2 ) 0.25;

p(a2 ,b1 ) 0.2;

,br )

p(a3 ,b1 ) 0.3;

p(a3 ,b2 ) 0.15

p(a2 ,b2 )

Определить: а) собственные энтропии

H[X], H[Y] ; б) совместную взаимную энтропию

H[X, Y] ; в)

условные взаимные энтропии H[X | Y], H[Y | X] ;

в) взаимную энтропию H[X Y] .

Задача 5.8. ДИИ формирует двухмерное случайное ДИС X {x1, x2}, xi A {a1, a2 , a3 , а4} , из

двух

с. в. x (x1, x2 ) ,

алфавитом

A из

4-х символов.

Известны

одномерные безусловные

p1 (ak

) P({x1 ak }), ak

A и условные p1 (ak

| ak ) P({x2 ak

| x1

}), ak

, ak

дискретные

вероятностные распределения (ДВР) этих величин этих с. в., заданные ниже двумя таблицами:

	ak	a1	a2	a3	а4
	1
p1	(ak )	0,5	0,25	0,125	0,125
	1

ak	ak2	a1	a2	a3	а4
1
a1		5/8	3/8	0	0
a2		1/8	1/2	3/8	0

а4

1/2

1/4

Найти собственные энтропии ДИС: 1) H[x1, x2 ],H[x1 | x2 ],H[x2 | x1],H[x1 x2 ] ;

2) Найти производительность, насыщенность и избыточность источника: Jp [x], Js [x], Jr [x] , (Tэ

0.1 с.) .

Задача 5.9. Дискретный стационарный марковский источник формирует последовательность

случайных величин {xi }, xi A {a1, a2 , a3 , а4}, i 1, 2,3,

с алфавитом A из 4-х символов. Известны

одномерные

безусловные

i : p1 (ak ) P({xi aq }) p1 (aq ), aq A

и условные переходные

i : p1 (ak

| ak

) P({xi ar | xi 1

aq }) p1 (ar

| aq ), ar , aq A дискрет.

вероят. распределения (ДВР)

i 1

этого марковского процесса, приведенные ниже в соответствующих таблицах:

а4

p1 (ak )

0,60

0,20

0,15

0,05

ak2

а4

0,80

0,10

0,00

0,20

0,60

0,20

0,00

0,25

0,70

0,05

а4

0,05

0,40

0,50

Вычислить энтропию H[x] из n элементов такого марковского

сообщения x (x1,

, xn ) и

соответствующую избыточность источника Jr [x] при Tэ

0.1 с. . Вычислить эти же показатели H[x] ,

Jr [x] для аналогичного сообщения без памяти c теми же безусловными ДВР и сравнить полученные результаты с предыдущими. Расчеты выполнить для двух вариантов: 1) n 2 ; 2) n 3

Задача 5.10. Решить задачу 5.9. для случая, когда стационарный дискретный марковский источник формирует бинарную последовательность {xi }, xi A {a1, a2}, i 1, 2,3, с алфавитом A из 2-х символов, а соответствующие одномерные безусловные и условные ДВР задаются таблицами

	ak	a1	a2
	1
p1	(ak )	0,3	0,7
	1

ak	ak2	a1	a2
1
a1		0,40	0,6
a2		0,1	0,9

Задача 5.11. Дискретный источник информации без памяти с объемом алфавита L 5 обладает энтропией H(X ) 3.5 . Найти производительность, насыщенность и избыточность данного

источника, если время формирования одного символа источником занимает Tэ										0.1 с.
Задача 5.12. Стационарный дискретный случайный процесс задан распределением.

	xi	-2	-1	0		1	2	3	4		5

	pi	0.05	0.05	0.08		0.1	0.12	0.15	0.2		0.25

Здесь xi - возможные значения процесса,					pi - их вероятности. Найти математическое ожидание и

дисперсию процесса.

Задача 5.13. Определите апостериорные вероятности передачи символов p(xi | y j ) в

двоичном дискретном канале связи, если канал задан матрицей переходных вероятностей

	p( y \| x )		p( y \| x )		0.9
P	1	1	1	2		0.1
p( y2		\| x1 )	p( y2	\| x2 )

	p(x \| y )	p(x \| y		)
	1 1	1	2	.
p(x2 \| y1 )		p(x2 \| y2 )

0.1и p(x1 ) 0.8, p(x2 ) 0.2 . Ответ дать в виде матрицы

6. Информационные характеристики непрерывных сообщений
6.1. Дифференциальные энтропии случайных ДИС
Для случайных непрерывных информационных сообщений (НИС) (t)	, t «алфавит»

возможных значений представляет собой несчетное (континуальное) множество. Поэтому для вероятностного и информационного описания НИС вместо ДВР используются ФПВ, а конечные суммы, используемые при вычислении моментных характеристик и энтропий ДИС заменяются на интегралы. Тем не менее прослеживается явная аналогия в определении многих вероятностных и информационных характеристик. В лекционном курсе сначала приводится общая векторная формулировка понятий информации и энтропии для случайных n-мерных непрерывнозначных

сообщений ξ [ (t1 ),		, (tn )], полученных путем равномерной дискретизации НИС (t) , t								в
моменты времени t [t1,			, tn ] , с интервалом дискретизации Td , [c] . Причем предполагается, что для
n-мерного	сообщения ξ		известна	соответствующая ФПВ	W (x; t)	где	x [х ,	, x ]	n .	В
					n		1	n
дальнейшем все рассматриваемые				задачи будут предполагать стационарность исходного					НИС
(t) , t	, поэтому моменты времени t в записи ФПВ и информационных характеристик в для

упрощения будут опускаться. Кроме того, размерность большинства рассматриваемых сообщений n не будет превышать 2

Информационной функцией НИС называется оператор

Jn ( ) logb Wn ( )	(6.1)
а собственной дифференциальной энтропией H[ξ;] – величину H[ξ;] , которая получается в результате
вероятностного усреднения случайной функции	J(ξ) logb Wn (ξ) . Аналогично определяются

условные и взаимные дифференциальные энтропии, заменой Wn ( ) , на условные Wn ( | ) и взаимные

Wn ( ) ФПВ.

n 1: H[ ] M[J( )] M[logb W1

( )]

W1(x) logb W1(x) dx

Диф. энтропия:

)]

W2 (x1 , x2 ) logb W1 (x2 , x1 ) dx1dx2

n 2 : H[ 1 , 2 ] M[J( 1, 2

Условная диф. энтропия:

n 2 : H[ 1

| 2 ] M[logb W1 ( 2 | 1 )]

W2 (x1 , x2 ) logb W1 (x2 | x1 ) dx1dx2

Взаимная диф. энтропия:

n 2 : H[ 1

2 ]

Wn (x1 , x2 ) logb Wn ( x1 | x2 ) / Wn ( x1 ) dx1dx2 ,

Примеры одномерных НИС и их энтропии

1. НИС с равномерной ФПВ

W1 (x )

1 / Lx ,

xmin x xmax

H[ ] = logb Lx ,

[xmin , xmax ]

L 2

L x

max

min

, D

max

min

2. НИС с гауссовской ФПВ

W (x) = (2 D ) 1/ 2 exp x2

(M[ ] 0, M[ 2 ] D )

/ 2D

H[ ] log

2 eD ,

(6.2)

(6.3)

(6.4)

(6.5)

(6.6)

3. НИС с экспоненциальной ФПВ.

	e х ,	0 x ,	H[ ] = log		(e / ),	(m 1 / ,	D 1 / 2 )	(6.7)
W (x)				b
1	0,	x 0

Экстремальные свойства энтропии

В отличии от ДИС, у непрерывных случайных сообщений диапазон возможных значений неограничен. Поэтому экстремальная постановка задачи достижения максимального значения дифференциальной энтропии обычно рассматривается для двух наиболее важных случаев:

a)	Ограниченная шкала изменения значений случайного НИС (t) x , t в заданном
	диапазоне x [xmin , xmax ] длинной Lx xmax xmin :
	H[ξ] H(a ) n log	L
	max	b x
б)	Неограниченная шкала возможных значений НИС x ( , ) , но при ограничениях на

математическое ожидание и дисперсию: M[ (t)] 0, M[ 2 (t)] D const , t

H[ξ] H(maxб ) n logb 2 eD

где предполагается, что ξ [ (t1 ),

, (tn )] - произвольное n-мерное случайное сообщение с

зависимыми или независимыми элементами, полученными при дискретизации НИС.

Основные тождества для дифференциальных энтропий аналогичны тождествам (5.13) для ДИС:

	H[ 1 2 ] H[ 1] H[ 1 \| 2 ],
	H[ 1, 2 ] H[ 1] H[ 2 \| 1],	(6.5)
	H[ 1 \| 2 ] H[ 1], H[ 1 2 ] 0,	(6.5)
	H[ 1 \| 2 ] H[ 1], H[ 1 2 ] 0,
	H[ 1, 2 ] H[ 1] H[ 2 ] H[ 1 2 ]

Замечание. Дифференциальные энтропии и тождества для двух случайных НИС (t), (t), t

(совместные взаимные, условные взаимные и взаимные) определяются аналогично и могут быть получены из (6.1)-(6.5) формальной заменой переменных x1 x, x2 y .

Основные непрерывные модели сообщений: НИС без памяти, марковские НИС, а также понятия

удельной энтропии и показатели информационной эффективности определяются аналогично тому, как это делалось для дискретных сообщений. Формально эта аналогия проявляется в заменах: дискретных вероятностных распределений (ДРВ) на функции плотности вероятностей (ФПВ); конечных сумм на несобственные интегралы, а также следующих заменах переменных в формулах

для ДИС x1, x2 1, 2 , ak	, ak x1, x2 . Учитывая это приведем ниже формулы для дифференциальных
1	2
энтропий и дифференциальных удельных энтропий n-мерных сообщений ξ [ (t1 ),		, (tn )],
стационарных НИС-СБ и марковских НИС-СМ (t) x , t .

НИС-СБ:

H[ξ] n H[ ],

Hn[ξ]

H[ξ]

H[ ] W1(x) logb W1(x)dx

(6.6)

H[ξ] (n 1) Н[ 2 | 1 ] Н[ 1 ],

Hn[ξ] H[ 2

| ] (1/ n)( H[ ] H[ 2

| ]),

НИС-СМ

(6.7)

где

Н[ 2

| 1 ]

W1 (x2 , x1 ) logb W1 (x2 | x1 ) dx2dx1, Н[ 1

]

W1 (x1) logb

W1(x1) dx1

Показатели информационной эффективности непрерывных источников сообщений (НИИ)

Производительность : J p [ξ] Hn [ξ] / Тd ,

Насыщенность : Js [ξ] Hn [ξ] / Hn max ,

(6.8)

Избыточность : Jr [ξ] 1 Hn [ξ] / Hnmax

------------------------------------------------------------------------------------------------------------------------------------

Задача 6.1. Определите дифференциальную энтропию гауссовского источника информации, если известна дисперсия сообщения x2 2.5 . При расчёте логарифм брать по основанию 2.

Задача 6.2. Вычислите дифференциальную энтропию H[ξ] одномерного непрерывного информационного сообщения (НИС) [ (t1 )] с равномерной ФПВ на отрезке [xmin , xmax ] [ 2, 5] .

Задача 6.3. Вычислите дифференциальную энтропию H[ξ] гауссовского двухмерного непрерывного информационного сообщения (НИС) ξ [ (t1 ), (t2 )] , если известна его ковариационная

матрица Rξ	r11	r1,2	5	2
матрица Rξ	r	r	2	5 .
	2,1	22

Задача 6.4. Вычислите насыщенность и избыточность непрерывного источника информации (НИИ), формирующего гауссовское двухмерное информационное сообщение ξ [ (t1 ), (t2 )], , если

известна его ковариационная матрица Rξ	r11	r1,2	7	4	.
известна его ковариационная матрица Rξ	r	r	4	7	.
	2,1	22

Задача 6.5. Один источник непрерывных сообщений без памяти (НИС-СБП) вырабатывает

стационарную последовательность { (ti	) }, i 1, 2, 3, с равномерным законом распределения
на отрезке [xmin , xmax ] [ 5, 9] . Другой источник НИС-СБП вырабатывает аналогичную
последовательность { (ti ) }, i 1, 2, 3,	, но с гауссовским законом распределения с

дисперсией 2 4 . Найти удельную энтропию каждого источника, насыщенность и избыточность.

Задача 6.6. Источник непрерывных сообщений вырабатывает стационарную
последовательность { (ti ) }, i 1, 2,3,	независимых случайных величин (ti ) , функция плотности
вероятности (ФПВ) которых имеет	следующий вид:	W1 (x) exp( x),	x 0	Найти
дифференциальную энтропию непрерывного сообщения ξ [ (t1 ),		, (tn )], , состоящего из n-элементов
последовательности.
Задача 6.7. Рассматриваются два	источника непрерывных сообщений. Первый			источник

вырабатывает сообщения с нормальным распределением, а второй – с равномерным в диапазоне [-a, a] распределением. Энтропии источников равны. Определить, во сколько раз дисперсия равномерного распределения отличается от дисперсии нормального распределения.

Задача 6.8. Источник непрерывных сообщений вырабатывает стационарную последовательность независимых случайных величин, одномерная ФПВ которых имеет следующий вид: WX (x) exp( x), x 0. Найти величину параметра , при котором дифференциальная энтропия непрерывного сообщения равна 2.

Задача 6.9. Сравнить дифференциальные энтропии двух источников случайных непрерывных сообщений: гауссовского процесса и процесса, равномерно распределенного на интервале [-a, a], если их дисперсии одинаковы. Предполагается, что оба сравниваемых сообщения состоят из одинакового числа независимых случайных величин

Задача 6.10. Рассматриваются два источника непрерывных сообщений. Первый источник вырабатывает сообщения с нормальным распределением, а второй с экспоненциальным распределением с ФПВ W1 (x) exp( x), x 0 . Энтропии источников равны. Определить, во сколько раз дисперсия экспоненциального распределения отличается от дисперсии нормального распределения.

Соседние файлы в папке Практики

#
28.06.20261.38 Mб0Практические_занятия_по_ТИДЗ_13_05_2025_final_stud.pdf
#
28.06.2026881.81 Кб0Практические_занятия_по_ТИДЗ_Темы_3_4.pdf
#
28.06.20261.18 Mб0Практические_занятия_по_ТИДЗ_Темы_5_6.pdf

	p(x \| y )	p(x \| y		)
	1 1	1	2	.
p(x2 \| y1 )		p(x2 \| y2 )

	H[ 1 2 ] H[ 1] H[ 1 \| 2 ],
	H[ 1, 2 ] H[ 1] H[ 2 \| 1],	(6.5)
	H[ 1 \| 2 ] H[ 1], H[ 1 2 ] 0,	(6.5)
	H[ 1 \| 2 ] H[ 1], H[ 1 2 ] 0,
	H[ 1, 2 ] H[ 1] H[ 2 ] H[ 1 2 ]