Добавил:

rus2an Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Балаковский инженерно-технологический институт (илиал НИЯУ МИФИ)

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

2к4с Технологии обработки информации / ТОИ. КР для заочников

.pdf

Скачиваний:

Добавлен:

27.11.2024

Размер:

761.52 Кб

Скачать

☆

<<< < Предыдущая 1 23 / 33

3. УСЛОВНАЯ ЭНТРОПИЯ И ВЗАИМНАЯ ИНФОРМАЦИЯ

3.1. Дисктретные системы передачи информации.

Условной энтропией величины при наблюдении величины называ-

ется H( ) H( /

)

H(Y / X )

p(xi y j ) log

p(y j

i 1 j 1

/ xi )

Справедливы соотношения:

N M

H (

, )

H ( )

H (

), H( ,

)

p(xi y j

) log2

i 1 j 1

p(y j xi

)

Взаимной информацией величин

называется I (

)

) H ( ).

Справедливы следующие соотношения:

p(xi y j )

I (

, )

p(xi y j ) log2

I ( , )

I (

, )

H (

)

H (

i 1 j 1

p(xi )p(y j )

I ( , )

H( )

H( , ), H( , )

H( )

I ( , ),

0 I ( , ) H( ), 0 I ( , ) H( ).

Если

независимы, то I ( , ) =0.

При расчетах условной энтропии и взаимной информации удобно поль-

зоваться следующими соотношениями теории вероятностей:

1) теорема умножения вероятностей p(xi y j

)

p(xi ) p(y j

/ xi )

p(y j ) p(xi / y j ) ;

2) формула полной вероятности p(xi )

p(xi , y j

);

p(y j

)

p(xi , y j );

j 1

3) формула Байеса p(xi / y j

)

p(xi )p(y j / xi )

p(y j )

p(xi )p(y j / xi )

Рассмотрим пример.

Пример 1. Дана матрица

	1	1	1

	8	8	8
P( X , Y )	1	0	1	,	X ,	Y .
P( X , Y )	8	0	8	,	X ,	Y .
	8		8
	1	1	1

	8	8	8
Определить: H( ), H( ), H (	),	H (		),	H( , ),	I ( , ).

																																																	3									3
Решение. По формуле полной вероятности имеем: P(x																																																)				p(x			, y		)	3	,
Решение. По формуле полной вероятности имеем: P(x																																																)				p(x			, y	j	)		,
																																														1						1				j		8
																																																		j		1						8
		1								3										3												3										1											3
P(x2 )		1		, P(x3 )						3		,	P(y1 )									p(xi , y1 )										3	,			P(y2 )						1			, P(y3 )								3	.
P(x2 )	4			, P(x3 )					8			,	P(y1 )									p(xi , y1 )										8	,			P(y2 )					4				, P(y3 )									.
	4								8										i		1											8									4											8
Следовательно,
				3									1																			3													1
H( )				p( xi ) log 2									1					1,57;							H(		)							p( yi ) log2											1				1,57.

																																												p( yi )
			i 1										p( xi )																		i 1													p( yi )
По теореме умножения
p(x			/ y )			p(x					y ) / p(y )										1	, p(x								/ y		)				1	, p(x							/ y			)			1	,
	1			1					1			1					1				3						1				2					2					1					3			3
																					3															2													3
				p(x				/ y )							1		, p(x				/ y					)	0, p(x									/ y		)		1			,
				p(x			2	/ y )									, p(x			2	/ y			2		)	0, p(x							2		/ y		)					,
							2				1		3							2				2										2		3			3
													3																										3
				p(x				/ y )						1		, p(x					/ y				)		1		, p(x							/ y		)			1			.
				p(x		3		/ y )								, p(x			3		/ y		2		)				, p(x						3	/ y		)						.
						3			1				3						3				2				2								3	3					2
													3														2														2
Следовательно,
													3				3														1
					H (				)									p(xi y j ) log2													1							1,43.

																												p(xi / y j )
													I 1 J 1															p(xi / y j )
Аналогично
H ( )	1,43;				H(			,			)		H(				) H (						) 3; I (									,			)		H(		)						H (				)			0,14.

3.2. Непрерывные системы передачи информации.

Пусть x(t) - реализации непрерывного сообщения на входе какого-либо блока схемы связи, y(t) - реализация выходного сообщения (сигнала), p1 (x) -

одномерная плотность вероятности ансамбля входных сообщений, p1 (y) - од-

номерная плотность вероятности ансамбля выходных сообщений, p2 (x, y) -

совместная плотность вероятности, p1 (y / x) - условная плотность вероятности y

при известном x. Тогда для количества информации I справедливы следую-

щие соотношения:

	I (x, y) log	p2 (x, y)	log	p1 (x / y)		log		p1 (y / x)	I (y, x),
		p1 (x) p1 (y)						p1 (y)
					p1 (x)
	I (X , y)	I (x, y)p1 (x / y)dx, I (x, Y )					I (x, y)p1 (y / x)dy,
	X					Y
	I (X , Y )	p1 (y)I (X , y)dy			p2 (x, y)I (x, y)dxdy				I (Y, X ) ,
	Y		X Y
		I (X , y) 0, I (x, Y) 0, I (X , Y) 0.
Здесь I (x, y)	- взаимная информация между каким-либо значением x входного
и значением y выходного сообщений,					I (X , y),	I (x, Y ) - средние значения услов-
ной информации, I (X , Y) - полная средняя взаимная информация.
Условная энтропия определяется по формуле:
H(X / Y )	p2 (x, y) log p1 (x / y)dxdy,				H(Y / X )			p2 (x, y) log p1 (y / x)dxdy
Когда X и Y статистически связаны между собой, то
	H(X , Y) H(X )		H(Y / X ) H(Y)					H(X / Y).

При независимых X и Y

H(X , Y) H(X ) H(Y).

Полная средняя взаимная информация определяется формулой:

	I (X , Y)	H(X ) H(X / Y) H(Y) H(Y / X ).
Рассмотрим пример.
Пример	1. На вход	приемного	устройства воздействует колебание
t(t) x(t) n(t),	где сигнал x(t) и помеха		n(t) - независимые гауссовские слу-

чайные процессы с нулевыми математическими ожиданиями и дисперсиями,

равными соответственно x и	n .
2	2

Определить: 1) количество взаимной информации I (x, y), которое содер-

жится в каком-либо значении принятого колебания y(t), о значении сигнала x(t); 2) полную среднюю взаимную информацию I (X ,Y).

Решение.

По условию задачи y(t)

представляет собой сумму независи-

мых колебаний

x(t)

и n(t),

которые имеют нормальные плотности вероятно-

сти. Поэтому

, p(x)

exp

x 2

p(y)

exp

y 2

p(y / x)

p(y

exp

x)2

exp

p(n).

n 2

1. Количество информации определяется по формуле:

I (x; y) log	p(y / x)	1		ln	p(y / x)	1		ln
	p(y)		ln 2		p(y)		ln 2

2	2
x	n
	n

1		n2			y 2		.
ln 2	2		2	2(	2	2 )	.
			n		x	n

2. Полная средняя взаимная информация:

				2	2
I (X , Y )	p(x, y)I (x; y)dxdy	I (x; y)	log	x	n

					n
	X Y				n

1	y 2			n2
1

ln 2 2(	2	2 )	2		2
	x	n			n

	2	2
log	x	n
log		n
		n

1		2	2		2
1		x	n		n	,
ln 2	2(	2	2 )	2	2	,
		x	n		n

где - знак усреднения по множеству.

Таким образом,

I ( X , Y )

log

log(1

) дв. ед.

3.3. Задачи

3.3.1. Сигнал S подается на вход канала с вероятностью p

и от-

сутствует с вероятностью

p).

Поступивший сигнал воспроизводится на

выходе с вероятностью P(S / S)

0,8 и теряется с вероятностью

P(S

/ S)

0,3.

Найти энтропию выхода, энтропию входа, взаимную информацию входа и вы-

хода I(S, S ) ;

3.3.2. Используя исходные данные задачи 1.3.6., определить энтропию входа H(Y), условную энтропию H(Y / X ) и H( X / Y), взаимную информацию

I( X ,Y).

3.3.3. Для двоичного симметричного канала со стиранием заданы:

P(Y	0 / X	0)	P(Y	1 / X	1)	1	P0	Pc - вероятность правильной пере-
дачи каждого символа;
P( X	1)	P - вероятность передачи единицы на входе;
P(Y	1 / x	0)	P(Y	0 / X	1)	Pc	- вероятность стирания каждого симво-
ла.
Используя исходные данные P							0,6	0,005N; Pc 0,5 0,05N , определить
H( X), H( X / Y).

3.4. Контрольные вопросы

3.4.1.Дать определение условной энтропии.

3.4.2.Сформулировать закон аддитивности энтропии в общем случае.

3.4.3.Что является единицей измерения энтропии?

3.4.4.Какие формулы используются для расчета условной энтропии?

3.4.5.Какие формулы используются для расчета взаимной информации?

3.4.6.Как определяется полная средняя взаимная информация?

3.4.7.Как определяется условная энтропия в непрерывной системе пере-

дачи информации?

ВАРИАНТЫ ЗАДАНИЙ НА КОНТРОЛЬНУЮ РАБОТУ

Дисциплина: Технология обработки информации

Преподаватель: асс. каф. ИСТ Гягяева А.Г.

Номер варианта взять из журнала Задание1 (теория). Письменно ответить на контрольные вопросы из заданно-

го раздела.

№ варинта	Задание 1	Задание 2	Задание 3	Задание 4
	(теория)	(задача)	(задача)	(задача)
1	1	1.3.1.	2.3.1.	3.3.1.
2	2	1.3.2.	2.3.2.	3.3.2.
3	3	1.3.3.	2.3.3.	3.3.3.
4	1	1.3.4.	2.3.1.	3.3.1.
5	2	1.3.5.	2.3.2.	3.3.2.
6	3	1.3.6.	2.3.3.	3.3.3.
7	1	1.3.7.	2.3.1.	3.3.1.
8	2	1.3.8.	2.3.2.	3.3.2.
9	3	1.3.9.	2.3.3.	3.3.3.
10	1	1.3.1.	2.3.1.	3.3.1.
11	2	1.3.2.	2.3.2.	3.3.2.
12	3	1.3.3.	2.3.3.	3.3.3.
13	1	1.3.4.	2.3.1.	3.3.1.
14	2	1.3.5.	2.3.2.	3.3.2.
15	3	1.3.6.	2.3.3.	3.3.3.

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1.Бауэр Ф., Тод Р. Информатика. - М.: Мир, 1990.

2.Гаценко Б.В. Теория вероятностей. - М.: Наука, 1988.

3.Горяинов В.Т., Журавлев Л.Т., Тихонов В.И. Статистическая радио-

техника: Примеры и задачи. - М.: Сов.радио, 1980.

4.Темников Ф.Е., Афонин В.А., Дмитриев В.И. Теоретические основы информационной техники. - М.: Энергия, 1971.

5.Юсупова Н.И., Гузаиров М.Б., Гончар Л.Е., Сметанина О.Н., Хис а-

мутдинов Р.А. Защита информации в вычислительных системах:

Учебное пособие / Уфа: УГАТУ, 2000.

6.Гмурман В.Е. Теория вероятностей и математическая статистика.

Учебное пособие для вузов. – М.: Высшая школа, 2001.

7.Гмурман В.Е. Руководство к решению задач по теории вероятностей и математической статистике: Учебное пособие для вузов. – М.:

Высшая школа, 2001.

						ПРИЛОЖЕНИЕ 1
		ЗНАЧЕНИЕ ФУНКЦИИ			Plog2 P
							Таблица

P	Plog2 P	P	Plog2 P	P	Plog2 P	P	Plog2 P

0.00	0.0000	0.26	0.5053	0.52	0.4906	0.78	0.2796
0.01	0.0664	0.27	0.5100	0.53	0.4854	0.79	0.2678
0.02	0.1129	0.28	0.5142	0.54	0.4800	0.80	0.2575
0.03	0.1517	0.29	0.5179	0.55	0.4744	0.81	0.2462
0.04	0.1857	0.30	0.5211	0.56	0.4684	0.82	0.2348
0.05	0.2161	0.31	0.5238	0.57	0.4623	0.83	0.2231
0.06	0.2435	0.32	0.5260	0.58	0.4558	0.84	0.2113
0.07	0.2686	0.33	0.5278	0.59	0.4491	0.85	0.1993
0.08	0.2915	0.34	0.5292	0.60	0.4422	0.86	0.1871
0.09	0.3127	0.35	0.5301	0.61	0.4350	0.87	0.1748
0.10	0.3322	0.36	0.5306	0.62	0.4276	0.88	0.1623
0.11	0.3503	0.37	0.5307	0.63	0.4199	0.89	0.1496
0.12	0.3671	0.38	0.5304	0.64	0.4121	0.90	0.1368
0.13	0.3826	0.39	0.5298	0.65	0.4040	0.91	0.1238
0.14	0.3971	0.40	0.5288	0.66	0.3957	0.92	0.1107
0.15	0.4105	0.41	0.5274	0.67	0.3871	0.93	0.0978
0.16	0.4230	0.42	0.5856	0.68	0.3784	0.94	0.0839
0.17	0.4346	0.43	0.5236	0.69	0.3694	0.95	0.0703
0.18	0.4453	0.44	0.5211	0.70	0.3602	0.06	0.0565
0.19	0.4552	0.45	0.5181	0.71	0.3508	0.97	0.0426
0.20	0.4644	0.46	0.5153	0.72	0.3412	0.98	0.0286
0.21	0.4728	0.47	0.5120	0.73	0.3314	0.99	0.0140
0.22	0.4806	0.48	0.5083	0.74	0.3215	1.00	0.0000
0.23	0.4877	0.49	0.5043	0.75	0.3113
0.24	0.4941	0.50	0.5000	0.76	0.3009
0.25	0.500	0.51	0.4954	0.77	0.2903

ПРИЛОЖЕНИЕ 2

Указания к решению задач

1. Указания по теме 1:

к задаче 1:

P(Y2 0 / Y1	1) P(Y2 0, Y1	1)	P( X 3 ) / P(Y1 1)
P( X 2 / Y1 0)	P( X 2 ) / P(Y1	0).

2. Указания по теме 1:

к задаче 2:

P(S / S )	P(S / S )	P(S )P(S / S )	.

	P(S )
		P(S )P(S / S ) P(S )P(S / S )
		P(S )P(S / S ) P(S )P(S / S )

<<< < Предыдущая 1 23 / 33

Соседние файлы в папке 2к4с Технологии обработки информации

#
27.11.202416.84 Кб3практика тои.docx
#
27.11.2024283.72 Кб3Рабочая программа.pdf
#
27.11.2024137.63 Кб3Тест.pdf
#
27.11.2024283.72 Кб3Технологии обработки ифнормации РП.pdf
#
27.11.20241.15 Mб4ТОИ. КР для заочников.DOC
#
27.11.2024761.52 Кб3ТОИ. КР для заочников.pdf