Добавил:

Yuppie_ModeratorNGMU Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Новосибирский государственный медицинский университет

Предмет:

Медицинская информатика

Файл:

Сборник примеров и задач по Теории информации

.pdf

Скачиваний:

283

Добавлен:

30.03.2015

Размер:

624.7 Кб

Скачать

☆

<<< < Предыдущая 1 23 / 73 4 5 6 7 > Следующая >>>

p ( u )	1	. exp	u	.


	m u		m u

Задача 1.3.10. Определим единицу времени: одна миллисекунда как

ms 10 3. sec. Измерительное устройство вырабатывает временные интервалы, распределенные случайным образом с равной вероятностью в пределах от

T	1		100. ms	до T	2		500. ms. Как изменится энтропия случайной величи-


									1.ms. до 1 mks.
ны при изменении точности измерения								T


		Ответ. Энтропия увеличится на величину H T = 9.966 bit.
		Задача		1.3.11.		Информация		передается с помощью частотно-

модулированных синусоидальных сигналов, рабочая частота которых изменя-

ется с равной вероятностью в пределах от f

10. MHz

до f

50. MHz .

Определить энтропию сигнала, если точность измерения частоты состав-

ляет величину f

2. KHz .

Ответ. Энтропия сигнала

H F

f 2

f 1

;

F = 14.288

bit.

Задача 1.3.12. Определить, при каком соотношении между шагами квантования н и р квантованные энтропии погрешностей X и Y, распределенных по нормальному и равномерному законам распределения, равны.

Ответ.	н р		π .e	.	σ н	. р,

		6
					σ р
					σ р

где σн и σр − среднеквадратические отклонения нормального и равномерного распределений.

Задача 1.3.13. Две независимых случайных погрешности								1	и 2 рас-
пределяются с равной вероятностью на интервале [- m, m], где								m		1.volt .


Найти дифференциальную				энтропию			суммарной	погрешности
Σ= 1+ 2.						1.volt дифференциальная энтропия
Ответ. При шаге квантования ε


Hд Σ	ln 2.	m	.		e ; Hд Σ		= 1.721 bit.
		m

		ε

Задача 1.3.14. Система измерения дальности имеет две независимых составляющих случайной погрешности измерения. Определим единицу длины

один метр как м			1. m. Первая случайная погрешность															1 имеет при пара-


метре h	2. м распределение Симпсона с плотностью вероятности


		p 1		1			4	.	1			if 0	1	h
							4	.						h
							h2							2				.


							4	.					if h
							4			h		1					1	h
										h								h
							h2						2
							h2						2
						0			otherwise
Вторая случайная погрешность										2 равномерно распределена на интервале
[0, h/2] с плотностью вероятности											2				h
				p 2	2						2	if 0	2		h	.
											h			2

0 otherwise

Найти неопределенность результата измерения в среднем на одно измерение.

Ответ. Плотность вероятности суммарной погрешности Σ= 1+ 2

Σ 2

3. h2

. h

9. h2

12.

. h

otherwise

if	h	Σ		h .
	2
if	h	Σ	h		h

				2
				2

Средняя неопределенность результата измерения определяется дифференциальной энтропией суммарной погрешности при шаге квантования

ε1. м

Hд Σ

3. atanh

. 3 ; Hд

Σ = 1.038 bit.

Задача 1.3.15. Измерительное устройство имеет случайную погрешность измерения , распределенную при параметрах λ 2. mV и μ 5. mV по закону Коши с плотностью вероятности

p( )

π (

μ )2

λ2

Найти среднюю неопределенность результата измерения.

Ответ. При.шаге квантования ε 1. mV дифференциальная энтропия

Hд	ln 4.π .	λ	; Hд = 4.651 bit.


		ε

Задача 1.3.16. Найти среднюю неопределенность результата измерения координаты точки (x,y), если случайная погрешность системы для

определения

координат

имеет

при среднеквадратических

отклонениях

6. mm,

3. mm

и коэффициенте корреляции

0.2

нормальное

распределение с плотностью вероятности

2. r. x. y

p( x , y )

. exp

. σ

2. π . σ

. σ

( 1

)

σ x

σ y

Ответ. Средняя неопределенность результата измерения определяется дифференциальной энтропией HдXY погрешности. При шагах квантования

1. mm и y

1. mm дифференциальная энтропия погрешности

Hд

ln 2. π . e.

r2 ;

Hд

= 8.235 bit.

x. y

Примечание. При вычислении энтропии двумерного распределения сле-

дует перейти к нормированным переменным u

, v

и для разделения

σ x

σ y

переменных в двойном интеграле использовать следующее соотношение

2. r

. u. v

( v

r. u )2

Задача 1.3.17. Измерительное устройство имеет случайную погрешность

измерения Δ, распределенную при параметрах λ

0.5 . mV 1 и μ

2. mV по

экспоненциальному закону с плотностью вероятности

p( )

. exp (

λ.

Найти среднюю неопределенность результата измерения.

Ответ. Средняя неопределенность результата измерения определяется дифференциальной энтропией погрешности Hд , которая при.шаге квантова-

ния ε 1. mV будет

Hд	ln	2	. e	; Hд = 3.443 bit.

		λ	. ε

2.ОЦЕНКА КОЛИЧЕСТВА ИНФОРМАЦИИ

2.1.Основные сведения

Вобщем случае количество информации I, получаемое в результате эксперимента, определяется как мера уменьшения неопределенности, а именно

I=H-H0,

(2.1)

где H – неопределенность (энтропия) до проведения эксперимента; H0 –

неопределенность после проведения эксперимента (остаточная).

Для дискретных случайных величин различают 4 вида информации.

1. Полная информация I(X) о величине X при непосредственном ее

наблюдении

I(X)=H(X)=M[-log2P(X)] ≥0.

(2.2)

Это средняя информация, получаемая от всех возможных значений X в рас-

чете на одно значение.

2. Полное количество информации I(Y→X) о величине X, содержащее-

ся в величине Y,

I(Y→X)=H(X)-H(X/Y);

(2.3)

I(Y→X)=I(X→Y)=I(Y↔X)≥0,

где I(Y↔X) − полная взаимная информация, содержащаяся в X и Y,

P(xi , y j)

I(X ↔ Y) = ∑∑P(xi , y j) log2

(2.4)

P(x

)P(y

)

i=1 j=1

3. Частная информация I(yi→X)≥0 о величине X, содержащаяся в зна-

чении yi величины Y,

P(xi , y j)

I(y j → X) = ∑P(xi

/ y j) log2

(2.5)

P(xi )

i=1

или, учитывая равенство P(xi / y j) =

P(xi

, y j)

P(y j )

P(x

, y

)

P(x

, y

)

I(y j → X) = ∑

log2

(2.6)

P(y

)

P(x

)P(y

)

i=1

4. Частная информация I(yj → xi) о значении xi величины X, содержащаяся в значении yj величины Y,

I(y j → xi ) = I(y j ↔ xi ) ,

где I(yj ↔xi) − частная взаимная информация двух значений (может быть как положительной, так и отрицательной величиной),

P(xi , y j)

P(xi / y j)

P(y j / xi )

(2.7)

I(y j ↔ xi ) = log2 P(x

)P(y

) = log2

P(x

) = log2

P(y

) .

Виды информации для непрерывных случайных величин:

•частная взаимная информация двух значений x и y

I(y ↔ x) = log2	p(x, y)	;	(2.8)

	p(x)p(y)

•частная информация о величине X, содержащаяся в значении y величины

∞

I(y → X) = ∫ p(x / y) log2 p(x, y) dx ; (2.9) p(x)p(y)

−∞

• полная взаимная информация, содержащаяся в X и Y,

∞	∞	p(x, y)
I(X ↔ Y) = ∫	∫ p(x, y) log2
			dxdy .	(2.10)
		p(x)p(y)
−∞ −∞

2.2. Типовые примеры

Пример 2.2.1. По двоичному симметричному каналу связи с помехами передаются два сигнала x1 и x2 с априорными вероятностями P(x1)=3/4 и

P(x2)=1/4. Из-за наличия помех вероятность правильного приема каждого из сигналов уменьшается до 7/8. Требуется определить:

1)полную информацию I(X) на выходе источника сигналов;

2)взаимную частную информацию I(y2,x2) двух случайных сигналов на

выходе и входе канала связи относительно друг друга (т.е. количество информации о сигнале x2 источника в сообщении y2 приемника);

3)условную частную информацию I(x2/y2), содержащуюся в сообщении x2 источника при условии приема сообщения y2;

4)среднее количество информации I(y2,X) в принятом сообщении y2 относительно всех передаваемых сообщений X(x1,x2);

5)среднее количество взаимной информации I(Y,X) в сообщениях Y приемника о сообщениях X источника;

Решение. По условию:

а) безусловные вероятности P(xi)=Pxi сообщений x1 и x2:

Px	1		3	; Px	2		1	.


		4				4

б) условные вероятности P(yj/xi)=Py xj , i приема сообщений y1, y2 при условии передачи сообщений x1, x2:

Py x			7	; Py	x			1	; Py	x		1	; Py	x			7	.


	1, 1	8				1, 2	8				2, 1 8				2, 2	8

Вычислим вероятности P(yj)=Pyj , P(xi, yj)=Pxyi,j и P(xi/yj)=Px yi , j при

i 1 .. 2 и j 1 .. 2, необходимые для расчета информационных характеристик:

Pyj

Pxi. Py x

; Py

1 = 0.688

; Py2

= 0.313.

i = 1

j , i

ORIGIN

1 − задание начального значения индексов;

Pxy

Px . Py

; Pxy =

0.656

0.094

i , j

j , i

0.031

0.219

Итак, Pxy 1, 1 = 0.656

; Pxy 2, 1 = 0.031

;

Pxy 1, 2

= 0.094

; Pxy 2, 2 = 0.219 .

. Py

Pxy

Так как Px y

j , i

или

Px y

i , j

Pyj

i , j

Pyj

то имеем следующие условные вероятности

Px y

0.955

0.300

, т.е.

0.045

0.700

Px y

= 0.955 ; Px y

2, 1

= 0.045

; Px y

= 0.3 ;

Px y

= 0.7.

1, 1

1, 2

2, 2

Определим единицы измерения количества информации: а) при натуральном логарифме (нит) − nit ln ( e ); б) при двоичном логарифме (бит) − bit nit. ln ( 2 ).

В случае дискретного источника полное количество информации на его выходе в расчете на одно сообщение, согласно (2.2), совпадает с энтропией источника (1.1) и будет

Px . ln

; I

= 0.562 nit или I

= 0.811 bit.

i = 1

Согласно (2.7), взаимная частная информация I(y2,x2) двух сигналов

Iyx 2, 2

Py x

2, 2

или Ixy 2, 2

Px y

2, 2

;

Py2

Px2

Iyx 2, 2

= 1.485

bit;

Ixy 2, 2 = 1.485

bit.

Условная частная информация I(x2/y2)

Ix y	2, 2	ln Px y	2, 2	; Ix y	= 0.515 bit.


					2, 2

Согласно (2.5), среднее количество информации I(yj,X) в принятом сообщении yj относительно всех передаваемых сообщений X

. ln

Px y

i , j

0.22

;

bit;

Pxi

i , j

0.643

Iy X

= 0.22

bit; Iy

= 0.643

bit.

Согласно (2.4), среднее количество взаимной информации I(Y,X) в сообщениях Y приемника относительно всех передаваемых сообщений X

Pxy i , j

Pxy

. ln

; I

= 0.352 bit.

i , j

. Py

i = 1

j = 1

Рассмотрим второй способ определения I(Y,X). Найдем, согласно (1.5), условную энтропию источника при условии снятия неопределенности приемника

HX	Y	Pxy	. ln	Px	y	; HX	Y	= 0.459 bit.
	Y		i , j		y	i , j	Y
	i	j				i , j
	i	j

Тогда на основании (2.3) с учетом I(X)=H(X) среднее количество взаимной информации I(Y,X) в расчете на одно сообщение

I YX I X HX Y; I YX = 0.352 bit .

Пример 2.2.2. По каналу связи передаются с равной вероятностью N 6 кодовых комбинаций. В 40% всех случаев передачи происходит трансформация сигналов, причем любая комбинация может перейти в другую с

равной вероятностью. Определить количество информации в расчете на одну переданную комбинацию.

Решение. Предварительно определим единицы измерения количества

информации:
а) при натуральном логарифме (нит) − nit		ln ( e );


б) при двоичном логарифме (бит) − bit	nit. ln ( 2 ).

На входе канала имеется шесть (i 1 .. 6) комбинаций − x1, x2, x3, x4, x5, x6. На выходе канала при правильной передаче им однозначно соответствуют также шесть (j 1 .. 6) комбинаций − y1↔x1, y2↔x2, y3↔x3, y4↔x4, y5↔x5, y6↔x6 . Передаваемая комбинация xi может под влиянием помех трансформироваться (перейти) в любую из комбинаций yj с вероятностью p 0 0.4 и принята правильно с вероятностью p п 1 p 0. Вероятность ошибки, например, комбинации x1

Pош(x1)= P(y2/x1)+P(y3/x1)+P(y4/x1)+P(y5/x1)+P(y6/x1)=p0=0.4,

где P(yj/xi), i j − условная вероятность приема комбинации yj при условии передачи комбинации xi. Так как комбинация может перейти в любую другую с равной вероятностью, то

P(yj/xi)=p0 / (N-1)=0.08 , i j				и	P(yi/xi)=pп=0.6 при j=i .
Следовательно, данный канал передачи информации характеризуется ка-
нальной матрицей условных вероятностей P(yj/xi)=Py xj , i
ORIGIN	1	0.6	0.08	0.08	0.08	0.08	0.08





		0.08	0.6	0.08	0.08	0.08	0.08
	Py x	0.08	0.08	0.6	0.08	0.08	0.08	.
		0.08	0.08	0.08	0.6	0.08	0.08



		0.08	0.08	0.08	0.08	0.6	0.08
		0.08	0.08	0.08	0.08	0.08	0.6

Количество информации в среднем на одну переданную комбинацию

I(X,Y)=H(Y)-H(Y/X),

где H(Y) − энтропия принимаемой комбинации; H(Y/X) − условная энтропия, т.е. энтропия принимаемой комбинации при условии, что известна передаваемая комбинация.

Так как комбинации передаются и принимаются с равной вероятностью, то вероятность передачи i-й и приема j-й комбинации

Pxi	1	; Px	1 = 0.167 ; Pyj	1	; Py	1 = 0.167 .


	N			N

Согласно (1.1), энтропия принимаемой комбинации

Py . ln

; H

= 2.585 bit.

j = 1

Согласно (1.7) с учетом P(xi,yj)=P(xi)P(yj/xi) условная энтропия принимаемой комбинации при известной передаваемой

. Py

. ln

; HY

= 1.9 bit.

i , j

Таким образом, количество информации на одну переданную комбина-

цию

I XY

H Y

HY X ;

I XY = 0.685

bit.

Пример 2.2.3. Радиостанция противника может работать на волне λ1 (событие A1) или на волне λ2 (событие A2), причем в импульсном режиме (событие B1) или непрерывном режиме (событие B2). Вероятности совместных событий имеют следующие значения:

P AB		0.7 ; P AB	0.15 ; P AB	2, 1	0.05 ; P AB	2, 2	0.1 .


1, 1	1, 2

Вычислить количество информации, получаемой относительно режима работы станции, если станет известной длина волны станции.

Решение. Предварительно определим единицы измерения количества информации:

а) при натуральном логарифме (нит) − nit ln ( e ); б) при двоичном логарифме (бит) − bit nit. ln ( 2 ).

Вычислим

безусловные вероятности P(Ai)

P(Bj) при i

1 .. 2,

1 .. 2 и ORIGIN

;

P Ai

P ABi , 1

P ABi , 2

P A1

= 0.85

P A2

= 0.15.

P B

P AB

;

P B

= 0.75

;

P B

= 0.25 .

1, j

2, j

Вычислим условные вероятности P(B/A):

	P AB				0.824	0.333
PB A	i , j	;	PB A =			;


j , i	P A				0.176	0.667
	i
Элементы матрицы: PB A	= 0.824		;	PB A	= 0.176 ;
1, 1				2, 1
PB A	= 0.333		;	PB A	= 0.667 .
1, 2				2, 2

Согласно (2.3), количество информации о режиме работы станции, которое содержится в сообщении о длине ее волны,

I(A,B)=H(B)-H(B/A).

На основании (2.4) можно записать

PB A

I AB

P AB . ln

j , i

;

I AB = 0.102 bit.

P B

i = 1

j = 1

i , j

Пример 2.2.4. На вход регистрирующего устройства поступает случайный сигнал Y(t)= X(t)+ξ(t), где полезный сигнал X(t) и помеха ξ(t) − независимые случайные процессы с нулевым средним значением и среднеквадратичными отклонениями σ x 0.5 . volt и σ ξ 0.1 . volt.

Требуется определить:

а) количество информации I(y,x), которое содержится в зарегистрированной реализации y(t) сигнала Y(t) о реализации x(t) полезного сигнала X(t);

б) полную среднюю взаимную информацию I(Y,X), получаемую при регистрации процесса Y(t) о полезном процессе X(t).

Решение. Предварительно определим единицы измерения количества информации:

•при натуральном логарифме (нит) − nit ln ( e );

•при двоичном логарифме (бит) − bit nit. ln ( 2 ). По условию задачи:

1) плотность вероятности нормального полезного сигнала

p		( x )	1			. exp	x2
	1							;


				σ x. 2	. π		2. σ x2
				σ x. 2	. π		2. σ x2

2) плотность вероятности нормальной помехи

p		( ξ )		1	. exp	ξ2
	2						.


			σ ξ	. 2. π		2. σ ξ2
			σ ξ	. 2. π		2. σ ξ2

Сумма Y(t) двух нормальных процессов X(t) и ξ(t) является также нормальным процессом. Так как X(t) и ξ(t) − независимы, то дисперсия суммарно-

<<< < Предыдущая 1 23 / 73 4 5 6 7 > Следующая >>>

Соседние файлы в предмете Медицинская информатика

#
07.05.2019868.35 Кб6задачник.doc
#
13.03.201610.92 Mб52Информационные технологии.docx
#
30.03.20155.46 Mб17Мед. информатика. Кобринский.pdf
#
30.03.20151.05 Mб18Методическое пособие Основные понятия и методы теории информатики и кодирования.pdf
#
15.08.2019102.4 Кб5Работа с Windows.doc
#
30.03.2015624.7 Кб283Сборник примеров и задач по Теории информации.pdf
#
30.03.2015458.9 Кб11СИСТЕМЫ СЧИСЛЕНИЯ В ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКЕ, Борисенко А.А..pdf
#
30.03.2015489.58 Кб13Системы счисления2..pdf