Добавил:

Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Казанский федеральный университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

TEOR_inform_19-12-10_2014_01_06_12_12_03_442

.pdf

Скачиваний:

Добавлен:

10.02.2015

Размер:

1.39 Mб

Скачать

☆

<<< < Предыдущая 1 2 34 / 84 5 6 7 8 > Следующая >>>

Рассмотрим ансамбль Y { y1 , y2 } {1, 0}. По формуле полной вероятности

9
получим p 1 p ( xi ) p (1/ xi ) = 0.5303,	p 0 1 p (1) = 0.4697.
i 1

Количество информации, содержащееся в каждом символе ансамбля Y равно соответственно

	( y1) 0.915119 áèò ,						( y2 ) 1.09019		áèò .
Энтропия ансамбля Y равна						áèò / ñèì â. .
		H Y		0.997349		áèò / ñèì â. .
		Соответственно коэффициент сжатия и коэффициент избыточности
будут равны
		Y 0.997349,					rY 0.00265
	Таблица 3.4

	1		2		3			4	5	6

			Вер.							Условн.
			Вер.		не	префикс-		префиксный	ni	вер.
	X				не	префикс-		префиксный
			p ( xi )
					ный код			код		p 1/ xi
					ный код			код

	x		0.2		11			11	2	1
	1
	x		0.2		01			10	1	1/2
	2
	x		0.19		100			001	1	1/3
	3
	x		0.15		110			011	2	2/3
	4
	x		0.10		010			010	1	1/3
	5
	x		0.08		1000			0001	1	1/4
	6
	x		0.06		10000			00001	1	1/5
	7
	x		0.01		100000			000001	1	1/6
	8
	x		0.01		000000			000000	0	0
	9

На рисунке 3.5 приведено кодовое дерево, полученное при кодировании по методу Хафмена ансамбля X.

1
2			10	11
			10
3	001	010		011
	001	010		011
4	0001
	0001
5	00001
6
000000	000001

Рис. 3.5 Кодовое дерево кода Фано

Сравнивая коэффициенты сжатия и коэффициенты избыточности ансамблей X и Y видно при кодировании по методу Хафмана, произошло увеличение коэффициента сжатия и уменьшение избыточности ансамбля Y по сравнению с равномерным кодом.

Средняя длина кода при кодировании по методу Хафмана уменьшилась также и равна

	=1.34	ñèì â
n			.
n		ñî î áù	.
		ñî î áù

Как видно из рисунка 3.5, ни одна кодовая комбинация не является началом другой кодовой комбинации, т.е. код является префиксным. Свойство префиксности кода позволяет однозначно декодировать последовательность кодовых комбинаций, что видно из таблицы 3.4 и рисунка 3.5.

Следует отметить, метод кодирования Хафмана позволяет получить показатели p 1 , H Y , Y , rY более высокие, чем при кодировании по методу Шеннона. Это

объясняется тем, что в методе кодирования по Шеннону допускается некоторый произвол при делении множества событий на группы.

3.4 Теорема оптимального кодирования источника

независимых сообщений.

При заданном ансамбле X из N независимых сообщений с энтропией H X возможно так закодировать сообщения ансамбля посредством

последовательности символов, что среднее число символов на сообщение удовлетворяет неравенству

H X

(3.1)

log D

где log D - основание кода. Среднее число символов на сообщение n

не может быть сделано меньше, чем H X

log D .

áèò

Величина log D

- количество информации, приходящееся на один сим-

ñèì â

вол при кодировании кодом с основанием D. (При кодировании двоичным кодом

log D =1)

Доказательство. Рассмотрим левую часть неравенства, составим разность

H X

и используем неравенство log z

z 1 log e , где знак равенства реа-

log D

лизуется при z = 1.

H X

H X n log D

log D

ði log ði

ði

ni log D

log D

i 1

log e

ð log

i 1

n i

i 1

ði D

log D

ði D

log D

log e

i 1

D n i ði

i 1 D

i 1

(3.2)

log D

Рассмотрим разность N

D ni 1 .

Пусть

- количество символов,

упот-

i 1

ребляемых для кодирования xi -го сообщения,

- наибольшее количество симво-

лов, употребляемых для кодирования сообщения в ансамбле X. Число кодов, со-

держащих n* символов, которое можно было бы создать, исходя из узла, состоящего из ni символов, равно D n* ni . (Для иллюстрации этого предложения на рисунке 3.4 выделено сообщение x3 , имеющий код 100, т. е. n3 3 . Наибольшее число символов n* 5 на пятом уровне. На рисунке показаны ветви, исходящие из ко-

да 100 на третьем уровне и останавливающиеся на пятом уровне. Число неиспользуемых кодов равно 25 3 4 .)

Сумма всех неиспользуемых кодов не превышает числа кодов, образованных

n* разрядными кодами, т.е N

D n* ni

D n* или

i 1

D n i

(3.3)

i 1

Неравенство (3.3) называется неравенством Крафта. Используя неравенство

Крафта, из (3.1) получим

H X

n .

(3.4)

log D

Знак равенства в (3.2) достигается тогда, когда

1 .

(3.5)

ð D

Из выражения (3.5) получим

log ði .

(3.6)

D ni

log D

Как видно из (3.6),

чем меньше вероятность реализации события

xi , тем

больше требуется символов для кодирования этого сообщения. Число символов ni

- величина целая, но на практике при произвольной вероятности pi получим дроб-

ную величину. Поэтому величину n	0i	log ði	округляют до ближайшего целого
	0i	log D
		log D
числа
ni n0i i		,	(3.7)

где 0 i 1.

Умножим левую и правую части равенства (6) на pi и просуммируем полученное выражение

N	pi ni	N			pi n0i N			pi i .	(3.8)
i=1				i=1			i=1
Положим, * sup , ,		N	.Тогда после соответствующих подстановок получим
1		N
правую часть неравенства (3.1)
						H X	1 .
				n		H X			(3.9)
				n					(3.9)
						log D

Как видно из неравенства (1) среде число символов, применяемое при кодировании, зависит от метода кодирования и распределения вероятностей реализации сообщений. Теорема не отвечает на вопрос, как оптимально кодировать сообщения, она показывает границы среднего числа символов.

n log D H X - шум кодирования ???

Нет

понятия

скорости

кодирования

источника

сообщений,

Log M

áèò

ñî î á

áèò

ñî î á

Log M

V Log M

ñåê

ñèì â

T n

ñåê

ñî î á

ñåê

ñèì â

ñî î á

нет понятия ошибки кодирования и декодирования, нет понятия скорости создания информации Все это есть у Колесника (≈ Стр 36)

4 Канал связи

Под каналом связи понимается среда, в которой перемещается сигнал. В зависимости от типа сигнала каналы разделяются на непрерывные и дискретные.

Предполагается, что сигнал, передаваемый по каналу связи, дискретный как по времени, так и по своим состояниям, и сообщения, генерируемые источником, сжаты одним из методов кодирования, (хотя это не обязательно). Модель передачи информации изображена на рисунке 1.1.

Дискретный

канал

связи

t1 , , tn

описывается

ансамблем

Канал

входных

символов

Y y1 , , yD с распреде-

шум

лением

вероятностей

p yi , ансамблем

Рис. 4.1. Модель канала передачи информации

выход-

ных

символов

Z z1 , ,zD и условны-

ми вероятностями p z j yi = p ji

перехода одного символа в другой. Условные

вероятности составляют матрицу переходов

(4.1)

pD1

pDD

Символы i

ti , поступающие в канал связи в моменты времени ti

выбра-

ны из ансамбля Y, т.е. ti Y . Обычно в канале связи действуют шумы, искажающие физические свойства сигналов, несущих информацию. В результате на

выходе канала получают последовательность символов t1 , , tn таких, что

i ti Z . По своим свойствам канала связи классифицируется как 1) неоднородный канал с памятью - условная вероятность

p tk tk , , t0 получить символ tk в момент времени tk зависит от

некоторого множества символов поступивших на вход канала до момента времени tk . Неоднородность проявляется в том, что сохраняется зависимость условной вероятности от времени.

2) Неоднородный канал без памяти - условная вероятность p tk tk не

зависит от всех предыдущих символов на входе канала, но зависимость от времени остается

3) Однородный канал без памяти (стационарный канал) - условная вероятность

p tk tk не	зависит от		времени.	В этом случае можно запи-
сать p tk tk	= p z j	yi .
В дальнейшем рассматривается стационарный канал.
Канал называется симметричным, если
	p z j	p,		åñëè	j i,
	p z j	yi	D 1 p,	åñëè	j i.
		1	D 1 p,	åñëè	j i.

На рисунке 4.2 представлена модель симметричного канала с основанием кода D = 3. На рисунке 4.3 изображена модель канала со стиранием.

На практике при больших шумах часто нельзя отдать предпочтение тому или ино-

q 1	p	y1	z1
q 1	2

y1				z
				1	z2
					z2
					y2
y2				z2	z3
					z3
					y3
y3				z
y3				z
		q 1	p	3	z0
			p

		2
					Рис.4. 3 Модель канала со
	Рис.4. 2 Модель симметрич-				Рис.4. 3 Модель канала со
	ного канала связи				стиранием

му состоянию ансамбля Z. В этом слу-

чае в ансамбль Z вносится новое состояние

z0 . При переходе любого yi в состояние z0 должны быть предусмотрены какие-то

действия, исключающие эту ошибку: стереть полученный символ, продублировать информацию и т. д. В этом случае имеем канал со стиранием.

4.1 Скорость передачи информации и

пропускная способность канала связи

Ввиду того, что канал связи считается стационарным, на вход канала поступает последовательность символов n 1 , , n , где каждый символ i Y , образует n-разрядный код. Количество комбинаций, которое можно образовать с использованием кода с основанием D, равно Dn . Множество этих комбинаций образует пространство значений кодовых комбинаций Y n Y1 Y2 Yn . Символы при ансамбле Y обозначают моменты времени реализации величины . Например, для двумерного ансамбля c основанием кода, равным D=3, имеем

	y1 y1	y1 y2
Y 2 Y Y y y y			2	y	2
1 2	2 1
		y3 y2
	y3 y1

y1 y3 y2 y3 . y3 y3

На выходе канала имеем последовательность символов n 1 , , n , где каждый символ i Z . Точно так же можно образовать множество кодовых ком-

бинаций, составляющих пространство		Z n Z		1	Z	2	Z	n	.
				1		2		n
Последовательность символов n поступает в канал в течение TÍ										ñåê .
Количество информации, которое передается по каналу связи, за время на-
блюдения TÍ согласно (1.18) равно
J Y n ; Z n H Z n H Z n / Y n =H Y n H Y n / Z n .										(4.2)
Скоростью передачи информации по каналу связи называется величина
Rêàí lim	J Y n ; Z n áèò
					.					(4.3)
	TÍ				.					(4.3)
TÍ	TÍ		ñåê

Скорость передачи информации R отражает среднюю скорость передачи информации в единицу времени.

Максимальная скорость передачи информации Rêàí называется пропускной способностью канала связи

C max		J Y n ; Z n	áèò
	lim			.	(4.4)

p Y	TÍ	TÍ	ñåê

Рассмотрим в выражении (1.18) разность H Y H Y / Z . Чем больше энтропия H Y , тем больше пропускная способность канала связи. Величина

H Y определяет среднюю неопределѐнность, содержащуюся в ансамбле Y, кото-

рая зависит от распределения вероятности элементов ансамбля Y. Поэтому максимизация скорости передачи информации происходит по распределению вероятности элементов ансамбля Y.

Упростим выражение (4.2).

H Z n H Z 1 Z 2 Z n H Z 1 H Z 2 Z 1 H Z n Z n 1 Z 1 . В

силу того, что канал - стационарный и реализации элементов ансамблей Zk и Zm в моменты времени tk и tm независимы. Тогда

H Z n H Z 1 H Z 2 H Z n n	H Z i .
i 1
Но ансамбли Z 1 ,Z 2 , ,Z n за время передачи информации неизменны, т.е.
Z 1 Z 2 Z n Z . Тогда имеем
H Z n n H Z	(4.5)

Условная энтропия в (4.2) представляется как

HZ n / Y n = H Z1 Z 2 Z n Y1 Y2 Yn =

=p 1 , 1 , , n , n log p 1 , , n 1 , , n .

Y1 Z1

Yn Zn

Воспользуемся условием независимости символов попарно на входе и выходе канала связи, а также стационарностью канала. Тогда соответствующие вероятности и условная энтропия будут равны

p 1 1 , , n n = p 1 1 p n n ,

p 1 , , n 1 , , n = p 1 1 p n n ,

H Z n / Y n = n				p i i log p i				i =
		i 1		Yi Zi
				Yi Zi
= n	H Zi Yi = n H Z Y .									(4.6)
i 1
Если отсчѐты во времени эквидистантны, то TÍ							n T , где T - интервал дис-
кретизации по времени. Подставив (4.5), (4.6) и TÍ							в (4.4), получим
C max		J Y; Z	max		H Z H Z / Y			áèò
									.	(4.7)
									.	(4.7)
p Y		T		p Y		T		ñåê

Введѐм скорость передачи символов

V	ñèì â		1	.
V				.
k			ñåê
	ñåê	T	ñåê


			ñèì â

Тогда пропускную способность можно записать как
C maxVk H Z H Z / Y	(4.8)
p Y

В таблице 4.1 представлены характеристики источника сообщений, кодера источника и канала связи.

Таблица 4.1

	Кодер
Источник	Кодер	Канал
Источник	источника	Канал
	источника

X x1, x2 , , xN

Y y1 , y2 , yD

Z z1 , zD

P X

P Y

P Z

p x1 , , p xN

p y1 , , p yD

p z1 , , p zD

p xi 1

p yi 1

zi 1

i 1

ñî î á

ñèì â

Vè

Vêî ä

Vêàí

ñåê

H X

áèò

H Y

áèò

H Z Y

áèò

ñî î á

ñèì â

áèò

Rè

Rêî ä

Rêàí

ñåê

R V

H X

H Y

áèò

êî ä

ñåê

H X

ñèì â

log D

ñî î á

4.2 Канал без шумов

Шум в канале связи искажает физические параметры сигнала, что в свою очередь приводит к искажению символов. Вероятностная характеристика искажений –

это условная вероятность p z j yi . Будем считать, сигнал в канале не искажается,

если zi yi . Тогда для канала без шумов справедливо выражение

p z j	1	åñëè	j i,
p z j	yi		j i.	(4.9)
	0	åñëè	j i.
Из выражения (**.9) следует, H Z Y 0 , т.е. пропускная способность кана-
ла связи равна
C maxV	H Z	= maxV H Y		(4.10)
p Y k		p Y	k

Если используется код с основанием D ,то энтропия ансамбля Y достигает наибольшего значения при p yi 1 / D . Тогда пропускная способность канала равна

C Vk log D .

(4.11)

Теорема Шеннона о кодирование источника независимых сообщений для канала без шумов. (Шеннон, стр. 270)

Пусть источник имеет энтропию H X , а канал имеет пропускную

способность C . Тогда можно закодировать сообщения таким обра-

зом, что можно передавать их со средней скоростью

V	C	1	ñî î á	,	где 0 1.

è	H X
			ñåê

Передавать сообщения со скоростью большей, чем H X , невозможно.

Доказательство. Будем считать источник сообщений согласованным с каналом по скорости передачи информации, если Rè Rk . Тогда

H Y

(4.12)

êàí

H X

Энтропия H Y не превышает Hmax Y log D . Запишем

H Y = log D ,.

(4.13)

где 0 log D .

Подстановка (4.13) в (4.12) позволяет получить

log D

Vêàí

log D

1 ,

(4.14)

êàí

H X

log D

где 0 1.

Если принять 1, тоVè 0 , т.е. не имеет смысла передавать сообщения.

<<< < Предыдущая 1 2 34 / 84 5 6 7 8 > Следующая >>>

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

#
10.02.2015625.89 Кб17Teoria_gosudarstva_i_prava.pdf
#
10.02.2015519.73 Кб45Teoria_igr_2012_2013.pdf
#
22.09.201935.65 Кб2Teoria_i_praktika_SMI-_lektsii.docx
#
10.02.201523.34 Mб15Teoria_sistem_i_sistemny_analiz_-_lektsii_1-11.pdf
#
10.02.20151.11 Mб26Teorinf.pdf
#
10.02.20151.39 Mб3TEOR_inform_19-12-10_2014_01_06_12_12_03_442.pdf
#
23.03.20161.17 Mб36termodinamika.doc
#
23.11.2019297.47 Кб1termostat!33.doc
#
12.03.20151.87 Mб18TERVER_13-14.pdf
#
13.04.2019558.08 Кб0Testy_2009_po_filosofii (2).doc
#
14.07.20191.18 Mб4Testy_GP_ch_2 (1).rtf