Добавил:

Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Воронежский государственный университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

Ledeneva_T_M_Algoritmy_teorii_grafov_Kodovye

.pdf

Скачиваний:

Добавлен:

21.05.2015

Размер:

738.26 Кб

Скачать

☆

<<< < Предыдущая 1 2 3 4 5 6 7 89 / 99

		81			K ,u		,uö	u
		æ	1	2	K ,u	m	,uö	u
		ç	1	2		m	÷	является
В ажнейш ей характеристикой ансамб ля U = ç							÷	является
		è 1		2 K ,, pm,øp p
	M
энт ропия	å k ×	p=k-) (отpвыбlog(ораHоснованиU ( ядл) ялогарифмаза-

k=1

виситлиш ь единицаизмеренияэнтропии, чащ евсего используетсяоснование2 итогдаэнтропияизмеряетсяв двоичныхединицах- б итах).

Д ля энтропии справедливаследую щ ая теоремаоб оценке энтропии: Д ляпроизвольного ансамб лясооб щ ений U сэнтропией H (U ) справедливо

неравенство

0 ≤ H (U ) ≤ log(M ) ,

причем неравенство снизу превращ аетсяв равенство тогдаи только тогда,

когда k (k =1,Κ , M ) , длякоторого k = i		=	¹ k) ;piнеравенство( 0 p 1, сверху
становитсяравенством тогдаитолько тогда, когдаpk					1	k	K= =M ) .(" ,
становитсяравенством тогдаитолько тогда, когдаpk					M	k	K= =M ) .(" ,
Д оказательство.					M
Д оказательство.
1.	Д лянеравенстваснизу: действительно,
	æ	1	ö
	ç	1	÷	×		log(
	ç		÷
	pk pk × logpçk=		÷-³ 0)
	è	pk ø

исумматакихвеличинвсегданеотрицательна. Суммаравна0 тогдаитоль-

ко тогда, когда"

k= 0 . pЭ:) то возможнlog( о в 2хслучаях:

a) сущ ествуеттакоеk, что pk =1, приэтом остальныечастоты (в силу

условия pk

å pk

=1) равн0ы, 0. В спомним, что

(x ×

x )= 0 . )

log(

k=1

x→0

б ) во втором случаепроисходитперестановкаусловий: "

¹ i pi k= 0

pi ×

= 0, а) для klog(:pk

=1 и pk ×

pk = 0 .

)

log(

Д ля доказательства неравенство сверху

рассмотрим раз-

ность

( )

(

)

loglog(M )=-

p- × log

å k

k=1

pk ø

k=1

è pk ø

k=1

= å pk

× logç

k=1

è M × pk

В оспользуемсядоказанным ранеенеравенством log(x) ≤ loge(x −1) .

å pk × logç

loge å pk ×£ç

-1÷

k=1

è M ×

pk ø

k=1

è M

= logeçç

å pk

÷÷ = 0

è k=1

k=1

, 1

О тсю даследует, что H (U ) ≤ log(M ) , аравенство достигается (как и при доказательстве неравенствадля логарифма) при выполнении условия

1	=1, т. е. pk =	1	(" k) .
M × pk		M

И менно энтропияансамб ляивыступаеткак ограничительный фактор при построении оптимального по средней длинесловакода. В местестем, можно указать способ кодированиялю б ого ансамб ля, длякоторого n б удет б лизкойк минимально возможной.

О сновная теорема кодирования: П усть передаю тся сооб щ ения ан-

æ	1	2	K ,u	m	,uö	u
ç					÷	, энтропиякоторого равнаH (U ) , тогдаихможно
самб ляU = ç					÷
è 1		2	K ,, pm,øp p
закодировать спомощ ью					кодового алфавита, содержащ его L символов так,

что среднееколичество символов насооб щ ениеансамб ля n б удетудовлетворять неравенству:

	H (U )	n		H (U )	+1, £ <
	L)	n	log( L)		+1, £ <
	L)		log( L)		log(	H (U )
приэтом несущ ествуетспособ акодирования, прикотором n <						H (U )	.
приэтом несущ ествуетспособ акодирования, прикотором n <							.	log(
						L)		log(

Д оказательство.

Д ля определения нижней границы рассмотрим разность H (U ) - n × log(L) ипокажем, что онанепревосходитнуля, это исоответст-

вуетусловию

теоремы. Д ействительно, об означим qk = L−nk ,

где nk

- длина

k-го кодового слова,

= -

Lq) ,

log(n

)

log(

× ×

× = --L=),

nlog(

å k

k ÷

отсю да

k=1

n- H)×

log(

( pp) × log

) ×

log(

k=1

pk ø

k=1

pk ø

В оспользуетсянеравенством длялогарифма, полагая x = qk . pk

M	æ	qk	ö
pk ×	ç	qk	÷
	ç		÷
	ç		÷
k	è	pk ø

равенству К рафтаåL−nk

k=1

æ M

öö

p£

÷÷

=×

-1, но q

−nk

ипо не-

log

÷÷

= L 1

è k

øø

k=1

M
= åqk £1, таким об разом,	- ( × n )£L 0 и H U log (
k=1

неравенство снизу в теоремесправедливо. Заметим, что оно становитсяравенством, если x =1, т. е. pk = L−nk , во всехостальныхслучаяхоно выпол-

няетсястрого.

Д лядоказательстванеравенствасверху рассмотрим только что полученное условие совпадения n с нижней границей: pk = L−nk , или

	p				83
	p	k	)	log(
nk = -		k		. Н о nk	по смыслу целыечисла. Следовательно, достижение
nk = -	L)			. Н о nk	по смыслу целыечисла. Следовательно, достижение
	L)			log(

нижнейграницы возможно только тогда, когдавероятностивсехсооб щ ений ансамб ля U являю тсяцелыми отрицательными степенями числаL . В на-

ш ем рассмотренном ранеепримеретак иб ыло: p

= p

= 2−2 , p

= p

= 2−3 ,

p = 2p−4=,

p = следовательно,

для

кода

Ф ано

H (U )

å pk

pk =

75 ., Э2×=то числ-оlog=иесть аб солю тнаянижняягра-

) 2 log(

k=1

ницадля n иулучш ить код Ф ано невозможно.

Е слиже-

)

log(

(k =

Κ , M1,), то всегдаможно

неявляю тсяцелыми

log(

найтитакиецелые nk* , которыеудовлетворяю тусловиям:

)

nk*

log(

)

log(

- - £ £

log(

У множим об ечастинеравенства

)

log(

nk*

< -

наpk

log(

ипросуммируем по всем k :

- å pk ×

pk )

log(

H (U )

å k*n =pk

<n k×=1

å pk

++1,

log(

k=1

log(

k=1

что итреб овалось доказать.

М ет од опт им ального кодирования (м ет од Х аф ф м ана). Т еперь ос-

талось ответить навесьмаважныйвопрос: как настроить оптимальныйкод в об щ ем случае, когдавероятностисооб щ енийансамб лянеравны целым отрицательным степеням L? Т акой метод б ылпредложенХ аффманом. О н достаточно просто реализуетсяспомощ ью анализакодовых деревьев. Д а- вайтерассмотрим алгоритм оптимального кодированияпо ш агам одновременно среш ением конкретного примера.

æ	u7	öu6	u5 u4 u13	u2
П усть данансамб ль U = ç		÷ ,	A = { 01,}, т. е.
ç	05	÷
è	05	ø, 0 08 , 0 08 , 0 12 , 0 16 , 0
L = 2 . Заметим, что в этом случае M = 7 и несовпадаетсо степенью двой-
ки, всечастоты неравны отрицательным степеням двойки, поэтому способ
кодированияФ ано (деленияпополам) здесь неможетприменяться.

Рассмотрим алгор ит м Х аффм ан а (å pk =1):

k=1

Ш аг 1. Расположить всесооб щ енияU по уб ыванию (невозрастанию ) ихчастот.

Шаг 2. О б ъединить двапоследнихсооб щ енияв комплекссчастотой, равной суммечастотсоставляю щ ихи поставить этоткомплекспо порядку его частоты.

Шаг 3. П родолжить такоеоб ъединениепо 2 снизу спискадо получениякомплексаиз всехсооб щ енийсчастотой1.

Шаг 4. П оместить этоткомплексв корень кодового дереваи ветвить дерево откорнявверх, причем уровнидереваотнизш ихк высш им соответствую тоб ратному порядку получениякомплексов, т. е. скоб кираскрываю т- сясвнеш ней стороны к внутренней. В ерш ина, которой соответствуеткомплекс, состоящ ийиз единственного сооб щ енияансамб ля, неветвитсядалее иявляетсяконцевой. П риписываниекодовыхслов из б укв кодового алфавитаизаверш аетраб оту алгоритма.

u1	0,29	u1	0,29	u1					0,29	u1				0,29	uu	u))	(	(
u1	0,29	u1	0,29	u1					0,29	u1				0,29	2 5	4	0,42
u2	0,22	u2	0,22	u2					0,29	uu			u))	( (	u1		0,29
u2	0,22	u2	0,22	u2					0,29		3 7		6	0,29	u1		0,29
u3	0,16	u3	0,16	(u	4	u	5	)	0,22					0,22	uu	u))	(	(
u3	0,16	u3	0,16		4		5		0,22	ìu4				0,22	3 7	6	0,29
u4	0,12	(u6u7 )	0,13	ìu					0,13	íu	u	5		0,20
u4	0,12		0,13	í	3				0,13	î 4		5		0,20
u5	0,08	ìu4	0,12	îu6u7					0,16
ìu6	0,08	í	0,08
ìu6	0,08	îu5	0,08
í
îu7	0,05

			u7u61 u358 , 0
	uu u				42 , 0 ))
	2 5		4
				u6				u7

	u3	(u6u7 )

							u2
	uu	u))			(	(	u2
	uu	u))			(	(
	37		6
u u))) u			3		(	(
7	41		3

)))		(	(
(	(
	Д ерево кода
			0110	0111
u4		u5	010	110	111
			011
			00	10
	(u4u5 )		01		11
					11
	uu u)) (		(
	2 5	4	0	1
			0	1

Т аким об разом, кодированиеосущ ествляетсяследую щ им об разом:

			85
сооб щ ения	u1	u2	u3	u4	u5	u6	u7
коды	00	10	010	110	111	0110	0111
длины	2	2	3	3	3	4	4
n = 2 ×( 0,29 + 0,22 ) + 3 ×( 0,16 + 0,12 + 0,08 ) + 4 ×( 0,08 + 0,05 ) =
		=+ ,62 +2 ,, 52 ,0		08 1	1 02

К оды , обнаруж ивающие и исправляющие одиноч ную ошибку. П ри прохождении каналасвязи закодированноесооб щ ениеможетподвергаться воздействию ш ума. Э то приводитк ош иб кам наприемном конце. М ы можем получить сооб щ ение, отличаю щ еесяотпосланного. П редположим, что кодированиеосущ ествляетсяспомощ ью двоичного кодового алфавита{ 01,} икаждоесооб щ ениедлины n неможетсодержать б олеечем одну ош иб ку. П од ош иб койб удем понимать переходы: 1→ 0 и 0 →1. Е диничнаяош иб ка

– это ош иб кав однойпозиции(кодовойб уквы) кодового слова. В 1956 году Х эмминг предложилметод кодирования, который позволяетнетолько установить наличиеош иб ки в полученном сооб щ ении, но и указывать место, гдепроизош елсб ой, азначит, и исправлять ош иб ку. О б наружить наличие одиночной ош иб ки в кодовом словедостаточно просто, дляэтого необ ходимо подсоединить к каждой группе из (n −1)-го передаваемого символа

дополнительный проверочный символ(0 или 1) так, чтоб ы суммапо модулю 2 всех n символов (вклю чаяпроверочный) б ыларавна0. П усть n = 5 и необ ходимо передать следую щ ую группу символов: 01101110. Д елим её на двеподгруппы по 4 символаик каждойприсоединяем 5-ыйпроверочный:

0		1	1	0	0	1	1	1		0	1
	К аждаяодиночнаяош иб каприводитк изменению							четностисуммы, т.
е. всякое сооб щ ение с нечетной суммой символов содержит ош иб ку.											Т ак
как знание позиции,				в которой произош елсб ой (1→ 0 или 0 →1) равно-
сильно исправлению				сигнала, возможно построение кода,					распознаю щ его

место ош иб ки. Д остигаетсяэто увеличением количествапроверочныхсимволов.

П усть об щ аядлинакодового словаравнаn . О наскладываетсяиз количестваинформационныхсимволов - m ипроверочных- k , т. е. n = m + k . П роверочные символы можно рассматривать, как k - значное двоичное

число, об щ ее количество проверок 2k , оно удовлетворяет неравенству

2n ³1 + n , т. е. 2k указателейдолжно хватить дляответана1 + n вопросов: есть ли ош иб кав слове, аесли есть, то в какой из n возможных позиций. О птимальными кодами Х эмминга, разумеется, являю тся те, для которых

использую тсявсеб ез исклю чения 2k различных проверок, т. е. 2k =1 + n . Рассмотрим таб личку такихкодов.

k	m	n

1	0	1

2	1	3

3	4	7

4	11	15

5	26	31

П ри k =1, m = 0 и кодирование б ессмысленно. П ри

k = 2 имеетсявсего одининформационныйсимволпри двух проверочных и такой код, конечно же, неэффективен. П ри k = 3 получаетсякод, которыйимеетназвание“4 из 7” – ондостаточно часто применяется. Соста-

вим таб лицу проверок для этого кода, об означим ин-
формационные символы	, a	,,aапроверочныеa
	4	31	2

b1, b2 и b3 .

a1	a2	a3	a4	b1	b2	b3	П о числу проверочных сим-
							волов k = 3,	об разую тся 3 прове-
1	1	1	0	1	0	0	волов k = 3,	об разую тся 3 прове-
							рочныесуммы, каждаяиз элемен-
1	0	1	1	0	1	0	рочныесуммы, каждаяиз элемен-
							тов соответствую щ их строк, про-
1	1	0	1	0	0	1	тов соответствую щ их строк, про-
1	1	0	1	0	0	1	тив которыхстоят1:
							тив которыхстоят1:
					=	Å	Å Å b	a	aS	a
							1	3	21	1
					= Å Å Å b2			a4	aS32	a1
					= Å Å Å b3			a4	aS23	a1

Е сли всеэти 3 суммы равны 0, то ош иб ок в сооб щ ении из семи сим-

волов нет. Е сли только однаиз этих сумм равна1,	то при Si = (i = 1,3)2, 1
ош иб кав проверочном символе bi . Е сли равны 1 S1	и S2 , то ош иб кав a2 ,

если S1 и S3 , то ош иб кав a3 , еслижеравны 1 всетри суммы, то ош иб кав

a1 .

К ак и б ыло сказано выш е, указание наместо ош иб ки в сооб щ ении равносильно её исправлению . К акой же ценой достигается исправление одиночной ош иб ки? О тветдостаточно прост– заэто иприходитсярасплачиватьсяувеличением временипередачи(в случаекода“4 из 7” на75%).

П роверочные суммы S1 , S2 , S3 получаю тсяиз простых алгеб раиче-

ских сооб ражений. Будем рассматривать б улевы матрицы и операции умножения(конъю нкции) исложения(по модулю 2), тогдавсякийвектор размерности n полученб ез ош иб ок, если в результатеего умножениянапроверочную матрицу получим нулевой вектор. Д ействительно, легко проверить, что

		æ a		ö
		ç 1		÷
		ça2		÷
æ1110100	ö	ç a	3	÷	æ S	ö
ç	÷	ç	3	÷	ç 1	÷
ç1011010	÷	× ça4		÷	= ç S2	÷ .
ç	÷	ç		÷	ç	÷
è1101001	ø	çb1		÷	è S3	ø
		ç		÷
		çb2		÷
		èb3		ø

З ад ачи и упражнени я

У довлетворяю тли префиксному свойству такой наб ор кодовыхслов

в алфавите:

= { } {

,aaa}.,

, abab, ,

aba

aab A b a

кодовом алфавите A = { 01,} построить равномерныйкод икод Ф ано

1 2 3 4

öu

u u u

дляансамб ляU = ç

1 1 1 1 1 1

1 1

÷.

è 3 9 9 9 9 9 27 27 27 ø

Сущ ествует ли кодовое б инарное дерево с наб ором концевых вер-

ш ин, соответствую щ ихкодовым словам сдлинами:

{

3,}3,?,312,

П остроить кодовое дерево для алфавита A = {

12,0}, c

концевыми

верш инами, соответствую щ имисловам сдлинами:

9. {

4,}4,. 3,,3 2, 2,12,

10.М

етодом Х аффманазакодировать в алфавите A = { 01,} инайти n для

ансамб лей:

öu

11.a)

18 , 0 21 , 0 310,

ø, 0 08 , 0 17 , 0

12.б )

07 , 0 09 , 0

12 , 0 17 , 0 22 , 0 280,

05ø, 0

13.в)

öu

09 , 0 12 , 0

18 , 0 13 , 0 25 , 0 150,

ø, 0

14.Н адо передать группу символов “0110001110011100”. Закодируйтеих по методу Х эммингасиспользованием кода“4 из 7”.

15.П ринять сооб щ ениеиз 7-ми символов “4 из 7”. П роверьтеего наналичиеединичнойош иб ки, еслионаесть исправьтесооб щ ение.

16.Сопоставить проверочную матрицу длякода“11 из 15”.

17.К ак вы думаете, почему практическинеиспользую ткоды с k > 5, несмотрянато, что соотнош ениепроверочныхиинформационныхсимволов длянихгораздо лучш е, чем при k ≤ 4?

ЛИ Т ЕРАТ У РА

1. Х арариФ . Т еорияграфов.- М .: М ир, 1973. 300 с.

2.К ристофидесН . Т еорияграфов. А лгоритмическийподход. М .: Н аука, 1990. 432 с.

3.СвамиМ ., Т хуласираманК . Г рафы, сетииалгоритмы.- М .: М ир, 1984. 454 с.

4.Роб ертсФ .С. Д искретныематематическиемодели сприложениями к социальным, б иологическим и экологическим задачам.- М .6 Н аука,

	1986. 495 с.
5.	К ук Д ., Бейз Г . К омпью тернаяматематика.- М	.: Н аука, 1990 384 с.
6.	Л екциипо теорииграфов / Е меличев В .А ., М	ельников О .И . идр. – М .:

Н аука, 1990. 384 с.

7.Н ефедов В .Н ., О сиповаВ .А . К урсдискретнойматематики. – М .: И зд-

во М А И , 1992. 260 с.

8.Г орб атов В .А . Ф ундаментальные основы дискретной математики. –

М .: Н аука. Ф изматлит, 2000. 544 с.

9.Бурков В .Н ., Заложнев А .Ю ., Н овиков Д .А . Т еорияграфов в управленииорганизационнымисистемами.- М .: СИ Н Т Е Г , 2001. 124 с.

10.Судоплатов С.В ., О вчинниковаЕ .В . Э лементы дискретной математики: У чеб ник. – М .: И Н Ф РА -М , Н овосиб ирск: И зд-во Н Г Т У , 2002. 280 с.

С о ста в и тел и : Л ед енев а Та тьяна М и ха йл о в на , Р уссм а н Иса а кБо ри со в и ч

Р ед а кто р: Буни на Т.Д.

С О Д ЕРЖ АНИ Е

В В Е Д Е Н И Е … … … … … … … … … … … … … … … … … … … … … … … … … ..

О СН О В Н Ы Е П О Я Т И Я Т Е О РИ И Г РА Ф О В … … … … … … … … … … … …

Д И СТ И Ж И М О СТ Ь И СВ Я ЗН О СТ Ь… … … … … … … … … … … … … … … .

У СТ О Й Ч И В О СТ Ь… … … … … … … … … … … … … … … … … … … … … … …

ЗА Д А Ч А РА СК РА СК И … … … … … … … … … … … … … … … … … … … … ..

Д Е РЕ В ЬЯ … … … … … … … … … … … … … … … … … … … … … … … … … … ..

Ц И К Л Ы И РА ЗРЕ ЗЫ …

…

… … …

… … … …

…

… ..

О БХ О Д Ы Г РА Ф А … … … … … … … … … … … … … … … … … … … … … … …

Н Е К О Т О РЫ Е О П Т И М

И ЗА Ц И О Н Н Ы Е ЗА Д А Ч И

Н А

ГРА Ф А Х …

…

… ..

К О Д И РО В А Н И Е

К О

Д О

В Ы Е

ГРА Ф Ы …

…

… ..

10.

Л И Т Е РА Т У РА …

…

… …

…

… … …

… … … …

…

… .

<<< < Предыдущая 1 2 3 4 5 6 7 89 / 99

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

#
01.07.2025870.91 Кб1Laboratornye_raboty_1-3.doc
#
19.03.201613.05 Mб3lana_prezi.pdf
#
21.05.20151.36 Mб13Lection01.pdf
#
21.05.20151.02 Mб7Lection02.pdf
#
21.05.20151.57 Mб8Lection03.pdf
#
21.05.2015738.26 Кб31Ledeneva_T_M_Algoritmy_teorii_grafov_Kodovye.pdf
#
21.05.2015428.13 Кб36lekcija-массив строк.pdf
#
01.03.2025283.14 Кб1Lektsia_1.doc
#
01.03.2025250.37 Кб0Lektsia_10-12.doc
#
01.03.2025181.76 Кб0Lektsia_16.doc
#
01.03.2025147.97 Кб2Lektsia_2.doc