Добавил:

ivanov666 Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Сибирский Государственный Университет Телекоммуникаций и Информатики

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

681_Trofimov_V.K._Teoremy_kodirovanija_neravnoznachnymi_

.pdf

Скачиваний:

Добавлен:

12.11.2022

Размер:

2.19 Mб

Скачать

☆

<<< < Предыдущая 1 2 3 4 5 67 / 87 8 > Следующая >>>

k	1		k

log nvj		log nv

v X s j 1	2	v X s	2

						k
log nvnv log pw0			log nvjnvj .
v X s				v X s		j 1
Применим к слагаемым в правой части формулу Стирлинга в виде
	1				1

log z log 2 z		log z				z log e (z)log e ,

	2				2

где
	1	1	(z)	1	.	(5.8)
2		2log e		2

В этом случае слагаемые, содержащие гамма-функцию, преобразуются следу-

ющим образом:

k s (k 1)

k 1

k s k

log

log 2

log

log e k log e ;

log nvj

log

2 nvj log nvj

nvj

log e vj log e

;

v X s j 1

v X s

j 1

k 1

log nv

log 2

log nv

log e v log e

v X s

где каждая из

( v X s ,

i 1,k ) удовлетворяет ограничениям (5.8).

Преобразуя неравенство, получим:

log

ps (w)

k s k

1 log k s log k

k s k

log log pw0

(w)

k 1

log(k

1 log

k 1

v X

k s

log nvnv

nvj

nv log e log e ,

v X s

v X s j 1

v X s

где

k s vj v .

v X s j 1

v X s

С учетом (5.8) получим ограничения на :

k s k	log e	k s k 1	log e	k s k	log e	k s
							,
2		2		2		2

и, используя (5.3) и (5.8), получим

log

ps (w)

k s

k log k

log(k 1)

(k 1)

ps (w)

k 1

(5.10)

k 1

log

log pw.

nv nv

v X s

Максимальное значение аргумента nv

функции

k 1

log

nv nv

v X s

равно N s . Данная функция возрастает на промежутке 1; N s , следователь-

но, ее значения удовлетворяют неравенству

k 1

N s

log

nv nv

N s N s

v X s

Преобразуя (5.10) с учетом последнего неравенства, получаем:

k log k

log(k 1)

(k 1)

log

p (w)

p s

(w)

(5.11)

k s

k 1

k s

k 1

log N

s log pw0 .

log e

2(N s)

Положим

T *(k)	k log k 2
		log(k 1) log e	(5.12)

	k 1

и			N, s,k				k 1 log e	(5.13)
и			N, s,k				2(N s)	(5.13)
							2(N s)
Тогда (5.11) принимает вид
	ps	(w)	k s k 1		*			0
					*			0
log	ps	(w)	2	T		(k) N, s, k log N s log pw.
	ps	(w)	2

Лемма доказана.

Лемма 5.1.2. Для произвольного марковского источника Θ, s , с ал-

фавитом X, \|X\| = k, и законом распределения ps (w), w X N , с условными веро-

ятностями (3.2) имеет место неравенство:
ps (w)log ps (w) H		k s k 1		log(N s)
ps (w)log ps (w) H				log(N s)
w X	N		2		(5.14)
			k s k 1 (N , s, k) T *(k)		(5.14)


			2
где T *(k) – некоторая постоянная относительно N величина,

(N, s, k) 0, H – энтропия источника.

Доказательство. Умножая правую и левую части неравенства (5.7) на

(w) и суммируя по w X N , получим:

ps (w)

p (w) log

p s (w)

w X N

k s k 1

T *

(k ) N , s, k log N s

ps (w) ps (w) log pw0 .

w X

Преобразуем неравенство с учетом того, что

ps (w) 1:

w X N

ps (w)log ps (w) ps (w)log

ps (w)

k s k 1

T *(k) N, s,k log N s .

w X N

pw0

Теперь лемма следует из определения (1.1) и свойств условной энтропии

(см., напр., [2]):

s	ps (w)		N		N
				0
p (w)log		H		p H		.
	pw0
w X N

Лемма доказана.

5.2.Верхняя оценка избыточности универсального кодирования марковских источников символами неравнозначных длительностей

Теорема 5.2. Для избыточности кодирования 0 , ps произвольного мар-

ковского источника s , s s , словами выходного алфавита с неравнознач-

ными длительностями букв и определяемой этим алфавитом пропускной спо-

собностью канала передачи информации C tY имеет место неравенство

r N , s , , ps ,

k s k

log N s

2C tY

k 1

(5.15)

T (k) (N , s, k)

где T *(k) – некоторая постоянная относительно N величина (5.12),

(N, s, k) 0 – некоторая бесконечно малая величина (5.13),

t** – константа, зависящая только от канала.

Доказательство. Здесь, как и в случае с бернуллиевскими источниками,

рассмотренном в предыдущей главе, используется идея кодирования, предло-

женная в [46]. Рассмотрим КТ-распределение ps ps (w)

(3.6), w X N , и коди-

0 , p

источника

рование

(3.12). Из свойств разбиения

0;1

(3.7) имеем

s w t**

ps w 0

0 , p

, где t** max t j .

1 j m

Логарифмируя и преобразуя данное неравенство, получим

log ps

, p

s w

t**

log 0

Умножая последнее неравенство на

(w)

и суммируя по всем словам w X N ,

получаем

w log ps w log

w l

, p

ps w t** .

w X N

С учетом (1.13) и (1.12)

		t	**		s	s	w .
			**		s	s
C tY L	0 , ps			p w log p
	0 , ps			w X	N
				w X

Преобразуя правую часть и используя оценку (5.14), окончательно полу-

чаем:

			**	H	N	k s k 1

C tY L		t					log N s
	0 , ps					2

k s k 1 T * (k ) (N , s, k ) 2

где T *(k) и (N, s,k) определены равенствами (5.12) (5.13).

С учетом равенства из [25] lim H N H получаем утверждение теоремы.

N N

Теорема доказана.

5.3.Нижняя оценка избыточности универсального кодирования марковских источников неравнозначными символами

Пусть величина r N, , , tY , определяемая равенством (1.15), является из-

быточностью кодирования источника . Обозначим через f распреде-

ление вероятностей, заданное на множестве марковских источников s и опре-

деляемое равенством из [50]

	k		k s


f	2
f		k
		k

	2
	2

1		.	(5.16)

k
k

	pvi
v X s i 1

Определение 5.3. Величину R N, s , tY , заданную равенством

		N, s ,		tY inf		f ( )r N, , ,	tY d ,
	R	N, s ,		tY inf		f ( )r N, , ,	tY d ,	(5.17)
					s
					s
k 1
где d k s dp i ,				– k s k 1 -мерный интеграл по s , назовем сред-
v X s i 1			s

ней избыточностью универсального кодирования множества источников s .

Имеет место следующая теорема.

Теорема 5.3. Для средней избыточности R N, s , tY универсального ко-

дирования множества марковских источников s справедливо асимптотиче-

ское неравенство

k s k 1

log N

(5.18)

2C tY

Доказательство. Как следует из основной теоремы К. Шеннона [28], правая часть (5.17) достигает своего минимума при кодировании

1 (w) log

ps (w)

log

Отсюда и из (5.17) получаем:

R N , s , tY

f ( )r N , , 1

C tY s

(w) .


,	t	d .	(5.19)
1

Из работы [49] следует, что кодирование 1 является оптимальным для

множества всех источников s и имеет место неравенство

				k s k 1

					log N	C tY
r N , ,							.
		,	t					(5.20)
		,	t					(5.20)
	1	1		2	N	N
	2			2	N	N
	2

Отсюда и из (5.19) получаем утверждение теоремы.

Теорема доказана.

5.4.Асимптотика избыточности универсального кодирования марковских источников неравнозначными символам

Теорема 5.4. Для избыточности R N, s , tY универсального кодирова-

ния множества марковских источников s кодовым алфавитом Y с символами неравнозначных длительностей tY справедливо асимптотическое равенство

R N,			k s k 1	log N	.
	,	t				(5.21)

s		Y	2C tY	N

Доказательство. Оценка сверху следует из (5.15) и соотношений (1.15) и

(1.16). Для любого источника s получаем

N, ,

k s

k 1

log N s T *(k) (N, s, k)

t**

(5.22)

0 , p

2C tY

Неравенство (5.22) справедливо при любом законе распределения вероят-

ностей p, величины T *(k) , (N, s,k) и t**

ограничены. Правая часть не зависит

от закона распределения p, следовательно, из соотношения (5.22) получаем

N, ,

k s k 1

log N s T *(k) (N, s, k)

t**

sup r

(5.23)

, p

2C tY

Согласно (1.16)

R N,

sup r

N, ,

0 , p

а значит,

R N,

k s k 1

log N s

2C tY

С другой стороны, из определения (5.17) и неравенства

R N, s ,

следует, что

tY R N, s ,

R N,

k s k 1

log N

2C tY

Теорема доказана.

Сравнивая результат, полученный в [46], и (5.21), видим, что «платой» за

незнание источника, как и в случае равнозначности букв выходного алфавита,

является множитель, пропорциональный log N . При tY t1 из (5.21) следует ре-

зультат работы [19].

6.Слабо универсальное кодирование стационарных источников символами с неравнозначными длительностями

Рассмотрим множество всех стационарных источников .

Определение 6.1.1. Если с ростом длины кодируемого блока избыточ-

ность универсального кодирования (1.16) сходится к 0 равномерно по ,

то кодирование называется сильно универсальным на множестве , а если сходимость не равномерная, то кодирование называется слабо универсальным

на множестве .

Далее доказано существование равномерного по входу слабо универсаль-

ного кодирования стационарного источника для случая кодового алфавита с символами различных длительностей. В настоящей работе доказано, что избы-

точность предлагаемого метода кодирования может быть сколь угодно мала.

Для энтропия H	стационарного источника имеет место равенство [22]

	H lim H ( s ) ,	(6.1)
	s

где H s – энтропия марковского источника порядка s (источника, для кото-

рого вероятность появления любой буквы в сообщении является условной и за-

висит от s предыдущих).

Для избыточности марковских источников имеет место асимптотический результат (5.21). Для стоимости метода кодирования (1.12) имеет место верхняя оценка (5.15). Упомянутые результаты позволяют сформулировать и доказать

следующую теорему.
Теорема 6.1. Для множества всех стационарных источников									суще-
ствует слабо универсальное кодирование неравнозначными символами.
Доказательство. Докажем, что			для		произвольного			источника

имеет место неравенство
R N, ,		inf r N, , ,				,	0.	(6.2)
R N, ,	t	inf r N, , ,		t		,	0.	(6.2)
Y				Y

Каждый стационарный источник можно рассматривать как предел после-

довательности марковских источников s , которые задаются согласно (5.1) и

(5.2). Для каждого фиксированного s существует универсальное кодирование

(4.4) для которого имеет место оценка (5.15). Преобразуем (5.15):

H ( s ) H ( )

H ( )

L N, , , tY

C tY

k s k 1

log N s

k s k 1

T *(k) (N, s, k)

t**

(6.3)

Согласно (6.1) первое слагаемое стремится к 0 с ростом s.

При неограниченном возрастании N рост правой части (6.3) определяется

слагаемым

k s k 1 log N s

которое

стремится

при выборе

2NC

s O logk log N .

Действительно, пусть s O logk log N , c const . Тогда

(k 1) log N s

(k 1) log N 1

1) log N

lim

2NC

k c log k log N (k 1) log N

k 1

logc 1 N

Теорема доказана.

7.Оптимальное универсальное кодирование объединения различных множеств источников символами неравной длительности

7.1.Адаптивное кодирование объединения различных множеств источников

Сформулируем и докажем утверждение, которое позволит строить коды,

адаптивные по множеству классов источников.


Лемма 7.1.1. Если множество источников	k и для каждого из
	k 0

множеств k известно оптимальное кодирование φ(k), k=1,2,…, то существует

такое кодирование φ, что для любого источника , k , выполняется нера-

венство

r(N, , ,

) R(N, ,

)

2log k

T *

(7.1)

где T * – постоянная, не зависящая от N.

Докзательство. Кодирование

φ(k)

дешифруемо,

поэтому для чисел

l (k ) (w),

выполняется неравенство Макмиллана

2 l ( k ) (w),

log 0

k 1,2,....

w X N

Рассмотрим кодирование φ, которое каждому слову w, w X N , ставит в

соответствие слово φ(w) длительности l (w),

tY :

( k )

l (w),

log

2 l

( w ),tY log 0 tY

k 1 2

k 0

здесь λ – нормирующий множитель.
Из определения l (w),	tY имеем	2 l (w),		log 0		1, значит, можно
			tY		tY
		w X N

построить кодирование с длительностями кодовых слов l (w), tY , отличаю-

щееся от l (w), tY на равномерно ограниченную постоянную T * , т.е. для лю-

бого слова w, w X N выполняется неравенство

l (w),tY l (w),tY T * .

Покажем, что кодирование φ является искомым для источника :

r(N, , ,

p w l (w),

H ( )

tY )

C tY

N w X N

( k )

p w log

2 l

(w),tY C tY

H ( )

1)2

C tY

N w X N

k 0

<<< < Предыдущая 1 2 3 4 5 67 / 87 8 > Следующая >>>

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

#
12.11.20221.89 Mб14671_Vajspapir_V.JA._Proektirovanie_radiochastotnykh_linij_svjazi_.pdf
#
12.11.20221.06 Mб0672_Otsenka_stoimosti_biznesa_.pdf
#
12.11.2022548.77 Кб4673_Raschet_analogovykh_i_diskretnykh_ustrojstv_.pdf
#
12.11.20223.28 Mб6675_Lebedenko_L.F._Osnovy_vizual'nogo_programmirovanija_.pdf
#
12.11.202224 Mб12676_Noskova_N.V._Izuchenie_funktsionirovanija_setej_.pdf
#
12.11.20222.19 Mб5681_Trofimov_V.K._Teoremy_kodirovanija_neravnoznachnymi_.pdf
#
12.11.20227.92 Mб23683_Filimonova_N.I._Metody_ehlektronnoj_mikroskopii_.pdf
#
12.11.2022880.37 Кб13684_Filimonova_N.I._Metody_ehlektronnoj_spektroskopii_.pdf
#
12.11.2022481.48 Кб1686_CHurkina_N.A._Sotsiologija_kul'tury_.pdf
#
12.11.20224.18 Mб14687_Sazhnev_A.M._Sistemy_ehlektropitanija_.pdf
#
12.11.20224.44 Mб16688_Sergeeva_A.S._Bazovoe_programmnoe_obespechenie_.pdf