Добавил:

Volodya262 Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Уфимский Государственный Авиационный Технический Университет

Предмет:

Теория информации

Файл:

Юсупова Лекции

.pdf

Скачиваний:

122

Добавлен:

25.04.2017

Размер:

3.24 Mб

Скачать

☆

<<< < Предыдущая 12 / 62 3 4 5 6 > Следующая >>>

Возможные значения непрерывных случайных величин не могут быть заранее перечислены и непрерывно заполняют некоторый промежуток или даже всю ось. Функция распределения непрерывной случайной величины представляет собой непрерывную функцию.

Часто предполагают, что функции распределения непрерывных случайных величин дифференцируемы во всей области возможных значений случайных величин. При таком предположении непрерывная случайная величина X чаще своего описывается плотностью распределения вероятности p( x) , которая иногда называется дифференциальным законом распределения или дифференциальной функцией распределения. Плотность вероятности определяется как производная функции распределения: p(x) dF(x) / dx.

Плотность вероятности обладает следующими основными свойствами:

1.Плотность вероятности неотрицательна, т.е. p(x) 0.

2.Вероятность попадания непрерывной случайной величины в интервал (x1 , x2 ) равна интегралу от плотности вероятности в этих пределах:

P( x	X x	)		p( x)dx F ( x	) F (x ).
1	2			2	1
			x
			1

3. Интеграл в бесконечных пределах от функции

p( x)

равен единице (условие нормировки):

p(x)dx 1.

Для непрерывной случайной величины формулы для математического ожидания и дисперсии имеют вид:


mx	xp(x)dx,


2	(x mx )	2	p(x)dx.
x	(x mx )		p(x)dx.

Лекция №2 Тема: Измерение информации (Часть 2)

1. Информация и теории информации

Информация лат. Information – разъяснение, изложение, осведомленность одно из общих понятий науки, обозначающее некоторые сведения, совокупность каких-либо данных, знаний.

Вшироком смысле – отражение реального мира;

Вузком смысле – любые сведения, являющиеся объектом хранения, передачи, и преобразования информации.

Теории информации Структурная теория информации рассматривает структуру построения отдельных информационных

сообщений. Единица количества информации – элементарная структурная единица квант. Статестическая теория оценивает информацию с точки зрения меры неопределенности. Основное внимание уделяется распределению вероятностей, либо появлению сигналов, либо изменению характеристик этих сигналов и построению на его основе некоторых обобщенных характеристик, позволяющих оценить количество информации.

Семантическая теория занимается изучением именно смысловых характеристик информации: ценности, содержательности, полезности. Помогает связать количество и ценность информации с такими обобщенными характеристиками системы, как эффективность, информационная пропускная способность, информационная помехоустойчивость.

2. Структурные меры информации Геометрическая (метрическая):

Единица измерения – метрон (мера точности измеряемого параметра); Метронная мощность (плотность) физической системы – количество метронов в расчете на единичный объем координатного пространства;

Пример:

Сообщение x=x(g, f, t)

Оценить количество информации.

Сообщение представляют в виде набора элементарных ячеек, размеры которых определяются точностью Δg, Δf, Δt

Измерения координат g, f,

Один метрон = объему элементарной ячейки ν= g* f* t Количество метронов в сообщении x определяется как

V=ng * nf * nt,

ng=g(tc)/Δg, nf=f(tc)/Δf, nt=tc/Δt – количество метронов, обусловленное точностью измерения координат g, f, t;

tc – время, за которое производится оценка количества информации; V – метрическое информационное содержание сообщения;

Применяется и для оценки максимально возможного количества информации в заданных структурных габаритах -

Комбинаторная (структурная) : возможное количество комбинаций информационных элементов Перестановки – группы элементов, содержащие все имеющиеся в наличии элементы

P	h!	Количество перестановок из h элементов без
h		повторений.
		повторений.

	P	...
	P	! ! !
		! ! !

Количество перестановок из h элементов с повторениями

при условии, что один из элементов повторяется α раз, другой β , последний γ раз.

Сочетания -группы по l элементов, образуемые из h разных элементов, различающиеся между собой самими элементами.

C		h!
C	n	l!(h l )!
	n

C	l (повт)	(h l 1)!
	l (повт)
	n	l!(h l)!
		l!(h l)!

V	l	h
V

	h	(h l)!
		(h l)!

l (пов т)	h	l
l (пов т)		l
h

Количество сочетаний из h элемен-тов по l (без повторений).

Количество сочетаний из h разных элементов по l элементов с повторениями, в которые элементы могут входить многократно (до l раз)

Размещения группы по l элементов, образуемые из h разных элементов, различающиеся между собой либо самими элементами, либо порядком их следования.

Количество размещений из h разных элементов по l элементов без повторений.

Количество размещений из h разных элементов по l элементов с повторениями.

Определение количества информации в комбинаторной мере -

определение количества возможных или существующих комбинаций, т.е. оценка структурного разнообразия информационного устройства.

Пример:

Имеем 10 элементов.

Составим три структуры путем сочетаний из 10 элементов по 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 элементов путем перестановок и путем размещений по десяти различным позициям.

Количество сочетаний равно

10!

...

10!

0!(10 0)!

1!(10 1)!

2!(10 2)!

3!(10 3)!

9!(10 9)!

10!(10 10)!

1 10 45 120 210 252 210 120 45 10 1 1024

Количество различных перестановок

P10=10!=3 628 800

Количество элементов по 10 позициям :

	10( пов т)	10
	10( пов т)	10
	10

Когда нельзя реализовать полученные комбинации, подсчет ведется по реализуемым комбинациям.

Аддитивная мера – мера Хартли – логарифм числа возможных разме-щений из h элементов по l

I log V	l	l * log h

h

Позволяет производить суммирование количеств информации отдельных элементов информационного комплекса. Всегда положительна.

Логарифм с основанием 2 - единица количества информации говорит о том, что произошло одно из двух равновероятных событий (двоичная единица информации или бит).

Логарифм с основанием 10 - количество информации в дитах, , натуральный логарифм с основанием е=2,71828 – в нитах.

3. Мера информации. Единицы измерения.

Меры информации

Синтаксическая		Семантическая			Прагматическая
	мера		мера			мера


	Объем данныхVд.


	Количество			Количество
	информации,			информации		13
						13

Единицы измерения информации и примеры

Мера информации	Единицы измерения	Примеры

Синтаксическая:	Степень уменьшения
Синтаксическая:	неопределенности	Вероятность события
шенноновский подход	неопределенности	Вероятность события
шенноновский подход	Единицы представления	Бит,байт,Кбайт и т.д.
компьютерный подход	Единицы представления	Бит,байт,Кбайт и т.д.
компьютерный подход	информации
	информации

	Тезаурус	Пакет прикладных
	Тезаурус	программ,ПК,компьютерные
		программ,ПК,компьютерные
Семантическая		сети
Семантическая
	Экономически показатель	Рентабельность,
	Экономически показатель	производительность и т.д.
		производительность и т.д.

		Емкость памяти,
Прагматическая	Ценность использования	производительность ПК,
Прагматическая	Ценность использования	скорость передачи данных и
		скорость передачи данных и
		т.д Денежное выражение

Алгоритмическая	Минимальное число	Машина Тьюринга
Алгоритмическая	внутренних состояний машины	Машина Тьюринга
	внутренних состояний машины

Синтаксическая мера информации

Объем данных Vд. в сообщение измеряется количеством символов (разрядов) в этом сообщение. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных:

-в двоичной системе счисления единица измерения - бит (bit-binary digit-двоичный разряд);

-в десятичной системе счисления единица измерения – дит (десятичный разряд).

Количество информации I на синтаксическом уровне невозможно определить без рассмотрения понятия неопределенности состояния системы (энтропии системы). Получение информации о какой–либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы.(теория Шеннона).

Семантическая мера информации.

Тезаурус- это совокупность сведений , которыми располагает пользователь или система.

В зависимости от соотношений между смысловым содержанием информации S и тезаурусом пользователя Sp. изменяется количество семантической информации Ic, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус.

Ic		-при	Sp≈0	пользователь	не
			воспринимает, не понимает
			поступающую информацию;
		-	при Sp→ ∞ пользователь все
			знает, и информация ему не
S		Sp	нужна.
S	p opt	Sp

Максимальное количество информации Ic потребитель приобретает при согласовании ее смыслового содержания S со своим тезаурусом Sp ( Sp = Sp opt) ,когда поступающая информация понятна пользователю и несет ему ранее не известные (отсутствующие в его тезаурусе ) сведения.

Относительной мерой количества семантической информации может служить коэффициент содержательности C, который определяется как отношение количества семантической информации к ее объему:

С= Ic / Vд.

Прагматическая мера информации.

Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цели. Эта мера также величина относительная, обусловленная особенностями использования этой информации в той или иной системе. Ценность информации целесообразно измерять в тех же единицах (или близких к ним), в которых измеряется целевая функция.

Алгоритмическая мера информации.

Каждый согласится , что слово 0101….01 сложнее слова 00….0, а слово, где 0 и 1 выбираются из эксперимента – бросания монеты (где 0-герб,1 –решка),сложнее обоих предыдущих .

Любому сообщению можно приписать количественную характеристику, отражающую сложность (размер) программы, которая позволяет ее произвести.

Так как имеется много разных вычислительных машин и разных языков программирования (разных способов задания алгоритма), то для определенности задаются некоторой конкретной вычислительной машиной, например машиной Тьюринга.

Сложность слова (сообщения) определяется как минимальное число внутренних состояний машины Тьюринга, требующиеся для его воспроизведения.

4. Качество информации

Потребительские показатели качества:

-репрезентативность, содержательность, достаточность

-актуальность, своевременность, точность

-достоверность, устойчивость

Репрезентативность связана с адекватным отраженияем свойств объекта. Важнейшее значение здесь имеют:

-правильность концепции , на базе которой сформулировано исходное понятие;

-обоснованность отбора существенных признаков и связей отображаемого явления. Содержательность отражает семантическую емкость, равную отношению количества

семантической информации в сообщении к объему обрабатываемых данных, т.е. С= Ic / Vд.

С увеличением содержательности информации растет семантическая пропускная способность информационной системы (для получения одних и тех же сведений требуется преобразовать меньший объем данных).

Достаточность (полнота) означает , что она содержит минимальный , но достаточный для принятия правильного решения состав (набор показателей).Понятие полноты информации связано с ее смысловым содержанием (семантикой) и прагматикой. Как неполная ,т.е. недостаточная для принятия правильного решения, так и избыточная информация снижает эффективность принимаемых пользователем решений.

Доступность восприятию обеспечивается выполнением соответствующих процедур ее получения и преобразования. Например , в информационной системе информация преобразовывается к доступной и удобной для восприятия пользователя форме (в частности, и путем согласования ее семантической формы с тезаурусом пользователя).

Актуальность информации определяется степенью сохранения ценности информации для управления в момент ее использования, зависит от динамики изменения ее характеристик и от интервала времени, прошедшего с момента возникновения данной информации.

Своевременность информации означает ее поступление не позже заранее назначенного момента времени , согласованного с временем решения поставленной задачи.

Точность информации определяется степенью близости получаемой информации к реальному состоянию объекта , процесса , явления и т.п. Для информации, отображаемой цифровым кодом , известны четыре классификационных понятия точности:

-формальная точность, измеряемая значением единицы младшего разряда числа;

-реальная точность, определяемая значением единицы последнего разряда числа, верность которого гарантируется;

-максимальная точность, которую можно получить в конкретных условиях функционирования системы;

-необходимая точность, определяемая функциональным назначением показателя.

Достоверность информации определяется ее свойством отражать реально существующие объекты с необходимой точностью .Измеряется достоверность информации доверительной вероятностью необходимой точности, т.е. вероятностью того , что отображаемое информацией значение параметра отличается от истинного значения этого параметра в пределах необходимой точности.

Устойчивость информации отражает ее способность реагировать на изменения исходных данных без нарушения необходимой точности. Устойчивость информации, как и репрезентативность, обусловлена выбранной методикой ее отбора и формирования.

Репрезентативность, содержательность, достаточность, доступность, устойчивость определяются на методическом уровне разработки информационных систем.

Актуальность, своевременность, точность и достоверность обуславливаются на методическом уровне, однако на их величину существенно влияет и характер функционирования системы (надежность).

Параметры актуальности и точности жестко связаны соответственно с параметрами своевременности и достоверности.

Лекция №3,4

Тема: ИНФОРМАЦИОННАЯ МЕРА ШЕННОНА.

1. Информационная мера Хартли. Аддитивность информационной меры Хартли.

Рассмотрим два источника информации:

A a , a		,..., a	N
,	2
B b ,b		,...,b
1	2	M



При одновременном наблюдении

( a b ),(a b ),..., (a b											M		),
	1		1	1			1	1
( a	2	b ), (a		2		b ),..., (a			2	b		M		),
			1				2
..........			..........					................						,
( a	N		b ), (a		N		b ),..., (a			N		b		M	)
			1					2

Количество символов на выходе источника С:

l	c	NM
	c

Мера Хартли: Ic log 2 lc log 2 NM log 2 N log 2 M

I	c	I	A	I	B
	c		A		B

2. Информационная мера Шеннона. Связи с мерой Хартли.

Количество информации H ( ) при наблюдении случайной

X x1, x2 ,..., xn с распределением вероятностей

P p1,

величины

p	,..., p
2	n

задается формулой Шеннона:

H ( ) pi log 2l / pi

i l

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении p1 p2 ... pN N1 количество информации задается формулой Хартли:

	N	1
I		1	log				N log 2 N
I		N	log	2			N log 2 N
	i 1	N
	i 1
Справедливы следующие соотношения:
1)0 H ( ) log					2		N;
					2
2)N 2, p		p				0,5, H ( ) 1;
	1		2
3)H ( , ) H ( ) H ( ),
если и - независимы

3. Количество информации и энтропия. (Смотри конспект лекций).

Количество информации и избыточность

Количество информации H ( ) при наблюдении случайной величиныX x1, x2 ,..., xn с распределением вероятностей P p1, p2 ,..., pn

задается формулой Шеннона:

H ( ) pi log 2l / pi

i l

При равномерном распределении

Хартли:

p	p	2	... p			N
1		2				N
			N	1
	I			1	log			N
	I			N	log		2	N
			i 1	N
			i 1

1 N

количество информации задается формулой

log	2	N
	2

Справедливы следующие соотношения:
	1)0 H ( ) log		2	N;
			2
	2)N 2, p	p	0,5, H ( ) 1;
	1	2
	3)H ( , ) H ( ) H ( ),
если	и - независимы

Избыточностью называется p 1 H( ) / max H( ) 1 H( ) / log 2 N

Пусть

I kH ( ), I lH ( )

поэтому

H ( ) H ( ), max H ( ) log 2 N

k l

IH ( )

H ( )

IH ( )

log 2 N

H ( )

log 2 N

Аддитивность информационной меры

Рассмотрим два источника информации:

При одновременном наблюдении

Мера Хартли:

Ic log 2

a , a

,..., a

b ,b

,...,b

(a b ),(a b ),..., (a b

b ), (a

b ),..., (a

....................................,

b ), (a

b ),..., (a

)

lc log 2 NM log 2 N log 2 M

I	c	I	A	I	B
	c		A		B

Мера Шеннона Пусть А и В независимы, тогда


P	p		, p		,..., p		N
A	1		2				N
P	q	, q		,..., q		M
B	1		2			M

p(a	b	j	) p	q	j
i		j	i		j

H (C)

) log

i j

) log

p(a b

i 1

j 1

p(a b

)

i 1

j 1

p(a )

i 1

j 1

p(b

)

(log

)

(log

)

i j

)

p(a )

p(a b

p(b

)

p(a b

i 1

j 1

i 1

p(a b

) p

p(a b

) q

j 1

i 1

поэтому

H (C)

log

p log

i 1

j 1

H(C)=H(A)+H(B)

4. Свойства энтропии дискретного источника сообщений.

5. Количество информации и избыточность.

Дискретные системы связи - системы, в которых как реализации сообщения, так и

реализации сигнала представляют собой последовательности символов алфавита, содержащего конечное число элементарных символов.

	Пусть				и - случайные величины с множествами возможных значений			X x1 , x2 , ... , xn
Y y	1	, y	2	, ... , y	m	.

	Количество информации H( ) при наблюдении случайной величины						X {x1 , x2 ,..., xn }
распределением вероятностей P {p1 , p2 , ... , pn } задается формулой Шеннона:

H ( ) pi log 1 / pi .

i 1

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два

равновероятных значения.

При равномерном распределении p1 p2 ... pN

Хартли:

H( ) log	2	N
	2

Справедливы следующие соотношения:

количество информации задается формулой

1)	0 H( ) log	2 N;
2)	N 2, p1 p2	0,5, H( ) 1;
3)	H( , ) H( ) H( ), если		и - независимы.
Избыточностью называется p 1 H( ) / max H( ) 1 H( ) / log2				N.

Рассмотрим примеры.

Пример 1. Имеются два источника информации, алфавиты и распределения вероятностей которых заданы матрицами:

X	x	1	x		,	Y	y	1	y	2	y	3	.
X		1				Y	y		y		y
			2

P	p		p			Q	q	1	q	2	q	3
		1		2				1		2		3
		1		2

Определить, какой источник дает большее количество информации, если

p2 ; q1

q3 ;

p	q	; p	q	q	;
1	2	1	2	3

Решение. Для первого источника при равновероятном распределении воспользуемся формулой Хартли. Для X и Y имеем

H( ) log 2 1

H( ) log2 3 1 H( ) H( ).

Следовательно, источник с тремя символами дает большее количество информации. Для второго случая воспользуемся формулой Шеннона:

H( ) p1 log2 1/ p1 p2 log2 ; с учетом условия задачи имеем p1 q1 ; p2 q2 q3 ;

H( ) q1 log2 1/ q1 q2 log2 1 / (q2 q3 ) q3 log2 1/ (q2 q3 ).

С другой стороны,

<<< < Предыдущая 12 / 62 3 4 5 6 > Следующая >>>