Теория информации.

1948 год.

Развивается по двум тропам: прикладная и теоретическая

Объект управления-> подсистема восприятия -> устройство сравнения (БД стандартных сигналов) -> система выработки управляющих сигналов -> исполнительный механизм -> объект управления (начало)

3 категории:

Информация

Сообщение

Сигнал.

Теория информации рассматривает каждое предыдущее звено как источник информации, а каждое последующее – приемник информации. В результате получаем информационную цепь. Но она никак не объясняет как получается информация.

В каждом сигнале будет помеху. Основная задачи системы – достижение минимального отличия входного и выходного сигнала.

Все звенья раделяют на 2 группы

1. все подсистемы, воспринимающие воздействие от управляемого или контролируемого объекта. Подсистема формирования первичного сигнала.

2. Подсистемы передачи, обработки и хранения информации.

Классическая модель системы связи.

Источник информации (сигнала) -> передатчик информации->канал связи (действуют помехи)-> приемное устройство-> информация.

На входе M(t), на выходе M*(t). Чем меньше отличается M от M* тем система лучше.

Информация это внутреннее содержание в процессе отражения особенностей одних материальных объектов в виде изменения свойств других объектов. Информацию называют отраженное многообразие.

Объект, свойства которого отображаются другим объектом, называются источником информации. Совокупность отображаемого в данный момент времени свойств источника образуют сообщение. Объект, отображающий свойства другого объекта, и изменяющий свои собственные свойства называются получателем информации.

Свойства информации:

1. Приносит заниние об окружающем мире, которых в рассматриваемой точке не было до получения сообщения.

2. Информация не материальна, на проявляется в форме материальных носителей, дискретных знаков и сигналов или в форме функции времени.

3. Информация может быть заключена как в знаках, так и в их взаимном положении.

4. Знаки и сигналы несут информацию только для получателя, способного его распознать.

Сигналы – динамические процессы, изменающиеся во времени, однозначно отображающие сообщение.

Различают информаионно активные и информационно пассивные. Пассивные только отображают информацию, а активные изменют свойства под ее действием. Все кибернетические и биологические системы – информационно активные.

Преобразование, кодирования и модуляция.

Модуляция – изменение одного из параметров несущего колебания в соответствии с передаваемым сообщение.

Для количественного определения информации сущесвуют 2 меры

1. Мера Хартли I=log N количество информации в одном сообщении Харкли считал равным логарифму от числа возможных состояний источника. Если основание логарифма будет 2, то будет количество информации будет бит. 1 бит = log ₂ 2. ! бит – количество информации при равновероятностном получении 0 или 1.

Если основании 10, то получается дит, 1Дит-3,32 бит

Если основание е то нит. 1нит – 1,44

Недостатки – применима лишь при следующих условиях:

1. Отсутствие влияния на сигнал помех, шумов, и других неоднозначных преобразований.

2. Сигналы должны быть дискретны по времени и информативным параметрам. Последовательности символов должна быть конечной.

3. Все состояния источника должны быть равновероятными и вероятностные связи между символами отсутствуют.

2. Шеннон связал количественную меру информации с частотой появления различных состояний источника. Любой источник характеризуется законом распределения вероятностей состояния. Поэтому процесс получения информации математически можно характеризовать изменением распределения вероятности. В математическом аспекте это распределение и является информацией.

Количественная мера эта некоторые числовые показатели, характеризующие отличие после получения сообщений от априорных (до получения сообщения).

Задача.

Каждая из 12 монет, взятая наугад может оказаться фальшивой. Какое наименьшее число взвешивание на рычажных весах без гирь необходимо произвесте. Масса фальшивой манеты отличается.

I = log₂12 = 3,58

I = log₂3= 1,58 – количество состояний рычажных весов (равновесие левая тяжелее, и правое)

Количество взвешиваний = I/I =2,26

Колода карт состоит из 32 карт (от 7 и выше). Игрок 1 вытаскивает любую карту. Игрок 2 должен угадать карту, задаваю игроку 1, вопросы, на которые он будет отвечать да или нет. Определить минимальное число вопросов, гарантирующий отгадование вытянутой карты.

И= log₂32 = 5бит

Количественное определение информации по Шеннону.

Высоковероятной является группа, в которой по мере возрастания длительности сообщения суммарная вероятность появления любой реализации приближается к 1. Это свойство и использовал Шеннон.

Есть алфовит, с n элементами. Вероятность поялвения любого символа Pi. Есть слово из к элементов.

символ	Х1	Х2	…	хi	…	Xn
Вероятность появления	Р1	Р2	…	Pi	…	Pn
Число появлений	K1	K2	…	Ki	…	Kn

Если символов несколько, то вероятность

Полученная вероятность есть ничто иное, как вероятность появления одной реализации высоковероятной группы. То есть одного из n^k возможных сообщений. Значит вероятность появления iго символа как Ki/К

Ki=K*Pi

Основным свойством высоковероятной группы является практическая равновероятность появления всех ее реализацй. Поэтому можно использовать для высоквероятной группы формулу хатрли.

-logPi = - log∏Pi^kpi

Физические свойства энтропии.

Аксиомы Шеннона.

1. Меры неопределенности есть непрерывные функции вероятности состоянии источника информации.

2. Для источника с равно вероятноми состояниями мера неопределенности увеличивается с ростом числа состояний.

3. При раскрытии неопределенности есть свобода выбора.

Энтропия есть величина вещественная, ограниченная и не отрицательная.

Для системы с 1м возможным состоянием энтропия равна 0.

Если вероятности состояний источника изменяются так, что их величины сближаются, то энтропия увеличивается.

Энтропия максимальна, в случае равновероятных состояний источника.

Абонент забыл 2 цифры и помнил, что эти цифры различны. Набрал их на удачу. Найти, какое количество информации содержиться в сообщении, что цифры набраны правильно.

I=-logP

Событие А – набраны 2 нужные цифры. Искомая вероятность Pа =

В парте из 10 деталей 7 стандартных. Какое количество информации содержиться в сообщении, что среди 6, взятых на угад детали ровно 4 стандартный.

Энтропия объединения H(X,Y) = m1[-logP(XY)]

Теорема сложение энтропии для зависимых источников.

Условная энтропия представляет собой добавочную энтропию, которую дают сообщения Y при условии, что энтропия сообщения X уже известна. H(XY) = H(X) + H(Y/X)

H(X1,X2….Xs) = X1+H(X2/X1)+…+H(Xs/X1X2…Xs-1)

Опыт Х имеет 3 исхода Х1 Х2 Х3 со следующими вероятностями РХ1 = 0.2, Р(Х1) = 0.5 Р(Х3)=0.3.

I1=2,32

I2=1,74

I3=1

Среднее количество информации – количество информации умножить на вероятность и сложить

0.464=0.870=0.3=1,49бит

Определить дисперсию.

D(I) = [I(Xi)-m1[I(xi)]²=P(Xi)

0.28

Функция распределения

11.03.13

Информационные характеристики источников дискретных сообщений.

Источник сообщений является дискретным, если множество сообщений, которые могут быть им созданы конечны (или счетное). Каждое сообщение такого источника представляет собой дискретную последовательность k элементов, соответствующих одному из возможных его состояний. Все множество возможных состояний {a_m}. Любой источник, располагающий алфавитом из конечного числа элементов может образовать только конечное число различных сообщений заданной длины.

Если все одинаковой длинны К то общее число сообщений Q=m^k. Следовательно, каждое конкретное дискретное сообщение является одним из возможных и характеризуется вероятностью своего появления.

В общем случае вероятности появления различны, так как различны вероятности появления символов, но при определенной длине возможно что появления равны

Основными характеристиками является: энтропия, производительность (поток информации), избыточность.

Энтропия дискретного источника это среднее количество информации, приходящееся на элемент сообщения.

H(A) = -sum(p(ai)log(pi)

Энтропия характеризует вероятность появления символа источника и зависит только от его вероятностных характеристик.

Известно, какие могут быть состояния, известны вероятности появления этих состояний, но не известно какое состояние имеет место в данный момент. После того, как источник произвел выбор конкретного элемента, неопределенность устраняется.

H_ai­ = Log(1/p(ai))

Производительность источника сообщений. Это количество информации, вырабатываемое источником в единицу времени. Скорость создания сообщения. При отсутствии помех производительность равна энтропии приходящейся на единицу времени.

H’(A) = Ui H(A)

Ui – количество символов, вырабатываемых в единицу времени = 1/τi τi – средняя длительность выдачи источником одного знака.

H(A) – безусловная энтропия.

Повышение производительности достигается или снижением времени выдачи символа или за счет повышения энтропии.

Избыточность. Любой естественный язык обладает избыточностью. Это обеспечивает надежное общение при больших искажениях (дефекты речи, акцент и т.д.)

Различают реальные сообщения и оптимальные. Оптимальными являются сообщения, энтропия которых равна максимальному значению.

H­­_max(A) =

H­­(A) <H­­_max(A)

Коэффициент сжатия – мера количественной оценки того, насколько данное реальное сообщение отличается от соответствующего ему оптимального сообщения. µ = H­­(A)/ H­­_max(A) = n_min/n

H­­(A)*n= H­­_max(A)n_min

_­

Что б определить какая доля элементов может быть исключена используют коэффициент избыточности. Он лежит в пределах от 0 до 1.

Избыточность приводт к возрастанию времени передачи, нагрузки на канал связи, но необходимо для обеспечения помехоустойчивости.

Передача информации при отсутствии помех

k>= log(m)/log(b)

Чем меньше сигналов передатчика b тем проще передатчик, но длиннее кодовая комбинация. Необходимо решить 2 задачи кодирования:

1. Составление таких кодовых комбинаций, которые могут быть декодированные. Для этого необходимо выполнение следующих условий: каждое сообщение должно кодироваться своей, отличной от всех других кодовой комбинацией. Отличаться может и входящими сигналами и порядками их следования. При последовательной передачи должен быть введен признак, показывающий, где кончается одна кодовая комбинация, и начинается следующее. Признаком может быть одинкаовое число символов в коде (основание кода). Код – правило, по которому сопоставляется сигнал передатчика и сообщение источника.

2. Использование кода минимальной длины. В идеальном случае длинна должна быть равна энтропии источника.

Можно использовать равномерный двоичный код.

1. 0000 0000

2. 0001 0001

3. 0010 0011

4. 0011 0010

5. 0100 0110

6. 0101 0111

7. 0110 0101

8. 0111 0100

9. 1000 1100

10. 1001

11. 1010 1111

12. 1011

13. 1100

14. 1101

15. 1110

16. 1111 1000

	X1	X2	X3
Y1	0,1	0,15	0,05
Y2	0,05	0,03	0,02
Y3	0,3	0,2	0,1

Располагаем совместные вероятности сообщения x y . Расcчитать среднее и частное количество неопределенности в yj при известном исходе xi

-logP

3,32	2,73	4,32
4,32	5,05	5,64
1,73	2,32	3,32

-P*logP

0,332	0,4095	0,216
0,216	0,1515	0,1128
0,519	0,464	0,332

H = -log p(xi,yj)

H = sum(sum(P(xi,yj)logP(xi,yj))) = 2,7528

Энтропия хj относительно yi

H(Yj/Xi) = -logP(Yj/Xi)

P(Yj,Xi) = P(yj) P(xi/yj) = P(xi)P(yj/xi)

P(x1) = 0,45 P(x2) = 0,38 P(x3) = 0,17

P(x/Y) = P(x,y)/P(x)

0,222222	0,333333	0,111111
0,131579	0,078947	0,052632
1,764706	1,176471	0,588235

H(xi/yj)

2,169925	1,584963	3,169925
2,925999	3,662965	4,247928
-0,81943	-0,23447	0,765535