Гуманитарные аспекты теории информации

СОДЕРЖАНИЕ

1.ЗАДАЧА 1. Исследование источника дискретной информации….……..5

2.ЗАДАЧА 2. Помехоустойчивое кодирование……………..……….…….13

3.ЗАДАЧА 3. Корреляционный анализ сигналов …………………….…...23

4.ЗАДАЧА 4. Дискретизация сигналов. Спектры дискретизированных сигналов ..………………………………………….25

5.БИБЛИОГРАФИЧЕСКИЙ СПИСОК………….…………………………29

6.ПРИЛОЖЕНИЯ.….………………………………………………….…….30

Задача 1

Тема: Исследование источника дискретной информации

По заданному сообщению (фамилия, имя и отчество студента) опреде-

лить:

1.Длину сообщения – Lа.

2.Объем алфавита – mа.

3.Вероятности символов – p(ai).

4.Тип источника.

5.Энтропию источника – H ( A) .

6.Количество информации, содержащееся в каждом символе I(ai) и во всем сообщении Iсообщ.

7.Минимальное число двоичных символов, необходимых для кодиро-

вания данного сообщения – Lk min.

8.Коэффициент избыточности источника информации – rист.

9.Закодировать сообщение эффективными двоичными кодами Шенно-

на-Фано и Хаффмена, а также для сравнения равномерным двоич-

ным кодом МТК-2.

10.Подсчитать число символов, необходимых для кодирования данного сообщения – LШ-Ф и LХаф; сравнить эти числа с минимально необхо-

димым числом двоичных символовLk min и с необходимым числом символов равномерного двоичного кода Lравн.

11.Определить коэффициент избыточности после кодирования сообще-

ния равномерным кодом– rравн. и эффективными кодами– rШ-Ф и

rХаф.

12.Сделать выводы.

Краткие сведения из теории

Задача любой системы связи – передать информацию. По Эшби, инфор-

мация – это то, что устраняет неопределенность и измеряется степенью устра-

ненной неопределенности. Количественно неопределенность события выра-

жается его вероятностью.

Информация, предназначенная для передачи куда-либо, называется со-

общением. Сообщение может быть воспринято человеком лишь в том случае,

если он в состоянии принять сигналы – материальные носители информации.

Информация, содержащаяся в сигнале, заключена в изменении одного или нескольких параметров этого сигнала.

Если число различных состояний информационного параметра сигнала конечно, то такой сигнал (а соответственно и источник информации) называ-

ется дискретным.

Совокупность возможных состояний источника называется алфавитом источника {А}, а количество различных символов, из которых составляются сообщения, называется объемом алфавита ma.

Вероятности символов определяются по формуле

p(ai ) = n(ai ) , Lа

где n(ai) – количество символов ai в сообщении;

Lа – количество всех символов в сообщении.

Полученные значения p(ai) рекомендуется занести в табл. 1.1.

Iсообщ = Lа H(A), бит.

Для того чтобы передать сообщение по каналу, его необходимо закоди-

ровать двоичным кодом.

Поскольку общее количество информации в сообщении до и после -ко дирования не должно измениться, справедливо равенство

Lа H(A) = Lk min Hmax(K),

где Lk min – минимальное число символов в закодированном сообщении;

Hmax(K) – максимальная энтропия сообщения на выходе кодера.

Для двоичных кодеров Hmax(K) = 1 бит/символ, тогда минимальное чис-

ло двоичных символов, необходимых для передачи сообщения, определяется как ближайшее большее целое число к правой части равенства

Lk min = Lа H(A).

Свойство источника информации, заключающееся в том, что энтропия не максимальна, называется избыточностью.

Количественно потеря информации, приходящаяся на один произволь-

ный символ источника, связанная с неравновероятностью выбора символов и наличием между ними вероятностных связей, определяется коэффициентом избыточности

Коэффициент избыточности представляет собой безразмерную величи-

ну, заключённую в пределах от 0 до 1, и равен нулю, если энтропия источ-

ника максимальна.

Эффективное кодирование

С целью уменьшения избыточности сообщения кодируются эффектив-

ными кодами. Суть эффективного кодирования заключается в том, что симво-

лам, имеющим бóльшую вероятность, присваиваются более короткие кодовые комбинации, а символам, имеющим меньшую вероятность, – более длинные кодовые комбинации. При этом короткие кодовые комбинации встречаются чаще и средняя длина кодовой комбинации уменьшается.

Рассмотрим алгоритм работы кодера Шеннона-Фано на примере коди-

рования сообщения с неравновероятными независимыми символами (табл. 1.3).

Код строят следующим образом. Все символы алфавита источника со-

общений вписывают в столбец в порядке убывания вероятностей. Затем их разделяют на две группы так, чтобы суммы вероятностей в каждой из групп были по возможности одинаковы. Всем знакам верхней половины в качестве