1. Элементы теории информации. Дискретный и непрерывный источник информации, их характеристики.

Теория информации является математической дисциплиной, изучающей 2 объекта:

• Источник информации.

• Канал передачи информации.

Источник информации характеризуется количеством информации, содержащейся в элементе сообщения.

Канал передачи информации характеризуется пропускной способностью измеряемой количеством информации, переносимой элементом сообщения или передаваемой по каналу в единицу времени.

Дискретный источник информации – такой источник, множество сообщений которого является конечным. Такой источник характеризуется априорными вероятностями появления сообщений на его выходе. Пусть сообщения дискретного источника будут 1, 2,… n. Тогда P(1)+P(2)+…+P(n)=1. Важной характеристикой дискретного источника является энтропия. Значение энтропии источника показывает количество информации, содержащееся в одном знаке сообщения (бит):

где P(ai) – вероятность появления символа на выходе источника.

Свойства энтропии:

1. Непрерывная положительная функция H(i)>=0;

2. Если P(i)=1, то энтропия=0 (нет неопределенности).

3. Энтропия максимальна, когда состояния источника равновероятны P(1)+...+P(n)=1/n.

4. Энтропия суммы независимых сигналов равна сумме энтропий этих сигналов.

5. Энтропия суммы зависимых сигналов X и Y равна H(X,Y)=H(X)+H(X|Y)=H(Y)+H(Y|X).

H(Yi|Xk) – условная энтропия – количество информации, содержащееся в сигнале Yi, появившемся после X

Алфавит источника – совокупность всех символов, которые могут возникнуть на выходе источника.

Производительность источника – количество информации, поступающей от источника за единицу времени:

где ср – среднее время передачи 1 сообщения; i – длительность i-го сообщения.

Коэффициент избыточности источника:

Непрерывный источник. Сообщения на выходе такого источника могут принимать любые значения (бесконечное множество) в некоторой непрерывной области. Значения сообщений этого источника характеризуется плотностью вероятностей w(,t) и функцией распределения вероятностей F(,t). Функция распределения вероятностей показывает вероятность того, что в момент t реализация  примет значение <.

2. Каналы передачи информации, их информационные характеристики.

Канал связи - совокупность средств, предназначенных для передачи сообщений (под «средством» по­нимаются и технические устройства, и линия связи — физическая среда, в которой распространяется сигнал между пунктами связи).

Классификация каналов связи:

1)В зависимости от назначения систем ка­налы связи делят на: телефонные, телевизионные, телеграфные, фототелеграфные, звукового вещания, телеметрические, смешан­ные и т. п.

2)В зависимости от того, распространяется ли сигнал между пунктами связи в свободном пространстве или по направ­ляющим линиям, выделяют каналы радио- и проводной связи (воздушные и кабельные линии связи, волноводные СВЧ трак­ты и т. п.).

3)В зависимости от вида представления сообщения на входе и выходе канала связи: непрерывные (на входе и выходе сигналы непрерывны. Например, канал между модулятором и демодулятором в любой системе связи), дискретные (на входе и выходе сигналы дискретны) и полунепрерывные каналы (на одном из концов (входе или выходе) сообщения может быть представлено в цифровой форме, а в другом – в аналоговой или дискретно-аналоговой).

Канал передачи информации характеризуется:

1)-Входным алфавитом (Ак), который должен соответствовать алфавиту источника информации, в противном случае между источником и каналом надо установить кодирующее устройство, согласующее алфавиты. Это кодирующее устройство можно считать каналом.

2)-Выходным алфавитом (Вк), который из-за воздействия помех может не совпадать с входным.

3)-Скоростью передачи информации, которая определяется средним количеством информации, передаваемым по каналу в единицу времени.

4)-Пропускной способность, максимально возможной для данного канала скоростью передачи информации.

5)-Информационная ненадёжность канала-если в канале связи возникли ошибки или искажения, то после приёма сигнала остаётся некоторая неопределённость, тот ли сигнал передавался.