1.Понятие взаимной информации

Энтропия – среднее количество информации на одно сообщение, которое формируется источником.

-потеря информации

T – среднее время передачи 1 сообщения

,

Физический смысл:

скорость форм.источника информациипердача – фильтрация, потери, помехи в процессе распространения в ЛС добавл. Помехи (случайные, КС) увеличивается количество информации в

Взаимную информацию м. определить:

Если воспользоваться теоремой умножения вероятностей для взаимосвязанных сообщений, то

получим: симметрич формула 2.Свойства взаимной информации

1. 

2. ., откуда следует

3. ., т. к. существуют потери в КС.

4. , т. к. существуют потери в КС.

5. Если В=А и учитывая, что, то , т.е. энтропия источника есть его собственная информация.

3.Информация в непрерывных сигналах, дифференциальная энтропия

Закон распределения для данного момента времени: . W(s) - плотность распределения.

При

. Энтропия источника генерирующего случайную величину

Непрерывный сигнал содержит число признаков

; ;

Работа систем аналоговой связи : суть состоит в том, что 1) мы интересуемся частью информации в аналоговом сигнале (сигнал подавляется фильтрацией), 2) изменение информации при передаче информации взаимная, а не полная энтропия нас интересует, рассматрив. приращ. энтропии вел-ны не будут 3) дифференциальная энтропия – характеристика непрерывного источника. Для непрер.случайн. величины с законом изменения- интеграл от произведения этой величины на закон распр.этой величины. х – непрерывная случайная величина.

Дифференц.энтропия нормального распределения зависит от мощности сигнала ;S, U – непрер-е случ.величины

;в {}усл.плотность вероя-и 2 источ-в

4.Понятие пропускной способности канала святи

1[бит/символ] – пропускная способность потока.

Пропускная способность – характеристика канала связи – экономичность информации. Экономия энергии и временных затрат на передачу.

2. [Бит/с]

Достигаем max С за счет скремблирования, фильтрации, переноса спектра. При этом свойства канала используется наилучшим образом.

-передачи КС, достигаемая за счет предварительного преобразования сигнала. Экономичность представления сигналов в этом канале, оценивается Бит/симв

передачи в КС, достигаемое за счет оптимизации временных характеристик сигналов, оптимизации частот этих сигналов.

Пропускная способность – некий предел к которому стремится скорость передачи. Реальные нагрузки КС< С пропускной способности канала

Способ кодирования передачи бит как процесс во времени. Время, тратившееся на передачу одного символа – техническая скорость передачи (Бит/с). Коэффициент передачи = отношению скорости передачи к пропускной способности - для дискретных каналов.

5.Пропускная способность непрерывного канала связи

F-полоса пропускания КС, те диапазон частот. - интервал дискретизации.

Пропускная способность на один отсчет -

.Дифференциальная энтропия – энерг характ источника, условн.энтропия- потери в КС.

Пусть .

дифференциальная условная энтропия сообщения Z при известном U.

дифференциальная энтропия на выходе КС

Поскольку шум аддитивный, то ;

дифференциальная энтропия

Чем шире полоса частот, тем больше информативных параметров источника можно использовать.Чем больше полоса, тем больше пропускная способность. Cкорость нарастания ограничена, при уменьшении шумов мы не можем сделать их 0, и параметры сигнала мы не можем сделать .