Лекция 6

Тема 4. Информационные основы передачи сообщений по каналам связи.

Тема лекции 6. Информационные характеристики источников сообщений и каналов связи.

1. Информационные характеристики источников сообщений.

1.1. Информационные характеристики источников дискретных сообщений.

1.2. Энтропия источников непрерывных сообщений.

2. Информационные описание каналов связи.

Необходимость изучения вопросов темы 4

При передаче информации необходимо ее каким-то образом численно оценивать.

- Как много надо передать информации?

- Как быстро можно передавать информацию?

- Определить условия согласования в информационном отношении источников и потребителей с каналом.

- Оценить эффективность средств связи и как ее улучшить.

Вопрос 1.

Информация – некоторая совокупность сведений, составляющих меру наших знаний в тех или иных событиях.

 Количество полученной информации равно неопределенности (неопределенность в выборе передаваемого сообщения не от смысла передаваемых сообщений, а от их общего числа).

Интуитивные представления и требования к мере количества информации.

- мера количества информации = 1, для опыта с 1 исходом.

- должна быть пропорциональна количеству равновероятных исходов.

- обладать свойством аддитивности опытов, т.е. информационная сложимость опыта есть сумма информационных составляющих.

- исходам с меньшей вероятностью должно соответствовать большее количество информации.

1.1. Информационные характеристики источников дискретных сообщений.

Пусть источник дискретных сообщений выдает некоторые сообщения, а из ансамбля условились количество информации в этом сообщении определять (4.1)

в основном k = 2

в дальнейшем k – не пишем, а считаем, что k = 2.

(4.1)

Е сли k = 2 – бит log₂

k = 10 – дит log₁₀

k = e – Мит ln

J (a_i) – не учитывает полезность, ценность или важность сообщений  для математической модели (отказ от учета качества информации) это строгость формулируемых утверждений. Тем более каналы связи сами по себе безразличны к качественным характеристикам передаваемых сообщений.

Качество информации в средствах связи может быть учтено введением категорий и приоритетов сообщений, разных требований к надежности их передачи и т.п.

a₁, a₂, …, a_i, …, a_ma – алфавит источника,

m_a – объем алфавита.

p(a₁), p(a₂), …, p(a_i), …p(a_ma) – вероятности появления символов на выходе источника сообщений.

Знание частной информации J(a_i) недостаточно и не всегда необходимо. Для согласования источника сообщений с каналом связи необходимо знать информацион­ные свойства источника сообщений. В целом интересующую характеристику можно рассматривать как мат-ожидание дискретной С.В.

t = сумма произведений значению дискрет. СВ на вероятность

Cлучай 1.

Если символы источника равновероятны и независимы

p(a₁) = p(a₂) = … = p(a_i) = … = p(a_ma) =1/m_a

J(a_i) = log p(a_i) = -log (1/m_a) = log m_a – каждый символ несет одно и тоже количество информации.

Энтропия – среднее количество информации, приходящееся на 1 символ.

H₀(A) = log m_a (4.2)

m_a1 = 2  H₀ = 1 бит

m_a2 = 8  H₀ = 3

m_a3 = 32  H₀ = 5

Как МО случ. дискрет.

Случай 2

Символы источника неравновероятны и независимы.

(4.3)

«Энтропия» заимствована из термодинамики, где она характеризует аналогичное по форме выражение, характеризующее неопределенность состояния физической системы.

В теории инф – э н т р о п и я характеризует неопределенность ситуации до передачи, т.е. мера неопределенности сообщения.

Пример 4.1

Свойства энтропии.

1. Энтропия есть величина вещественная, ограниченная, неотрицательная.

2. Если опыт имеет один исходный символ H(A) ≥ 0, то Н(А) min n = 0.

3. Энтропия max, если все исходные символы опыта равновероятны.

4. Энтропия опыта с 2-мя исходными может изменяться от 0 до 1.

5. Энтропия возрастает с увеличением числа исходов.

Случай 3

Символы источника неравновероятны и зависимы p(a_l/a_k) – условная вероятность появления символа a_l; вероятность появления символа a_l, при условии, что до этого передавался символ a_k.

J(A_l/a_k) – среднее количество информации, содержащееся в символе a_l, если предыдущим был символ a_k,  частная условная энтропия символа a_l

усреднение по l

J(A_l/a_k)

J(A_l/A_k) = H₂(A)  ср. кол-во инф. в символе a_l (полная условная) энтропия.

усреднение по k

(4.4)

По теореме умножения ветвей

p(a_k)p(a_l/a_k)=p(a_k,a_l)

Если источник распространяет 3 символа a_j, a_k, a_l

(4.5)

Пример 4.2.

Следствия

1. Если символы источника зависимы, то каждый из них несет в среднем меньшее количество инф. по сравнению с независимыми.

2. Уменьшение разницы между условными вероятностями приводит к увеличению энтропии (как и для независимых символов)

p(a1/a1) = p(a2/a2) = 0,2  0,469 бит

p(a1/a1) = p(a2/a2) = 0,3  0,881 бит

p(a1/a1) = p(a2/a2) = 0,5  1,0 бит – значение безусловной энтропии.

3. Условная энтропия изменяется в диапазоне от 0 до значения безусловной энтропии.

4. Условная энтропия уменьшается с увеличением числа символов, между которыми существует статическая взаимосвязь.

H₀>H₁>H₂>…>H_n

Для русского текста H₀ = log₂32 = 5 бит; H₁ = 4,35 бит; Н₂ = 3,52 бит;

H₃ = 3,01бит, H₄ = бит.

Порой сообщения имеют некоторую избыточность

Пример – в телеграммах нет союзов;

– можно текст сократить в 2 раза и восстановить его.

Наличие избыточности увеличивает помехоустойчивость, но излишне загружает канал связи. Для принятия решения о увеличении или уменьшении избыточности надо измерять ее количественно.

т.к. Hn < H0, то

можно утверждать, что сообщения, у которых энтропия символов меньше max явл. избыточными.

К оэффициент избыточности

Коэффициент сжатия

Пример 4.3

Производительность источника отражает его динамические св-ва  кол-во инф., выдаваемое источником в ед. времени

Обозначим: τ_а – длительность символа

H’(A) – производительность источника

Производительность источника, если символы посылаются равномерно:

(4.6)

В общем случае при определении производительности источников следует учитывать как скорость выработки символов, так и скорость посылки в канал сообщений, составленных из этих символов.