3. Энтропия. Пропускная способность симметричного канала с шумами.

Энтропия – это удельное количество информации, приходящееся на один элемент сообщения.

Энтропия – Ко­ли­чественная мера неопределенности, которая выражает как функция множества вероятностей каждого из возможных исходов.

Объект может содержать информацию, количество которой оценивается на основе логарифма

I = log₂ m, где m – число состояний

Пример: среднее количество информации, приходящееся на одну букву алфавита:

Если вероятности появления различных букв алфавита неодинаковы, то можно говорить о распределении вероятности:

Канал связи с шумами:

Пусть источник двоичный, т.е. имеет два состояния 0 и 1. Энтропия зависит от вероятности встречаемости 0 и 1. Пусть они равновероятны, т.е. p₀=p₁=0.5, тогда энтропия источника сигнала (мера неопределенности)

H(X)=p₀·log₂ p₀ + p₁·log₂ p₁ = 1

q – вероятность искажения каждого передаваемого символа (одинакова для 0 и 1)

Такой канал связи называется – Двоичный симметричный канал с независимым распределением ошибки (каждая посылка не зависит от других)

Определим энтропию сигнала:

- энтропия приема сигнала Y при передаче сигнала X₀, аналогично .

Общая энтропия:

При подстановке получим

p(X₀) = p(X₁) = 0.5

Энтропия – мера неопределенности – потеря информации из-за шумов

Потеря информации при передаче определяет пропускную способность канала связи:

, где C – скорость канала (пропускная способность без шумов)

Пример:

С = 100 bit/sec, q=0.01 – вероятность искажения

ΔI = 100(1-[0.99·log0.99+0.01·log0.01]) = 92 bit/sec (уменьшение )

Для различных пропускных способностей C₃>C₂>C₁ будут различные вероятности искажения q₃>q₂>q₁. Т.е. надо найти оптимальную скорость передачи.

Несимметричный канал с независимым распределением ошибок (q₀ ≠ q₁)

H(X) ≠ 1, H(X) = p₀·log p₀ + p₁·log p₁

4. Энтропия. Пропускная способность канала со стиранием.

q – вероятность ошибки, w – вероятность стирания («сигнал не распознан»)

Определим пропускную способность канала со стиранием

H(X)=p₀·log₂ p₀ + p₁·log₂ p₁ = 1 (при равной вероятности «0» и «1», т.е. p₀=p₁=0.5 )

p(Y₀/X₀)=1-q-w p(Y₁/X₀)=q p(Y₂/X₀)=w

p(Y₀/X₁)=q p(Y₁/X₁)=1-w-q p(Y₂/X₁)=w

H(Y/X₀) = -[(1-w-q)·log₂(1-w-q) + w·log₂ w + q·log₂ q]

H(Y/X₁) = H(Y/X₀)

H(Y/X) = p₀·H(Y/X₀) + p₁·H(Y/X₁) = -[(1-w-q)·log₂(1-w-q) + w·log₂ w + q·log₂ q]

Пропускная способность будет равна ∆I=[H(X)-H(Y/X)]·C, где C – скорость канала.

5. Энтропия. Пропускная способность ненадёжного канала.

q – вероятность ошибки при передаче сигнала

Определим пропускную способность ∆I ненадёжного канала, учитывая, что

p(x₀)+p(x₁)+p(x₂)=1

H(X) = p₀·log₂ p₀ + p₁·log₂ p₁ + p₂·log₂ p₂

p(Y₀/X₀)=1-q p(Y₁/X₀)=q p(Y₂/X₀)=0

p(Y₀/X₁)=q p(Y₁/X₁)=1-q p(Y₂/X₁)=0

p(Y₀/X₂)=0 p(Y₁/X₂)=0 p(Y₂/X₂)=1

H(Y/X₀) = -[(1-q)·log₂(1-q) + q·log₂ q]

H(Y/X₁) = H(Y/X₀)

H(Y/X₂) = -[1·log₂ 1] = 0

H(Y/X) = p₀·H(Y/X₀) + p₁·H(Y/X₁) + p₂·H(Y/X₂) = -[(1-q)·log₂(1-q) + q·log₂ q] ·(p₀+p₁) =

= -[(1-q)·log₂(1-q) + q·log₂ q] ·(p₀+p₁)

Пропускная способность будет равна ∆I=[H(X)-H(Y/X)]·C, где C – скорость канала.