Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Шпоры по сетям ЭВМ / Ответы на вопросы по сетям 2003г.doc
Скачиваний:
70
Добавлен:
02.05.2014
Размер:
5.57 Mб
Скачать
  1. Энтропия. Пропускная способность симметричного канала с шумами.

Энтропия – это удельное количество информации, приходящееся на один элемент сообщения.

Энтропия – Ко­ли­чественная мера неопределенности, которая выражает как функция множества вероятностей каждого из возможных исходов.

Объект может содержать информацию, количество которой оценивается на основе логарифма

I = log2 m, где m – число состояний

Пример: среднее количество информации, приходящееся на одну букву алфавита:

Если вероятности появления различных букв алфавита неодинаковы, то можно говорить о распределении вероятности:

Канал связи с шумами:

Пусть источник двоичный, т.е. имеет два состояния 0 и 1. Энтропия зависит от вероятности встречаемости 0 и 1. Пусть они равновероятны, т.е. p0=p1=0.5, тогда энтропия источника сигнала (мера неопределенности)

H(X)=p0·log2 p0 + p1·log2 p1 = 1

q – вероятность искажения каждого передаваемого символа (одинакова для 0 и 1)

Такой канал связи называется – Двоичный симметричный канал с независимым распределением ошибки (каждая посылка не зависит от других)

Определим энтропию сигнала:

- энтропия приема сигнала Y при передаче сигнала X0, аналогично .

Общая энтропия:

При подстановке получим

p(X0) = p(X1) = 0.5

Энтропия – мера неопределенности – потеря информации из-за шумов

Потеря информации при передаче определяет пропускную способность канала связи:

, где C – скорость канала (пропускная способность без шумов)

Пример:

С = 100 bit/sec, q=0.01 – вероятность искажения

ΔI = 100(1-[0.99·log0.99+0.01·log0.01]) = 92 bit/sec (уменьшение )

Для различных пропускных способностей C3>C2>C1 будут различные вероятности искажения q3>q2>q1. Т.е. надо найти оптимальную скорость передачи.

Несимметричный канал с независимым распределением ошибок (q0 ≠ q1)

H(X) ≠ 1, H(X) = p0·log p0 + p1·log p1

  1. Энтропия. Пропускная способность канала со стиранием.

q – вероятность ошибки, w – вероятность стирания («сигнал не распознан»)

Определим пропускную способность канала со стиранием

H(X)=p0·log2 p0 + p1·log2 p1 = 1 (при равной вероятности «0» и «1», т.е. p0=p1=0.5 )

p(Y0/X0)=1-q-w p(Y1/X0)=q p(Y2/X0)=w

p(Y0/X1)=q p(Y1/X1)=1-w-q p(Y2/X1)=w

H(Y/X0) = -[(1-w-q)·log2(1-w-q) + w·log2 w + q·log2 q]

H(Y/X1) = H(Y/X0)

H(Y/X) = p0·H(Y/X0) + p1·H(Y/X1) = -[(1-w-q)·log2(1-w-q) + w·log2 w + q·log2 q]

Пропускная способность будет равна ∆I=[H(X)-H(Y/X)]·C, где C – скорость канала.

  1. Энтропия. Пропускная способность ненадёжного канала.

q – вероятность ошибки при передаче сигнала

Определим пропускную способность ∆I ненадёжного канала, учитывая, что

p(x0)+p(x1)+p(x2)=1

H(X) = p0·log2 p0 + p1·log2 p1 + p2·log2 p2

p(Y0/X0)=1-q p(Y1/X0)=q p(Y2/X0)=0

p(Y0/X1)=q p(Y1/X1)=1-q p(Y2/X1)=0

p(Y0/X2)=0 p(Y1/X2)=0 p(Y2/X2)=1

H(Y/X0) = -[(1-q)·log2(1-q) + q·log2 q]

H(Y/X1) = H(Y/X0)

H(Y/X2) = -[1·log2 1] = 0

H(Y/X) = p0·H(Y/X0) + p1·H(Y/X1) + p2·H(Y/X2) = -[(1-q)·log2(1-q) + q·log2 q] ·(p0+p1) =

= -[(1-q)·log2(1-q) + q·log2 q] ·(p0+p1)

Пропускная способность будет равна ∆I=[H(X)-H(Y/X)]·C, где C – скорость канала.