Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
ТОИ.pdf
Скачиваний:
18
Добавлен:
11.12.2024
Размер:
1.82 Mб
Скачать

Производительность источника дискретных сообщений

Помимо избыточности, важным параметром, характеризующим любой источник с фиксированной скоростью выдачи сообщений, определяемая как 1/Tи, является его производительность

H '( A) =

H ( A)

=

 

 

=

1

=

H ( A)

 

 

и

 

 

 

T

 

 

 

T

и

 

 

 

 

 

 

 

 

 

 

и

 

 

 

и

 

 

При максимальной энтропии производительность равна

(14)

R

=

H

max

( A)

= H

 

( A) = log

 

N =

log

2

N

 

 

 

 

 

 

 

 

 

max

2

 

 

 

и

 

 

T

 

 

 

 

T

 

 

 

 

 

 

 

 

 

 

 

 

 

 

и

 

 

 

 

 

 

и

 

Энтропия источника непрерывных сообщений

(15)

Рассмотрим источник непрерывных сообщений, на выходе которого в каждый момент времени t появляются сигналы S(t). Эти сигналы с бесконечно малой вероятностью могут принимать бесконечное число значений. Если бы сообщения могли передаваться по каналу абсолютно точно без искажений, то они содержали бы неограниченное количество информации. На самом деле изза помех и искажений количество информации, получаемой от такого источника, следует определять как разность энтропии до получения информации и после.

Обратимся к сигналу S(t), возможные значения которого в момент времени t характеризуются плотностью распределения вероятностей ω(S), показанной на рис. 2.

Рис 2. Плотность распределения вероятностей значений сигнала источника непрерывных сообщений.

Произведем квантование области значений S с шагом S. Вероятность попадания некоторого значения S в пределы i-ого шага квантования равна P(Si) ≈ ω(SiS. При этом приближение тем точнее, тем меньше интервал (шаг квантования S). Энтропия такого «дискретного» сигнала

 

 

 

 

 

 

 

 

1

(16)

 

 

 

 

 

 

M log

(S ) S

 

=

(S ) S log

 

 

 

2

i

 

 

i

2

(S ) S

 

 

 

 

 

 

i

 

 

i