5. Расчет информационных характеристик источника сообщений и первичных сигналов

1. .Расчет информационных характеристик источника непрерывных сообщений

Сообщение непрерывного источника преобразуется в первичный аналоговый сигнал обычно без потери информации, поэтому расчеты информационных характеристик источника проводятся для первичного сигнала

Исходные данные для расчета:

• плотность вероятности мгновенных значений первичного сигнала ;

• максимальная частота спектра первичного сигнала ;

• отношение средней мощности первичного сигнала к средней мощности ошибки воспроизведения на выходе системы передачи .

Подлежат расчету:

• эпсилон-энтропия источника ;

• коэффициент избыточности источника ;

• производительность источника .

Сведения об эпсилон-энтропии и методах ее расчета даны в [1, разд. 4.7] - расчетная формула (4.63). Входящие в формулу (4.63) дифференциальная энтропия и условная энтропия вычисляются с помощью соотношения (4.30) в [1] при известных плотностях вероятности. Дифференциальная энтропия сигнала зависит от вида распределение вероятностей и дисперсии сигнала , и соответствующие расчетные формулы для ее вычислений приведены в табл. 1. У сигналов со средним значением равным нулю .

При расчетах полагают, что ошибка воспроизведения на выходе системы передачи является гауссовской, и условная энтропия вычисляется по формуле (4.34) в [1], в которую необходимо подставить значение дисперсии ошибки воспроизведения (мощности помехи на выходе системы передачи) . Значение определяется по заданному отношению сигнал/помеха и средней мощности сигнала по формуле (4.5).

Таблица 1. Дифференциальная энтропия для некоторых законов распределения случайных величин

Распределение вероятности	Дифференциальная энтропия , бит/отсчет
Нормальное распределение (рис. 3а)
Двустороннее экспоненциальное распределение (рис. 3б)
Равномерное распределение (рис. 3в)

Д о вычислений заданное в децибелах отношение необходимо представить в разах - формула (4.9).

1. Коэффициент избыточности источника вычисляется по формуле (4.10) из [1]. В эту формулу подставляются вычисленное значение эпсилон-энтропии и максимально возможное значение , достигаемое при нормальном распределении вероятности сигнала и той же дисперсии сигнала .

2. Производительность источника , которую называют эпсилон-производительностью, вычисляют в предположении, что отсчеты следуют через интервал Котельникова - формула (4.67) из [1]. В этой формуле - максимальная частота спектра первичного сигнала . Требования к пропускной способности непрерывного канала связи формулируются на основе теоремы кодирования для канала с помехами [1, разд. 4.6].

2. Расчет информационных характеристик источника дискретных сообщений

Исходные данные для расчета:

• объем алфавита источника ;

• вероятности знаков , образующих алфавит источника (предполагается, что знаки в сообщениях независимы);

• время передачи одного знака .

Подлежат расчету:

• энтропия источника ;

• коэффициент избыточности источника ;

• производительность источника .

Расчеты информационных характеристик можно выполнить на основе материала, изложенного в разд. 4.1 учебника [1] . Необходимые для расчетов вероятности букв в украинском, русском и английском текстах приведены в табл. 2, 3 и 4. Расчеты энтропии источника следует выполнять на ЭВМ либо программируемом калькуляторе.

Таблица 2. Распределение вероятностей букв в украинских текстах

Буква	Вероятность	Буква	Вероятность	Буква	Вероятность	Буква	Вероятность
Пробел	0.122	Р	0.040	З	0.018	Ж	0.007
О	0.090	С	0.034	И	0.017	Ц	0.006
А	0.074	Л	0.034	Б	0.016	Ю	0.006
И	0.059	К	0.034	Я	0.015	Ї	0.006
І	0.055	У	0.032	Г	0.013	Е	0.003
Н	0.053	Д	0.026	Ч	0.012	Ф	0.002
В	0.047	П	0.026	Ш	0.010
Т	0.044	М	0.023	Х	0.008
Е	0.041	Ь	0.021	Щ	0.008

Таблица 3. Распределение вероятностей букв в русских текстах

Буква	Вероят ность	Буква	Вероят ность	Буква	Вероят ность	Буква	Вероятность
Пробел	0.175	Р	0.040	Я	0.018	Х	0.009
О	0.089	В	0.038	Ы	0.016	Ж	0.007
Е,Ё	0.072	Л	0.035	З	0.016	Ю	0.006
А	0.062	К	0.028	Ь,Ъ	0.014	Ш	0.006
И	0.062	М	0.026	Б	0.014	Ц	0.004
Т	0.053	Д	0.025	Г	0.013	Щ	0.003
Н	0.053	П	0.023	Ч	0.012	Э	0.003
С	0.045	У	0.021	Й	0.010	Ф	0.002

Таблица 4. Распределение вероятностей букв в английских текстах

Буква	Вероят ность	Буква	Вероят ность	Буква	Вероят ность	Буква	Вероятность
Пробел	0.198	R	0.054	U	0.022	V	0.008
E	0.105	S	0.052	M	0.021	K	0.003
T	0.072	H	0.047	P	0.017	X	0.002
O	0.065	D	0.035	Y	0.012	J	0.001
A	0.063	L	0.029	W	0.012	Q	0.001
N	0.059	C	0.023	G	0.011	Z	0.001
I	0.055	F	0.022	B	0.010

Производительность источника легко определить, зная энтропию и время передачи одного знака [1, ф-ла (4.11)].

Требования к пропускной способности дискретного канала связи формулируются на основе теоремы кодирования для канала с помехами [1, разд. 4.6].