книги из ГПНТБ / Толстоусов, Г. Н. Прикладная теория информации учеб. пособие

Введем понятие относительной максимальной погрешности

Окончательно для выбора шага квантования по времени в случае воспроизводящего многочлена нулевой степени имеем следующую оценку:

Л

(/9./о)

СОс ’

Для воспроизводящего многочлена первой степени

J & x h z l M f i - . , Ч)

сообщение восстанавливается также на одном интервале по двум крайним отсчетам (рис. 19 .4). Текущая ошибка согласно (19.5) оценивается выражением

Рис. 19.2

109

Следовательно, шаг дискретизации по времени набирается из усло­ вия

(13.1U)

Воспользуемся неравенством (19.6) и понятием относительной максимальной погрешности (19 .9). Тогда для выбора шага кванто­ вания в случае воспроизводящего многочлена первой степени име­ ем следующую оценку:

даваемой информации при этом уменьшается, но меняется процеду­ ра восстановления сообщения.

Примем в качестве критерия точности среднеквадратичное

Для воспроизводящего многочлена нулевой степени внутри одного интервала имеем

Тогда вместо (19.14) получаем

по

нома или использование в качестве воспроизводящие полиномов Че­ бышева или Лежандра, как правило, увеличивает шаг дискретиза­ ции и уменьшает объем передачи. Однако при этом необходимо пре­ дусматривать проведение вычислительных операций и запаздывание

I I I

в приемнике. Все это оказывается эффективным при обеспечении большой точности передачи и при наличии определенных сведений о свойствах передаваемых сообщений (спектральном составе, моду­ ле производных и т . п . ).

Квантование по времени с постоянным шагом не является,оче­ видно, лучшим способом выбора отсчетов случайного процесса. Для критерия максимального отклонения шаг выбирается для некоторого наихудшего случая. Тогда на отдельных участках шаг квантования оказывается излишке мелким.

Рассмотрим некоторые способы адаптивной дискретизации,ког­ да шаг квантования непрерывно меняется. Его величина на каждом участке будет выбираться исходя из критерия наибольшего откло­ нения. В общем случае при адаптивной дискретизации на каждом шаге выбираются как величина шага, так и степень воспроизводя­ щего многочлена. Однако ввиду отсутствия в настоящее время чет­ ких рекомендаций на области применения этих спосооов выбор сте­ пени многочлена здесь не рассматривается.

В случае воспроизводящего многочлена нулевой степени отсче­ ты передаются в момент пересечения границы интервалов квантова­

шагу квантования по уровню. В схеме .фи этом необходимо предус­ мотреть логическое устройство, пропускающее отсчет в случае пер­ вого изменения направления пересечения (точка А ) . Если пере­ данный отсчет равен уровню квантования (рис. 19.66), то величина максимального отклонения равна половине шага квантования. Уро­ вень квантования, как было показано в § 18, следует выбирать по­ середине интервала. Значения статистических характеристик ошибок также показаны в § 18.

ІІ2

и т .д . Необходимость дифференцирования для построения воспроиз­ водящей функции является недостатком метода. Поэтому часто монет оказаться выгодным интерполяционно-экстраполяционный способ дис­ кретизации, при котором операция дифференцирования отсутствует.

ИЗ

§ 20. Энтропия непрерывного источника информации

Как указывалось, сообщения непрерывных источников информа­ ции можно с заранее заданной точностью представить в виде диск­ ретных по времени и по уровню отсчетов. Поэтому для изучения не­ прерывных источников можно использовать аппарат теории информа­ ции, созданный для дискретных источников. Однако разделы теории, посвященные непрерывным источникам со всей их спецификой, допус­ кают ряд новых возможностей при исследовании.

Найдем энтропию непрерывного источника информации, неманяющего своего состояния, т .е . энтропию на одно сообщение. Для дискретного источника информации эта энтропия

возможных состояний, вероятность одного состояния равна нулю. Можно говорить о вероятности нахождения состояния внутри задан­ ного интервала. Разобьем всю область возможных состояний на ин­

состояние. Тогда непрерывный источник станет дискретным. Под­

Таким образом, энтропия равна двум слагаемым. Ъторое слагаемое равно бесконечности. Этого и следовало ожидать, так как число возможных состояний у непрерывного источника бесконечно. Следо­ вательно, и степень неопределенности состояний также должна

второе слагаемое для всех объектов будет одинаково и мы прини­ маем его за нуль отсчета. Сравнивать же все объекты между собой будем по первому слагаемому, которое называется приведенной энтропией:

Далее будем рассматривать только выражение (20.4) и термин "приведенная" упоминать для краткости не будем.

Рассмотрим, какой вид закона распределения обращает выра­ жение (20.4) в максимум. Иначе, какие непрерывные источники об­ ладают максимальной энтропией? Плотность вероятности lJ(х)

не мо.-.ст быть произвольна, а должна’удовлетворять ряду ограни­ чений. Например, интеграл от плотности вероятности, взятый по всему диапазону, равен единице:

izos)

Поэтому должна рассматриваться вариационная задача на поиск.ус­ ловного экстремума.

Укажем общий метод решения таких задач. Пусть надо найти вид функции 2*Г(х) , при котором некоторый функционал экстре­ мален: ^

II5

Доланы быть учтены дополнительные условия, ограничивающие ЬГ(л),

вида ^

а.

Составляется в соответствии с методом, указанным в § Ч, вспомо­

функционала, которое совпадает с условием экстремума исходного функционала:

ограниченной пиковой мощностью . Пусть верхняя и нижняя грани­

H ( X h - J l r ( x ) & y i S ( x ) d x ;

при дополнительном ограничении

ßr(x)cCx.-i. (яа9)

'съ

ІІб

Условие экстремума ( 2 0 . 8 ) примет вид

g-Q, ■

Экстремальным в данном случае является равномерный закон распределения. Величина энтропии согласно (20.4)

а

Найдем источники, обладающие максимальной энтропией, ког­ да на область возможных состояний ограничений нет. Задано сред­ неквадратичное значение параметра источника или, как говорят,

•источник обладает ограниченной средней мощностью . Определяется экстремум энтропии

При дополнительных ограничениях

где - заданная средняя мощность. Условия экстремума (20.8) примут вид

-Содъг-

ІІ7

где Ы, и - некоторые константы.

Для их определения проведем следующие рассуждения. Запишем плотность вероятности для нормального закона распределения

H(X)=~Sof^^ßj-(x,)dx+4^/ х . гъГ(х)сСх.

Для любых дискретных источников энтропия максимальна в случае равновероятных состояний. Условия максимума энтропии непрерыв­ ных источников зависят от вида ограничений, накладываемых на область возможных состояний источника.

Рассмотрим объединение двух непрерывных источников и

У .

п а