31. Многократная модуляция.

В технике широко используется многократная модуляция. Простейшее представление о ней дает диаграмма рис. 7., иллюстрирующая двукратную модуляцию. Здесь импульсный ток, промодулированный измеряемой величиной по одному из параметров - амплитуде, частоте, фазе или длительности импульсов, - модулирует, в свою очередь, по амплитуде несущий синусоидальный сигнал более высокой частоты.

Рис. 7. Диаграмма сигнала с двухкратной модуляцией.

Иногда сигнал, показанный на рис. 7 называют импульсным сигналом переменного тока, относя понятия частоты, длительности и фазы к отрезкам синусоиды, рассматриваемым в целом как отдельные импульсы.

32. Количество информации в дискретных сообщениях. Энтропия дискретного источника.

Процесс измерения связан с отбором информации у объекта и передачей ее получателю. Информацию можно оценить количественно, ее мерой служит величина уменьшения неопределенности статистических сведений об объекте.

Рассмотрим дискретные сообщения. Источник информации может в каждый момент времени случайным образом принять одно из конечного множества возможных состояний. Такой источник называют дискретным источником информации. Каждому состоянию источника «u» ставится в соответствие условное обозначение: u₁, u₂, …, u_N. В общем случае источник характеризуется ансамблем U, т.е. полной совокупностью состояний с вероятностями их появления, составляющими в сумме единицу

(1)

причем

или

Меру неопределенности выбора состояний источника можно рассматривать и как меру количества информации, получаемой при полном устранении неопределенности относительно состояний источника. Мера должна монотонно возрастать с увеличением возможностей выбора, т.е. числа возможных состояний N, причем недопустимые состояния (состояния с вероятностями ноль) не должны учитываться, т.к. они не меняют неопределенности. Кроме того, мера должна отвечать требованию аддитивности, состоящему в следующем.

Если два независимых источника с числом равновероятных состояний N и M рассматривать как один источник, одновременно реализующий пары состояний n_im_j, то естественно предположить, что неопределенность объединенного источника должна равняться сумме неопределенностей исходных источников. Поскольку общее число состояний объединенного источника равно NM, то искомая функция должна удовлетворять условию

(2)

Соотношение (2) выполняется, если в качестве меры неопределенности источника с равновероятными состояниями и характеризующего его ансамбля U принять логарифм числа состояний:

(3)

Тогда при N=1 H(U)=0 и требование аддитивности выполняется.

Справка. О свойстве аддитивности.

Предположим, что в сообщении о том, что объект находится в каком-то i-ом состоянии, содержится тем больше количества информации, чем более неопределенными были сведения об объекте до получения сообщения, т.е. чем меньше была априорно известная получателю вероятность P_i. Естественно предположить, что количество информации I_i об объекте в данном сообщении должно быть функцией величины . Каков вид зависимости ?

Если есть некоторое сложное сообщение эквивалентно нескольким простым, взятым вместе, то количество информации, содержащееся в сложном сообщении, должно быть равно сумме количеств информации, содержащихся в каждом из простых сообщений.

Пусть одновременно рассматриваются два взаимно независимых объекта, каждая из которых может принимать n состояний с равной вероятностью . Число возможных комбинаций из состояний двух объектов n², а вероятность любого из них . В сложном сообщении содержится столько же информации, сколько и в 2^х простых: первый в i-ом, а второй в j–м состояниях, количество информации I_сл в сложном сообщении является функцией величины , и в простом I_пр- величины . Требование соблюдается в том случае, если I в каждом сообщении пропорционально логарифму от 1/Р. При этом коэффициент пропорциональности и основание логарифма могут быть любыми. Удобно пользоваться двоичными логарифмами, а коэффициент пропорциональности положить равным единице.

Для рассматриваемого примера

Итак, количество информации в одиночном дискретном сообщении о событии, имеющем априорную вероятность P_i.

Указанная мера (3) предложена американским ученым Р.Хартли в 1928 г. Основание логарифма не имеет принципиального значения и определяет только масштаб и единицу неопределенности. Удобнее выбирать основание равное двум, что соответствует элементам с двумя устойчивыми состояниями. При этом единица неопределенности называется двоичной единицей или битом, и представляет неопределенность выбора из двух равновероятных событий (bit – сокращение от англ. Binary digit - двоичная единица).

Ранее вводилось предположение о равномерности состояний объекта, что слишком загрубляет модель.

Степень неопределенности реализаций состояний объектов (источников информации) зависит не только от числа состояний, но и от вероятностей этих состояний.

При неравновероятных состояниях свобода выбора источника ограничивается, что приводит к уменьшению неопределенности. Если источник имеет два возможных состояния с вероятностями 0,99 и 0,01, то неопределенность выбора у него значительно меньше, чем у источника, имеющего два равновероятных состояния. Действительно, в первом случае результат практически предрешен, а во втором случае – неопределенность максимальна (при равно вероятных состояниях).

С учетом сказанного мера неопределенности выбора дискретным источником i-го состояния, вероятность которого P_i, из ансамбля состояний U равна

(4)

Это неопределенность, приходящаяся на одно конкретное состояние источника.

Практически интересна не эта величина, а среднее количество неопределенности приходящееся на выбор одного состояния. Меру неопределенности выбора дискретным источником состояния из ансамбля U называют энтропией дискретного источника, энтропией конечного ансамбля или энтропией объекта:

(5)

Здесь усреднение выполнено с учетом вероятности выбора каждого из состояний: количество неопределенности выбора i-го состояния умножено на весовой коэффициент P_i. Это неопределенность, приходящаяся в среднем на одно состояние.