4.2 Энтропия статистически зависимых сообщений

Энтропия - это количество информации, приходящейся на один символ сообщения (мера неопределенности).

1. Жесткая статистическая связь

2. Статистическая связь отсутствует

Взаимно статистическая связь между сообщениями Х и Y характеризуется условной вероятностью , определяющими вероятность появления элементов  при условии, что стало известно элемент сообщения .

Информативность сообщения Y после того, как стал известен элемент , характеризуется частной условной энтропией, которая определяется выражением .

Проведем усреднения по всем возможным элементам и найдем полную условную энтропию сообщения Y относительно сообщения Х: .

Используя известные соотношения для вероятности общего появления двух зависимых событий , получим: .

Смысл условной энтропии H (Y / X) состоит в том, что она является мерой количества информации в сообщении Y, когда известно, что передаются сообщения X. 

Используя соотношение теории вероятности, можно показать, что условная энтропия сообщения Y относительно сообщения Х при жесткой статистической зависимости (это когда один из условных вероятностей в строке таблицы условных вероятностей равна единице, а все остальные = 0) равна 0, т.е. в сообщениях Y нет никакой новой информации. 

4.3 Амплитудная модуляция

Модуляция - один из видов физического кодирования, при котором сообщения подается (кодируется) изменением (модуляцией) параметров определенного несущего колебания (носителя) по закону первичного сигнала. Изменяемые параметры носителя называют информативными.

Амплитудная модуляция – это изменение амплитуды колебаний, которая осуществляется на частоте, которая намного меньше, чем частота несущего колебания.

П ри АМ модулированый сигнал s(t) описывается выражением: , де m – коэффициент модуляции; X(t) – нормированая функция сообщения .

Спектр АМ-сигнала определяется: , де – -функция; – спектр сообщения, которое передается.

При АМ происходит перенос сообщения на частоту . Ширина спектра АМ-сигнала в два раза шире, чем спектр информационного сообщения.

А мплитуда АМ-сигнала изменяется от до , а мощность от до , где - мощность колебаний несущей частоты. Средняя мощность АМ-сигнала .

Кроме рассмотренной АМ еще используется передача методом АМ без несущей частоты - балансная модуляция и однополосная модуляция. Использование балансной и однополосной модуляции позволяет улучшить энергетические характеристики передатчика за счет сокращения бесполезного расхода энергии на составляющие несущей частоты.

О сновным недостатком амплитудной модуляции является низкая помехоустойчивость. Аддитивные помехи действуют в основном на амплитуду сигнала, поэтому при детектировании получим значительно искаженный сигнал по амплитуде.

5.1 Понятие информации. Измерение информации.

Информация – это сведенья, которые можно хранить, передавать и преобразовывать. Это снятие неопределенности о каком-нибудь объекте.

Сообщение – это форма представления информации, удобная для передачи по линии связи.

Существует три основных направления при измерении информации:

• Структурное: учитывает дискретное строение информации. Подсчет информации осуществляется простым подсчетом информационных элементов комбинаторным методом: , где L – количество возможных сообщений, n – количество элементов сообщения, m – алфавит. Если имеем k источников сообщений, то количество возможных сообщений от всех источников . Чтобы сохранялось свойство аддитивности, используют логарифмическую меру Хартли . Если имеем несколько источников, то количество информации от всех источников .

• Статистическое: учитывает вероятность появления сообщений. Все значения измеряемой величины рассматриваются, как исходы опыта. Сумма вероятностей всех исходов . Формула Шеннона используется для измерения информации при этом подходе: , где - вероятность появления i-го символа.

• Семантическое: учитывает целесообразность, полезность и смысловую наполненность информации.