Вероятность и энтропия. Свойства энтропии.

Энтропия Шеннона служит усредненной мерой количества информации в элементах ансамбля событий и обладает следующими свойствами:

1.Энтропия измеряется в тех же единицах, что и количество информации: [H]=[J_ср].

2.Знак «минус» в формуле Шеннона означает, что энтропия всегда неотрицательна: H≥0.

3.Энтропия достигает максимума, если все события равновероятны: H=H_max, если P₁=P₂=…=P_N.

4.Энтропия равна нулю, если вероятность одного из событий равна 1: H=0, если P_i=1 (1≤i≤N).

Таким образом, энтропия является мерой неопределенности в поведении источника сообщений и характеризует способность этого источника выдавать информацию. При увеличении числа возможных состояний системы энтропия увеличивается.

В общем случае можно считать, что количество информации характеризует уменьшение энтропии в результате процесса познания.

Если неопределенность снимается полностью, то количество энтропии равно количеству информации, выданной источником. В случае неполного разрешения ситуации количество информации определяется разностью между начальным и конечным значением энтропии.

Реальные события, а также символы в реальных сообщениях не являются взаимно независимыми и равновероятными, поэтому количество информации, которое реально переносит каждый отдельный символ, будет меньше максимального теоретически возможного значения.

Для каналов передачи информации используют характеристику, называемую скоростью передачи информации про каналам, которая характеризует среднее количество информации, которое может быть передано по каналу связи в единицу времени.

Для характеристики каналов связи могут использоваться два варианта понятия скорости передачи:

– техническая скорость передачи;

– информационная скорость передачи.

Среднее количество информации, выдаваемое источником сообщений в единицу времени называется производительностью источника.

Пропускной способностью канала связи называется наибольшая скорость передачи информации по этому каналу, достигаемая при самых совершенных способах передачи информации и приема.

Пропускная способность, как и скорость передачи информации, измеряется количеством передаваемой информации в единицу времени.

Виды сигналов и их физическая реализация

Материальными переносчиками информации служат сигналы, представляющие собой физические процессы, удовлетворяют следующим условиям:

– они допускают возможность управления параметрами процесса в соответствии с выбранным алгоритмом;

– эти сигналы могут передаваться по соответствующим линиям связи;

– эти сигналы могут быть воспринимаемы и регистрируемы соответствующими техническими устройствами.

В настоящее время в информационных системах наибольшее распространение имеют сигналы электромагнитной природы.

Непрерывные сигналы: характерными параметрами являются амплитуда, частота, фаза.

Дискретные сигналы: реализуются в виде кратковременных отклонений, используемого физического процесса от исходного стационарного состояния.

Если в качестве дискретных сигналов используют кратковременные воздействия электрического тока или напряжения, то такие сигналы называются видеоимпульсами.

Если импульсный сигнал реализуется кратковременным высокочастотным процессом, то такой сигнал называется радиоимпульсом. При этом огибающая радиоимпульса рассматривается как видеоимпульс. Форма таких сигналов: прямоугольная, трапецеидальная, треугольная, пилообразная, колоколообразная, экспоненциальная.