Вероятность и энтропия. Свойства энтропии.
Энтропия измеряется в тех же единицах что и количество информации
Знак минус в формуле Шеннона означает, что энтропия всегда неотрицательна
Энтропия достигает максимума, если все события равновероятны:
Энтропия равна нулю, если вероятность из i-тых событий равна 1.
Таким образом энтропия является мерой неопределенности в поведении источника сообщений и характеризует способность этого источника выдавать информацию. При увеличении числа возможных состояний системы энтропия увеличивается.
В общем случае можно считать, что количество информации характеризует уменьшении энтропии в результате процесса познания.
Если неопределенность снимается полностью то количество энтропии равно количеству информации, выданной источником. В случае неполного разрешения ситуации количество информации определяется разностью между начальным и конечным значением энтропии.
Скорость передачи данных по каналам связи. Пропускная способность канала связи.
Реальное событие, а также символы в реальных сообщениях не являются взаимозависимыми и равновероятными, поэтому количество информации, которое реально переносит каждый отдельный символ будет меньше максимально теоретически возможного значения.
Потеря количества информации характеризуется коэффициентом избыточности:
Для
европейских и живых языков
Для каналов передачи информации используют характеристику, называемую скоростью передачи информации про каналам, которая характеризует среднее количество информации, которое может быть передано по каналу связи в единицу времени.
Для характеристики каналов связи могут использоваться два варианта понятия скорости передачи:
1 – техническая скорость передачи (скорость манипуляции), которая характеризуется числом элементарных сигналов, передаваемых по каналу связи в единицу времени. Она зависит от свойств линий связи и быстродействия аппаратуры каналов. Единицей измерения технической скорости служит:
2 – информационная скорость, которая определяется средним количеством информации, передающейся в единицу времени. Эта скорость зависит как от характеристик данного канала связи, так и от характеристик используемых сигналов:
Среднее количество информации, выдаваемое источником сообщений в единицу времени называется производительностью источника.
Пропускной способностью канала связи называется такая скорость передачи информации по этому каналу, достигаемая при самых совершенных способах передачи информации и приемов.
Пропускная способность как и скорость передачи информации изменяется количеством передаваемой информации в единицу времени.
Виды сигналов и их физическая реализация
Материальными переносчиками информации служат сигналы, представляющие собой физические процессы, удовлетворяют следующим условиям:
1 – они допускают возможность управления параметрами процесса в соответствии с выбранным алгоритмом;
2 – эти сигналы могут передаваться по соответствующим линиям связи;
3 – эти сигналы могут быть воспринимаемы и регистрируемы соответствующими устройствами.
В настоящее время в информационных системах наибольшее распространение имеют сигналы электромагнитной природы. В общем случае всякий сигнал представляет собой изменяющуюся во времени физическую величину (ток, напряжение, напряженность электромагнитного поля). Сигналы могут носить как непрерывный, так и дискретный характер. Однако такое деление имеет достаточно условный характер и определяется в основном соотношением между временем действия сигнала и интервалом его восприятия.