Вероятность и энтропия. Свойства энтропии
При статистическом (вероятностном) подходе информация рассматривается как мера вероятности появления соответствующего сообщения. Пусть общее число всех возможных исходов равно N, из которых К не повторяются.
среднее количество информации при проведении одного опыта
–формула Шеннона.
1. Энтропия измеряется в тех же единицах, что и количество информации.
Знак “-” в формуле
(2) означает, что энтропия всегда не
отрицательна, т.е.
.
2. Энтропия достигает максимума, если все события равновероятны.
3. Н=0, если вероятность одного из i-ых событий равна 1.
Т. о., энтропия является мерой неопределенности в поведении источника сообщений и характеризует способность этого источника выдавать информацию.
При увеличении числа возможных состояний системы энтропия увеличивается.
В общем случае, можно считать, что количество информации характеризует уменьшение энтропии в результате процесса познания.
Если неопределенность снимается полностью, то количество энтропии равно количеству информации, выданной источником.
В случае неполного разрешения ситуации, количество информации определяется разностью между начальным и конечным значением энтропии:
Единицы измерения энтропии
Энтропия измеряется в тех же единицах, что и количество информации.
По формуле Хартли
имеем:
;
Пусть а=m.→
При а=10,
а=е=2,72 →
(1
нат).
а=2 →
Т. о., энтропия является мерой неопределенности в поведении источника сообщений и характеризует способность этого источника выдавать информацию.
При увеличении числа возможных состояний системы энтропия увеличивается.
В общем случае, можно считать, что количество информации характеризует уменьшение энтропии в результате процесса познания.
Скорость передачи данных по каналам связи, пропускная способность канала связи
Реальные события, а также символы в реальных соотношениях не являются взаимно независимыми и равновероятными. Поэтому количество информации, которое реально переносит каждый отдельный символ, будет меньше максимального, теоретически возможного значения.
Потери количества информации характеризуется коэффициентом избыточности:
, (
для европейских и «живых» языков)
Для каналов передачи информации используют характеристику, называемую скоростью передачи информации по каналам, она равна среднему количеству информации, которая может быть передана по каналу связи в единицу времени.
Для характеристики каналов связи используют два понятия скорости передачи:
а) Техническая скорость передачи (скорость манипуляции), характеризуется числом элементарных сигналов, передаваемых по каналу в единицу времени. Она зависит от свойств линий связи и быстродействия аппаратуры каналов. Единицей измерения технической скорости служит
1 Бод=1 симв/1 сек.
б) Информационная скорость, которая определяется средним количеством информации, передающейся в единицу времени. Эта скорость зависит как от характеристик данного канала, так и от характеристик используемых сигналов [бит/с];
Среднее количество информации, выдаваемое источником сообщения в единицу времени, называется производительностью источника.
Пропускная способность канала - максимальная скорость передачи информации по этому каналу, достигаемая при самых совершенных способах передачи и приема. Пропускная способность, как и скорость передачи информации измеряется количеством передаваемой информации в единицу времени.