Информационные основы связи

1.1.1. Меры информации

Получение информации связано с изменением степени неосведомлённости получателя информации о состоянии системы. До получения информации он мог иметь некоторые предварительные сведения о системе α. Энтропия системы H(α) является для него мерой неопределённости состояния системы. После получения некоторого сообщения β получатель приобрёл дополнительную информацию I_β(α), уменьшившую его априорную неосведомлённость. Энтропия системы после получения сообщения стала H(α/β).  Тогда количество информации I_β(α) о системе α, полученной в сообщении β, будет определятся как [1]

                      I_β(α) = H(α) – H(α/β).                                       (1.1)

 

Таким образом, количество информации измеряется уменьшением неопределённости состояния системы, а энтропия системы H(α), имеющей N возможных состояний, определяется по формуле Шеннона [1]

 

                         H(α) = –  P_i log P_i ,                                        (1.2)

 

где P_i – вероятность того, что система находится в i-м состоянии.

Из формулы (1.1) следует, что H(α) = 0 тогда и только тогда, когда одна из вероятностей равна единице, а остальные вероятности равны нулю. Это состояние определённости, или уверенности.

Информацио́нная энтропи́я — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

Еденицы измерения синтаксической иноформации

На синтаксическом уровне рассматривается доставка получателю сообщений как совокупности знаков, при этом учитываются тип носителя, способ представления информации, скорость передачи и обработки, размеры кодов, надёжность и точность их преобразования и т. п. На этом уровне полностью абстрагируются от смыслового содержания сообщений и их целевого предназначения. Информацию на синтаксическом уровне, как правило, называют данными, поскольку смысловая сторона здесь не имеет значения.

2 . Семантичесская и прагматичесчкая связь

ля измерения смыслового содержания информации, т. е. её количества, на семантическом уровне используют тезаурусную меру информации, которая связывает семантические свойства информации со способностью пользователя воспринимать поступившее сообщение. Тезаурус пользователя – это совокупность сведений, которыми располагает данная система или пользователь.

В зависимости от соотношений между смысловым содержанием информации S^* и тезаурусом пользователя S_п изменяется количество семантической информации I_с:

– при S_п ≈ 0 пользователь не воспринимает, не понимает поступающую информацию;

– при S_п → ∞ пользователь всё знает, и поступающая информация ему не нужна.

И в том и другом случае I_с ≈ 0. Максимальное значение семантическая информация I_с приобретает при согласовании смыслового содержания информации S^* с тезаурусом пользователя S_п, когда поступающая информация понятна пользователю и несёт ему отсутствующие в его тезаурусе сведения.

Следовательно, количество семантической информации в сообщении есть величина относительная