20.1 Залежність пропускної спроможності неперервного каналу зв’язку від смуги частот.
Пропускная способность канала связи зависит от полосы частот передаваемого сигнала и отношения сигнала к шуму в канале. Примем, что ширина полосы пропускания канала связи равна величине или, по крайней мере, не меньше , т. е. всегда имеется возможность согласования сообщения и канала по полосе частот. Зависимость пропускной способности от отношения сигнала к шуму, при малых отношениях практически линейна, а при больших отношениях сигнала к шуму переходит в логарифмическую.
(III-18)
Из (Ш-18) следует, что с увеличением полосы частот канала пропускная способность неограниченно возрастает. На самом деле это не так, поскольку с увеличением возрастает мощность шума , в результате чего происходит уменьшение пропускной способности.
20.2 Мета і завдання кодування
Кодирование преследует две основные цели: повысить помехоустойчивость передачи и повысить эффективность передачи, т. е. обеспечить наилучшее согласование скорости передачи с пропускной способностью канала связи. В соответствии с этим кодовые сигналы должны строиться с учетом статистики источника информации, структуры помех в линии связи и параметров канала связи.
Кодирование обеспечивает изменение структуры сигналов и ни в коей мере не должно изменять количества информации, заключенной в первоначальном сообщении.
Элементарные сигналы (символы кода), составляющие кодовую комбинацию, должны различаться по какому-либо одному или нескольким параметрам, называемым часто кодовыми признаками. В качестве кодовых признаков применяются такие параметры, как величина, полярность, время (продолжительность или фаза импульсов), частота заполнения импульса и т. п.
Общее число символов,
составляющих кодовую комбинацию,
называется значностью, или длиной кода
.
Количество значений
кодовых признаков, используемых в
кодовых комбинациях, называется
основанием кода
.
20.3 Семантичний підхід до визначення кількості інформації
Семантические меры информации
оценивают смысл, содержание информации,
ее целесообразность и существенность.
Содержательность события
выражается через функцию меры
– содержательности
его отрицания
,
где
– содержательность события
;
– функция меры,
– знак отрицания.
Оценка содержательности
базируется на математической
логике, в которой логические функции
истинности
и ложности
имеют формальное сходство
с вероятностью события и его отрицания:
и
.
Логическая оценка количества информации имеет внешнее сходство со статистической.
где
– логическая оценка количества
информации.
Отличие логической оценки в том, что она учитывает меры истинности или ложности событий, а не вероятности их реализаций.
Существенность информации
отражает степень важности информации
о том или ином значении параметра
с учетом времени
и пространства
.
Полезность информации для решения данной задачи можно оценивать по эффекту, который оказывает полученная информация на решение задачи. Если вероятность достижения цели увеличивается, тo информацию следует считать полезной. Можно также оценивать полезность информации числом попыток, которые совершает получатель информации для достижения цели. При таких оценках информация может быть пустой, если она не изменяет вероятности или числа проб для достижения цели, положительной или отрицательной величиной.
Можно также оценивать ценность сообщений с помощью теории статистических решений. В этом случае во внимание принимается цель, с которой передается сообщение, т. е. учитываются результаты использования сообщений. Для оценки вводятся две характеристики: ценностная энтропия и ценность информации. Под ценностной энтропией, понимают средние потери при определённой выбранной стратегии.