- •Предисловие
- •Введение
- •Концептуальные основы информационных процессов.
- •О понятии «Информация» [1,2]
- •1.2. Виды и свойства информации [2].
- •1.3. Этапы обращения информации [1].
- •1.4. Информационные системы [1].
- •1.5. Система передачи информации [1].
- •1.6. Уровни проблем передачи информации [1].
- •1.7. О смысле «Теории информации» в системе связи [1].
- •2. Математические основы теории вероятностей [6,4].
- •2.1. Случайное событие и вероятность.
- •2.2 Случайные величины и их вероятностные характеристики.
- •Случайные функции и их вероятностное описание.
- •2.4 Корреляционные характеристики случайных процессов.
- •Дифференциальный; 2) интегральный;
- •3) Плотность вероятностей.
- •Дифференциальный; 2) интегральный; 3) числовой.
- •Свойства энтропии [1,3 и др.].
- •Условная энтропия и ее свойства [1,2 и др.].
- •Свойства условной энтропии
- •Энтропия непрерывного источника информации (дифференциальная энтропия) [1, 2 и др.].
- •Передача информации от дискретного источника [1 и др.].
- •Передача информации от непрерывного источника [1 и др.].
- •Основные свойства количества информации [1 и др.].
- •4. Информационные характеристики источника сообщений и канала связи.
- •4.1. Введение [1 и др.].
- •4.2. Информационные характеристики источника дискретных сообщений.
- •4.2.1 Модели источника дискретных сообщений [1 и др.].
- •4.2.2 Свойства эргодических последовательностей знаков [1 и др.].
- •4.2.3 Избыточность источника [1 и др.].
- •4.2.4 Производительность источника дискретных сообщений [1 и др.].
- •4.3. Информационные характеристики дискретных каналов связи.
- •4.3.1 Модели дискретных каналов [1, 4, 5 и др.].
- •Скорость передачи информации по дискретному каналу [1 и др.].
- •Пропускная способность дискретного канала без помех [1 и др.].
- •Пропускная способность дискретного канала с помехами [1 и др.].
- •Информационные характеристики непрерывных каналов связи [1 и др.].
- •Согласование физических характеристик сигнала и канала [1 и др.].
- •Согласование статистических свойств источника сообщений и канала связи [1 и др.].
- •4.6 Контрольные вопросы к разделам 3 и 4 в форме «Задание – тест» тема: «Количественная оценка информации».
- •1) Бод; 2) бит (двоичная цифра); 3) байт.
- •1) Сумма; 2) произведение; 3) разность.
- •1) Безусловной энтропией; 2) условной энтропией;
- •3) Совместной энтропией.
- •1) Объем алфавита;
- •2) Объем алфавита и вероятности создания источником отдельных знаков; 3) вероятности создания источником отдельных знаков.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Максимальная скорость; 2) пропускная скорость; 3) предел скорости.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •5.2. Классификация кодов [4 и др.].
- •5.3. Представление кодов [4 и др.].
- •5.4. Оптимальное (эффективное) статистическое кодирование [3 и др.].
- •5.4.1 Методы эффективного кодирования некоррелированной последовательности знаков [1 и др.].
- •Методика построения кода Шеннона – Фано [1].
- •Методика построения кода Хаффмена [2 и др.].
- •5.4.2 Свойство префиксности эффективных кодов [1 и др.].
- •5.4.3 Методы эффективного кодирования коррелированной последовательности знаков.
- •5.4.4 Недостатки системы эффективного кодирования.
- •1) Номер разряда;
- •2) Множитель, принимающий целочисленные значения;
- •3) Количество разрядов.
- •Всякий блочный код можно представить таблицей:
- •Всякий блочный код можно представить таблицей:
- •Литература:
- •Содержание
Информационные характеристики непрерывных каналов связи [1 и др.].
Модели непрерывных каналов связи. Каналы, используемые для передачи непрерывных сигналов, принято называть непрерывными. Такие каналы до сих пор находят широкое применение, например, в технике телефонной связи, радиовещании.
Реальные непрерывные каналы представляют собой сложные инерционные нелинейные объекты, характеристики которых случайным образом изменяются во времени. Для анализа таких каналов разработаны математические модели различных уровней сложности и степени адекватности реальным каналам. Модели, получившие наиболее широкое распространение, - это разновидности гауссова канала.
Под гауссовым каналом понимают математическую модель реального канала, построенную при следующих допущениях:
основные физические параметры канала являются известными детерминированными величинами;
полоса пропускания канала ограничена частотой FK, Гц;
в канале действует аддитивный гауссовый (имеющий нормальный закон распределения) белый шум – аддитивная флюктуационная помеха ограниченной мощности с равномерным частотным спектром и нормальным распределением амплитуд.
Предполагается также, что по каналу передаются сигналы с постоянной средней мощностью, статистические связи между сигналами и шумом отсутствуют, ширина спектра сигнала и помехи ограничена полосой пропускания канала.
При рассмотрении информационных характеристик канала (скорости передачи, пропускной способности, коэффициента использования) основное внимание будет уделено каналу.
Скорость передачи информации по непрерывному каналу. Скорость передачи информации по непрерывному каналу – это количество информации, которое передается в среднем принятыми непрерывными сигналами s(t), относительно переданных z(t) в единицу времени.
Поскольку полоса пропускания канала всегда ограничена, непрерывные сообщения на достаточно продолжительном интервале времени T с некоторой погрешностью могут быть представлены последовательностями отсчетов. С учетом наличия корреляционных связей между отсчетами и конечной верности воспроизведения, обусловленной воздействием помехи, для средней скорости R(SZ) передачи информации дискретизованным сигналом получим
(4.20)
где I(SZ) – количество информации, определяемое выражением, аналогичным (3.40).
По мере увеличения длительности T эта скорость возрастает, так как при каждом новом отсчете реализация уточняется. В пределе при T→∞ N-мерные распределения становятся бесконечными и выражение (4.20) будет определять среднюю [R(SZ)] скоростью передачи информации по непрерывному каналу:
Переход к пределу при T→∞ также означает усреднение скорости по всем возможным сигналам.
Степень вредного воздействия помехи с известными статистическими свойствами на различные ансамбли входных сигналов различна. Вследствие этого различны и значения скорости передачи информации.
Пропускная способность непрерывного канала связи. Максимально возможную скорость CН передачи информации по непрерывному каналу с известными техническими характеристиками называют пропускной способностью непрерывного канала:
(4.21)
где максимум находят по всем возможным ансамблям плотности вероятности (дифференциальных законов распределения) входных сигналов
Так же, как и в случае дискретных каналов, скорость передачи информации по непрерывному каналу зависит от выбора ансамбля входных сигналов. Максимальная скорость передачи информации реализуется при максимальной скорости поступления информации на вход канала, которая соответствует случаю выбора ансамбля входных сигналов с максимальной энтропией. Для дискретных каналов, когда заданным для ансамбля сигналов является объем алфавита канала, максимальная скорость поступления информации обеспечивается при равномерном использовании символов алфавита. Для непрерывных сигналов, когда заданной следует считать среднюю мощность сигнала, максимальная скорость поступления информации соответствует использованию нормальных центрированных случайных сигналов. Условие центрированности обеспечивает при этом максимум дисперсии при заданной средней мощности сигнала, а его нормальность – наибольшую априорную энтропию каждого отсчета при данном значении дисперсии (см. п.3.4). Поэтому при определении пропускной способности непрерывного канала входных сигналов будем считать стационарными случайными центрированными нормальными.
Шум будем считать нормальным белым, что соответствует максимальной энтропии, вносимой шумом в полученное непрерывное сообщение, т.е. максимальной ненадежности канала по Шеннону при заданном отношении сигнал/шум. Принимаемый сигнал имеет вид:
(4.22)
где z(t) – передаваемый сигнал, несущий полезную информацию; n(t) – шумы в канале.
Ширина спектра сигнала ограничивается верхней частотой FK, определяемой полосой пропускания канала. Поэтому согласно теореме Котельникова сигнал полностью определяется дискретными отсчетами si, следующими с частотой 2FK. Значения белого шума при такой частоте отсчетов будет некоррелированными [13]. Дискретные отсчеты передаваемого сигнала будем также считать некоррелированными, что соответствует условию максимума его энтропии (для нормальных сигналов, как было показано в п.3.4, некоррелированность отсчетов означает и их независимость). Тогда и дискретные отсчеты принимаемого сигнала будут некоррелированными (а значит, и независимыми), и количество информации, содержащейся в принимаемом сигнале, будет равно сумме количеств информации, содержащихся в независимых его отсчетах, следующих с частотой 2FK. Количество информации о текущем значении передаваемого сигнала zi, вносимое дискретным отсчетам принимаемого сигнала si, может быть представлено в виде разности априорной энтропии этого отсчета и апостериорной его энтропии при известном отсчете передаваемого сигнала. Заменяя разности энтропий разность соответствующих дифференциальных энтропий по [13], получаем информацию вносимую общим дискретным отсчетом сигнала
(4.23)
где σ2ш – дисперсия шума, имеющего нормальное распределение, а величина σ2z/σ2ш=Pc/Pш характеризует отношение сигнал/шум в канале.
Пропускная способность канала, определяемая количеством информации, передаваемой по каналу в единицу времени при рассмотренных условиях, равна информации, содержащейся в 2FK независимых дискретных отсчетах сигнала:
(4.24)
Формула (4.24) называется формулой Шеннона.
Если распределение аддитивной помехи не является нормальным или же спектр ее неравномерный (шум не белый, и имеется корреляция между его отсчетами), то формула (4.24) занижает пропускную способность канала.
Нетрудно видеть, что при Pc/Pш→0 СН→0. Формулу (4.24) можно трактовать следующим образом. Величина (1+ Pc/Pш) характеризует количество уровней непрерывного сигнала, различимых на фоне шума при данном отношении Pc/Pш. Поэтому количество информации, приходящееся на один отсчет, будет в данном случае таким же, как для дискретного источника с числом состояний (1+ Pc/Pш).
Преобразуем (4.24), приняв Pш=N0FK, где N0 – спектральная плотность белого шума (для одностороннего спектра):
(4.25)
Раскрывая по правилу Лопиталя неопределенность при FK→∞, в правой части (4.25) получаем CH=(PC/N0)log2e, т. е. пропускная способность стремится к фиксированной величине, определяемой отношением средней мощности сигнала к спектральной плотности шума. Таким образом, обмен мощности сигнала на полосу пропускания для обеспечения заданной пропускной способности непрерывного канала возможен лишь в некоторых границах, за которыми дальнейшее расширение полосы пропускания дает уже малый эффект.
О характере зависимости CH=f(FK) можно судить по графику на рис. 4.6
