
- •Предисловие
- •Введение
- •Концептуальные основы информационных процессов.
- •О понятии «Информация» [1,2]
- •1.2. Виды и свойства информации [2].
- •1.3. Этапы обращения информации [1].
- •1.4. Информационные системы [1].
- •1.5. Система передачи информации [1].
- •1.6. Уровни проблем передачи информации [1].
- •1.7. О смысле «Теории информации» в системе связи [1].
- •2. Математические основы теории вероятностей [6,4].
- •2.1. Случайное событие и вероятность.
- •2.2 Случайные величины и их вероятностные характеристики.
- •Случайные функции и их вероятностное описание.
- •2.4 Корреляционные характеристики случайных процессов.
- •Дифференциальный; 2) интегральный;
- •3) Плотность вероятностей.
- •Дифференциальный; 2) интегральный; 3) числовой.
- •Свойства энтропии [1,3 и др.].
- •Условная энтропия и ее свойства [1,2 и др.].
- •Свойства условной энтропии
- •Энтропия непрерывного источника информации (дифференциальная энтропия) [1, 2 и др.].
- •Передача информации от дискретного источника [1 и др.].
- •Передача информации от непрерывного источника [1 и др.].
- •Основные свойства количества информации [1 и др.].
- •4. Информационные характеристики источника сообщений и канала связи.
- •4.1. Введение [1 и др.].
- •4.2. Информационные характеристики источника дискретных сообщений.
- •4.2.1 Модели источника дискретных сообщений [1 и др.].
- •4.2.2 Свойства эргодических последовательностей знаков [1 и др.].
- •4.2.3 Избыточность источника [1 и др.].
- •4.2.4 Производительность источника дискретных сообщений [1 и др.].
- •4.3. Информационные характеристики дискретных каналов связи.
- •4.3.1 Модели дискретных каналов [1, 4, 5 и др.].
- •Скорость передачи информации по дискретному каналу [1 и др.].
- •Пропускная способность дискретного канала без помех [1 и др.].
- •Пропускная способность дискретного канала с помехами [1 и др.].
- •Информационные характеристики непрерывных каналов связи [1 и др.].
- •Согласование физических характеристик сигнала и канала [1 и др.].
- •Согласование статистических свойств источника сообщений и канала связи [1 и др.].
- •4.6 Контрольные вопросы к разделам 3 и 4 в форме «Задание – тест» тема: «Количественная оценка информации».
- •1) Бод; 2) бит (двоичная цифра); 3) байт.
- •1) Сумма; 2) произведение; 3) разность.
- •1) Безусловной энтропией; 2) условной энтропией;
- •3) Совместной энтропией.
- •1) Объем алфавита;
- •2) Объем алфавита и вероятности создания источником отдельных знаков; 3) вероятности создания источником отдельных знаков.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Максимальная скорость; 2) пропускная скорость; 3) предел скорости.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •5.2. Классификация кодов [4 и др.].
- •5.3. Представление кодов [4 и др.].
- •5.4. Оптимальное (эффективное) статистическое кодирование [3 и др.].
- •5.4.1 Методы эффективного кодирования некоррелированной последовательности знаков [1 и др.].
- •Методика построения кода Шеннона – Фано [1].
- •Методика построения кода Хаффмена [2 и др.].
- •5.4.2 Свойство префиксности эффективных кодов [1 и др.].
- •5.4.3 Методы эффективного кодирования коррелированной последовательности знаков.
- •5.4.4 Недостатки системы эффективного кодирования.
- •1) Номер разряда;
- •2) Множитель, принимающий целочисленные значения;
- •3) Количество разрядов.
- •Всякий блочный код можно представить таблицей:
- •Всякий блочный код можно представить таблицей:
- •Литература:
- •Содержание
1) Максимальная скорость; 2) пропускная скорость; 3) предел скорости.
Пропускная способность дискретного канала без помех можно представить выражением: CД = VTlog2m (где VT – техническая скорость, m – объем алфавита равновероятных символов). С увеличением m, как изменяется СД:
1) Уменьшается; 2) увеличивается; 3) не изменяется.
Пропускная способность дискретного канала без помех можно представить выражением: CД = VTlog2m (где VT – техническая скорость, m – объем алфавита равновероятных символов). С увеличением m, как изменяется сложность технической реализации:
1) Уменьшается; 2) увеличивается; 3) не изменяется.
Предельная возможность канала передачи информации характеризуется коэффициентом использования канала: λ = J(z)/CД (где J(z) – производительность источника сообщений, СД – пропускная способность канала связи). Как изменяется λ:
1) λ > 1; 2) λ < 0; 3) 0 ≤ λ ≤ 1.
Каналы, используемые для передачи непрерывных сигналов принято называть непрерывными. Математическая модель непрерывного канала, получившая наиболее широкое распространение – это Гауссов канал. Какой дифференциальный закон распределения вероятностей (плотность вероятностей) описывает Гауссов канал:
1) равномерный; 2) нормальный; 3) экспоненциальный.
Пропускная способность Гауссова канала определяется, как: СH = FKlog2(1+Pu/Pζ) (где FK – полоса пропускания, Pu/Pζ – отношение мощности сигнала к мощности помехи). Укажите практические линии связи, обеспечивающие наибольшую СН:
1) двухпроводные; 2) кабельные; 3) волоконно-оптические.
Емкость канала передачи информации определяется, как: VK = TKFKHK (где TK – время предоставления канала для передачи, FK – полоса пропускания, HK = log2(Pu/Pζ) – превышение мощности сигнала Pu к мощности помехи Pζ). Какая линия связи обеспечивает наибольшую FK:
1) двухпроводные; 2) кабельные; 3) волоконно-оптические.
Емкость передаваемого сигнала принято определять как: VС = TСFСHС (где TС – длительность сигнала, FС – ширина спектра сигнала, Hс = log2(Pu/Pζ) – превышение мощности сигнала Pu к мощности помехи Pζ), а емкость канала, как VK = TKFKHK. Как следует изменить TC, если FC > FK, чтобы сигнал передать по данному каналу:
1) увеличить; 2) уменьшить; 3) не изменить.
5. Основы теории кодирования.
5.1. Кодирование как процесс выражения информации в цифровой форме.
С точки зрения теории информации кодирование есть процесс сопоставления элементов алфавита источника цифрам. Правило сопоставления называется кодом. Цифры, сопоставленные элементам алфавита, называются кодовыми словами. Например, измерение аналоговой величины, выражающееся в сравнении ее с образцовыми мерами, также приводит к числовому представлению информации. Передача или хранение сообщений при этом сводится к передаче или хранению чисел. Числа можно выразить в какой-либо системе счисления. Таким образом, будет получен один из кодов, основанный на данной системе счисления.
Сравним системы счисления и построенные на их основе коды с позиций применения в системах передачи, хранения и преобразования информации.
Общепризнанным в настоящее время является позиционный принцип образования системы счисления. Значение каждого символа (цифры) зависит от его положения – позиции в ряду символов, представляющих число.
Единица каждого следующего разряда больше единицы предыдущего разряда в m раз, где m – основание системы счисления. Полное число получаем, суммируя значения по разрядам:
где i
– номер разряда данного числа;
– количество разрядов; ai
– множитель, принимающий любые
целочисленные значения в пределах от
0
до m-1
и показывающий, сколько единиц i-го
разряда содержится в числе.
Чем больше основание системы счисления, тем меньшее число разрядов требуется для представления данного числа, а следовательно, и меньшее время для его передачи.
Однако с ростом основания существенно повышаются требования к линии связи и аппаратуре создания и распознавания элементарных сигналов, соответствующих различным символам. Логические элементы вычислительных устройств в этом случае должны иметь большее число устойчивых состояний.
Учитывая оба обстоятельства, целесообразно выбирать систему, обеспечивающую минимум произведения количества различных символов m на количество разрядов l для выражения любого числа. Найдем этот минимум по графику и таблице на рис. 5.1, где показана связь между величинами m и l при воспроизведении определенного достаточно большего числа Q (Q ≈ 60000).
Зависимость m от l для представления числа Q = 60000.
Из графика следует, что наиболее эффективной системой является система с основанием три. Незначительно уступают ей двоичная и четверичная системы. Системы с основанием 10 и более существенно менее эффективны. Сравнивая эти системы с точки зрения удобства физической реализации соответствующих им логических элементов и простоты выполнения в них арифметических и логических действий, предпочтение необходимо отдать двоичной системе. Действительно, логические элементы, соответствующие этой системе, должны иметь всего два устойчивых состояния. Задача различения сигналов сводится в этом случае к задаче обнаружения (если импульс или нет импульса), что значительно проще.
Арифметические и логические действия также наиболее просто осуществляется в двоичной системе. В таблицы сложения, вычитания и умножения входит всего по четыре равенства:
Наиболее распространенная при кодировании и декодировании логическая операция – сложение по модулю. В двоичной системе она также наиболее проста и определяется равенствами:
Алгоритм перевода из двоичной в привычную для человека десятичную систему несложен. Пересчет начинается со старшего разряда. Если в следующем разряде стоит 0, то цифра предыдущего (высшего) разряда удваивается. Если же в следующем разряде единица, то после удвоения предыдущего разряда результат увеличивается на единицу.
Пример 5.1 Найдем десятичный эквивалент двоичного числа 1001. После первой единицы слева стоит 0. Удваиваем эту единицу. Получаем число 2. Цифрой следующего младшего разряда также является 0. Удваивая число 2, получаем 4. В самом младшем разряде стоит единица. Удваивая число 4 и прибавляя 1, окончательно получаем 9.
Итак, для передачи и проведения логических и арифметических операций наиболее целесообразен двоичный код. Однако он неудобен при вводе и выводе информации, так как трудно оперировать с непривычными двоичными числами. Кроме того, запись таких чисел на бумаге оказывается слишком громоздкой. Поэтому, помимо двоичной, получили распространение системы, которые, с одной стороны, легко сводятся как к двоичной, так и к десятичной системе, а с другой стороны, дают более компактную запись. К таким системам относятся восьмеричная, шестнадцатеричная и двоично-десятичная.
В восьмеричной системе для записи всех возможных чисел используется восемь цифр от 0 до 7 включительно. Перевод чисел из восьмеричной системы в двоичную крайне прост и сводится к замене каждой восьмеричной цифры равным ей трехразрядным двоичным числом. Например, для восьмеричного числа 745 получаем:
Поскольку в восьмеричной системе числа выражаются короче, чем в двоичной, она широко используется как вспомогательная система при программировании.
Чтобы сохранить преимущества двоичной системы и удобство десятичной системы, используют двоично-десятичные коды. В таком коде каждую цифру десятичного числа записывают в виде четырехразрядного двоичного числа (тетрады). С помощью четырех разрядов можно образовать 16 различных комбинаций, из которых любые 10 могут составить двоично-десятичный код. Наиболее целесообразным является код 8-4-2-1 (табл. 5.1). Этот код относится к числу взвешенных кодов. Цифры в названии кода означают вес единиц в соответствующих двоичных разрядах. Двоично-десятичный код обычно используется как промежуточный при введении в вычислительную машину данных, представленных в десятичном коде.
В табл. 5.1 представлены два других двоично-десятичных кода с весами 5-1-2-1 и 1-4-2-1, которые широко используются при поразрядном уравновешивании в цифровых измерительных приборах.
Среди кодов, отходящих от систем счисления, большое практическое значение имеют такие, у которых при переходе от одного числа к другому изменение происходит только в одном разряде.
Таблица 5.1
Число в десятичном коде |
Двоично-десятичный код с весами 8-4-2-1 |
Двоично-десятичный код с весами 5-1-2-1 |
Двоично-десятичный код с весами 2-4-2-1 |
0 |
0000 0000 |
0000 0000 |
0000 0000 |
1 |
0000 0001 |
0000 0001 |
0000 0001 |
2 |
0000 0010 |
0000 0010 |
0000 0010 |
3 |
0000 0011 |
0000 0011 |
0000 0011 |
4 |
0000 0100 |
0000 0111 |
0000 0100 |
5 |
0000 0101 |
0000 1000 |
0000 1011 |
6 |
0000 0110 |
0000 1001 |
0000 1100 |
7 |
0000 0111 |
0000 1010 |
0000 1101 |
8 |
0000 1000 |
0000 1011 |
0000 1110 |
9 |
0000 1001 |
0000 1111 |
0000 1111 |
10 |
0001 0000 |
0001 0000 |
0001 0000 |
Наибольшее распространение получил код Грея, часто называемый циклическим или рефлексно-двоичным. Код Грея используется в технике аналого-цифрового преобразования, где он позволяет свести к единице младшего разряда ошибку неоднозначности при считывании. Комбинации кода Грея, соответствующие десятичным числам от 0 до 15, приведены в табл. 5.2.
Правила перевода числа из кода Грея в обычный двоичный сводится к следующему: первая единица со стороны старших разрядов остается без изменения, последующие цифры (0 и 1) остаются без изменения, если число единиц, им предшествующих, четно, инвертируется, если число единиц нечетно.
Таблица 5.2
Число в десятичном коде |
Код Грея |
Число в десятичном коде |
Код Грея |
Число в десятичном коде |
Код Грея |
0 |
0000 |
6 |
0101 |
11 |
1110 |
1 |
0001 |
7 |
0100 |
12 |
1010 |
2 |
0011 |
8 |
1100 |
13 |
1011 |
3 |
0010 |
9 |
1101 |
14 |
1001 |
4 |
0110 |
10 |
1111 |
15 |
1000 |
5 |
0111 |
|
|
|
|
Пример 5.2. Выразим кодовое число единиц, записанное в коде Грея, в обычном двоичном коде.
Первая единица слева переписываем. Следующая цифра будет единицей, так как в этом разряде кода Грея стоит нуль и впереди только одна единица. Далее необходимо записать нуль, так как в следующем разряде исходного числа стоит единица и впереди снова имеется только одна единица. Поскольку перед последней цифрой числа в коде Грея стоят две единицы, то она должна остаться неизменной, т.е. нулем. Таким образом, число 1010 в коде Грея соответствует обычное двоичное число 1100.