
- •Предисловие
- •Введение
- •Концептуальные основы информационных процессов.
- •О понятии «Информация» [1,2]
- •1.2. Виды и свойства информации [2].
- •1.3. Этапы обращения информации [1].
- •1.4. Информационные системы [1].
- •1.5. Система передачи информации [1].
- •1.6. Уровни проблем передачи информации [1].
- •1.7. О смысле «Теории информации» в системе связи [1].
- •2. Математические основы теории вероятностей [6,4].
- •2.1. Случайное событие и вероятность.
- •2.2 Случайные величины и их вероятностные характеристики.
- •Случайные функции и их вероятностное описание.
- •2.4 Корреляционные характеристики случайных процессов.
- •Дифференциальный; 2) интегральный;
- •3) Плотность вероятностей.
- •Дифференциальный; 2) интегральный; 3) числовой.
- •Свойства энтропии [1,3 и др.].
- •Условная энтропия и ее свойства [1,2 и др.].
- •Свойства условной энтропии
- •Энтропия непрерывного источника информации (дифференциальная энтропия) [1, 2 и др.].
- •Передача информации от дискретного источника [1 и др.].
- •Передача информации от непрерывного источника [1 и др.].
- •Основные свойства количества информации [1 и др.].
- •4. Информационные характеристики источника сообщений и канала связи.
- •4.1. Введение [1 и др.].
- •4.2. Информационные характеристики источника дискретных сообщений.
- •4.2.1 Модели источника дискретных сообщений [1 и др.].
- •4.2.2 Свойства эргодических последовательностей знаков [1 и др.].
- •4.2.3 Избыточность источника [1 и др.].
- •4.2.4 Производительность источника дискретных сообщений [1 и др.].
- •4.3. Информационные характеристики дискретных каналов связи.
- •4.3.1 Модели дискретных каналов [1, 4, 5 и др.].
- •Скорость передачи информации по дискретному каналу [1 и др.].
- •Пропускная способность дискретного канала без помех [1 и др.].
- •Пропускная способность дискретного канала с помехами [1 и др.].
- •Информационные характеристики непрерывных каналов связи [1 и др.].
- •Согласование физических характеристик сигнала и канала [1 и др.].
- •Согласование статистических свойств источника сообщений и канала связи [1 и др.].
- •4.6 Контрольные вопросы к разделам 3 и 4 в форме «Задание – тест» тема: «Количественная оценка информации».
- •1) Бод; 2) бит (двоичная цифра); 3) байт.
- •1) Сумма; 2) произведение; 3) разность.
- •1) Безусловной энтропией; 2) условной энтропией;
- •3) Совместной энтропией.
- •1) Объем алфавита;
- •2) Объем алфавита и вероятности создания источником отдельных знаков; 3) вероятности создания источником отдельных знаков.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Максимальная скорость; 2) пропускная скорость; 3) предел скорости.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •5.2. Классификация кодов [4 и др.].
- •5.3. Представление кодов [4 и др.].
- •5.4. Оптимальное (эффективное) статистическое кодирование [3 и др.].
- •5.4.1 Методы эффективного кодирования некоррелированной последовательности знаков [1 и др.].
- •Методика построения кода Шеннона – Фано [1].
- •Методика построения кода Хаффмена [2 и др.].
- •5.4.2 Свойство префиксности эффективных кодов [1 и др.].
- •5.4.3 Методы эффективного кодирования коррелированной последовательности знаков.
- •5.4.4 Недостатки системы эффективного кодирования.
- •1) Номер разряда;
- •2) Множитель, принимающий целочисленные значения;
- •3) Количество разрядов.
- •Всякий блочный код можно представить таблицей:
- •Всякий блочный код можно представить таблицей:
- •Литература:
- •Содержание
5.2. Классификация кодов [4 и др.].
Теория кодирования развивается в двух главных направлениях: во-первых, поиск кодов, позволяющих в каналах без шумов максимально устранить избыточность источника (экономное кодирование) и тем самым повысить эффективность системы передачи информации, и, во-вторых поиск кодов, повышающих верность в канале с шумами (помехоустойчивое кодирование). Помехоустойчивые коды называют также корректирующими (они способны обнаруживать или исправлять ошибки и стирания канала), они возможны лишь при внесении определенной избыточности в используемых кодовых последовательностях.
При помехоустойчивом кодировании чаще считают, что избыточность источника на входе кодера KИ=0. Для этого имеются следующие основания: во-первых, очень многие дискретные источники (например, информация на выходе ЭВМ) обладают малой избыточностью; во-вторых если избыточность источников существенна, она обычно порождается сложными связями, которые в месте приема затруднительно использовать для повышения верности. Разумно поэтому в таких случаях сначала по возможности уменьшить избыточность первичного источника, а затем методами помехоустойчивого кодирования внести такую избыточность в сигнале, которая позволяет достаточно простыми средствами поднять верность.
Из сказанного следует, что экономное кодирование вполне может сочетаться с помехоустойчивым.
Коды можно классифицировать по весьма различным признакам. Одним из основных является основание кода m или число различных используемых в нем символов. Наиболее простыми являются двоичные (бинарные) коды, у которых m=2. Коды с m>2 называют многопозиционными. Мы будем интересоваться в основном двоичными кодами, нашедшими преимущественное применение на практике.
Далее коды можно разделять на блочные и непрерывные. Блочными называют коды, в которых каждый элемент («буква»)сообщения ak(k=1, 2, 3, …, K) преобразуется в определенную последовательность (блок) кодовых символов {bi}, называемую кодовой комбинацией bk(k=1, 2, 3, …, K) . Непрерывные коды образуют последовательность символов {bi}, не разделяемую на последовательные кодовые комбинации: здесь в процессе кодирования символы определяются не одним, а целой группой элементов сообщения.
Пока что на практике чаще всего используются блочные коды, равномерные и неравномерные. В равномерных кодах, в отличие от неравномерных, все кодовые комбинации содержат одинаковое число символов (разрядов), передаваемых по каналу элементарными сигналами неизменной длительности. Это обстоятельство существенно упрощает технику передачи и приема сообщений и повышает помехоустойчивость системы связи.
Ко всякому коду обязательно предъявляется требование однозначности декодирования. В случае блочных кодов это значит, что всякой последовательности или группе последовательностей кодовых символов должна однозначно соответствовать последовательность элементов передаваемого сообщения, что всегда выполняется при использовании равномерных кодов.
Если объем (число возможных элементов-букв) алфавита источника сообщений равен K, то каждую букву можно закодировать с помощью n-разрядного равномерного кода с основанием m при
(5.2)
Если в (5.2) имеет место равенство, т.е. все возможные кодовые комбинации используются для передачи сообщений, то в этом случае код называется безызбыточным или примитивным. Если же число возможных кодовых комбинаций больше числа различных букв и, следовательно, часть из них можно не задействовать при передачи сообщений, код называется избыточным или корректирующим.