
- •О.Т.Данилова Теория информации
- •Введение
- •Глава 1. Основные понятия теории информации
- •1.1. Свойства информации
- •1.2. Этапы обращения информации
- •1.3. Определение системы передачи информации. Каналы связи.
- •1.4. Алфавит сообщения
- •1.5. Источник информации
- •Глава 2. Количество информации
- •2.1. Объемный подход к измерению информации
- •2.2. Количественная мера информации р.Хартли
- •2.3. Мера информации к. Шеннона
- •2.4. Условная собственная информация. Взаимная информация
- •1 (Бит), где m – мощность алфавита.
- •Глава 3. Энтропия дискретной последовательности. Энтропия непрерывной случайной величины
- •3.1. Частная энтропия
- •Прологарифмировав последнее равенство, получим
- •3.2. Энропия типичных и нетипичных комбинаций
- •3.3. Условная энтропия
- •3.4. Энтропия объединения ансамблей
- •3.5. Канальные матрицы
- •3.6. Количество информации при неполной достоверности и статистической зависимости сообщений
- •3.7. Избыточность источника
- •3.8. Энтропия непрерывной случайной величины
- •3.9. Количество информации для непрерывных систем
- •3.10. Принцип экстремума энтропии и экстремальные распределения
- •Подставим (3.7) в (3.4):
- •3.11. Эпсилон энтропия
- •Глава 4. Общие сведения из теории сигналов
- •4.1. Классификация сигналов и систем
- •Характеристики сигналов передаваемых по каналу
- •4.3. Модуляция сигналов. Виды и характеристики носителей
- •4.4. Спектры сигналов
- •4.5. Тригонометрическая форма
- •4.6. Комплексная форма
- •4.7. Определение погрешности
- •Глава 5. Скорость передачи и пропускная способность канала связи
- •5.1. Скорость передачи информации в дискретной системе связи
- •5.2. Пропускная способность однородного симметричного канала связи
- •5.3. Пропускная способность непрерывного канала связи
- •5.4. Обмен мощности сигнала на ширину его спектра
- •5.5. Сравнение пропускной способности непрерывного и дискретного каналов связи.
- •5.6. Эффективность систем связи
- •Глава 6. Критерии описания реальных дискретных каналов
- •6.1. Описание источника ошибок на основе цепей Маркова
- •6.2. Описание источника ошибок на основе процессов восстановления
- •6.3. Описание источника ошибок на основе процессов накопления
- •6.4. Модель Гилберта
- •6.5. Модель Эллиота-Гилберта. Модель Элиота
- •6.6. Модель Беннета-Фройлиха
- •6.7. Модель Попова - Турина
- •Глава 7. Кодирование информации
- •7.1. Статистическое кодирование дискретных сообщений
- •7.2. Статистическое кодирование кодовых слов
- •Средняя длина кодового слова
- •7.3. Кодирование информации для канала с помехами
- •7.3. Разновидности помехоустойчивых кодов
- •7.4 Общие принципы использования избыточности
- •7.5. Связь корректирующей способности кода с кодовым расстоянием
- •7.6. Понятие качества корректирующего кода
- •7.7. Линейные коды
- •7.7. Математическое введение к линейным кодам
- •7.8. Линейный код как пространство линейного векторного пространства
- •7.9. Построение двоичного группового кода
- •7.10. Составление таблицы опознавателей
- •7.11. Определение проверочных равенств
- •7.12. Мажоритарное декодирование групповых кодов
- •7.13. Матричное представление линейных кодов
- •7.14. Построение циклических кодов
- •Математическое введение к циклическим кодам
- •7.17. Обнаружение одиночных ошибок
- •Исправление одиночных или обнаружение двойных ошибок
- •7.18. Обнаружение ошибок кратности три и ниже
- •7.19. Обнаружение и исправление независимых ошибок произвольной кратности
- •7.20. Методы образования циклического кода
- •7.21. Матричная запись циклического кода
- •7.22. Укороченные циклические коды
- •Глава 8. Сжатие информации
- •8.1. Основные понятия
- •8.2. Методы сжатия без потерь
- •8.3. Методы сжатия с потерями
- •8.4. Сжатие графики
- •Прямое дкп
- •8.5. Сжатие звука
- •8.6. Сжатие видеоинформации
- •Вопросы для самопроверки
- •Список литературы
1.4. Алфавит сообщения
Множество возможных значений дискретного сообщения (сигнала) ДС представляет собой алфавит сообщения.
Алфавит сообщения обозначается заглавной буквой, например, А, а в фигурных скобках указываются все его возможные значения - символы.
Число символов
алфавита называется объемом
алфавита К
Вообще возможны три вида алфавита источника:
- алфавит, элементами которого являются отдельные буквы (знаки),
- алфавит, элементами которого являются слова,
- алфавит, элементами которого являются фразы.
Наиболее часто используются следующие алфавиты.
B = {0,1} – бинарный или двоичный алфавит.
Σ = {а,b, …,z} – множество строчных букв английского алфавита.
Множество ASCII - символов или множество всех печатных ASCII - символов.
Множество десятичных цифр D={0, 1, 2, 3, 4, 5, 6, 7, 8, 9} является алфавитом, с помощью которого записываются неотрицательные целые числа.
Алфавит H={0, 1, 2, 3, 4, 5, 6, 7, 8, 9, a, b, c, d, e, f} также служит для записи неотрицательных целых числа в шестнадцатеричной системе счисления. Следует отметить, что этот H содержит 10 десятичных цифр т. е.
.
Единицей языка является слово. Оно служит для наименования (обозначения) понятий, предметов, лиц, действий, состояний, признаков, связей, отношений и т.д.
Слово, или, цепочка - это конечная последовательность знаков некоторого алфавита.
Множество
слов в алфавите А обозначается А*. Если
слово
,
то количество букв в слове называется
длиной слова:
.
Пустая цепочка – это цепочка, не содержащая ни одного символа. Эту цепочку, обозначаемую ε, можно рассматривать, как цепочку в любом алфавите.
Пустое
слово обозначается
.
Если
,
то
называется началом, или префиксом, слова
,
a
— окончанием, или постфиксом, слова
.
Пример 1.7.
01101 – это цепочка в бинарном алфавите
B
= {0,1}. Цепочки 15903 и 15df10
являются цепочками в алфавите
и
соответственно.
Всякое слово, то есть последовательность букв, может рассматриваться, как блок букв, всякая фраза есть последовательность слов и также может рассматриваться, как блок слов.
Часто оказывается удобным классифицировать слова по их длине, т.е. по числу позиций, которые занимают знаки в слове.
Например, слово 01101 имеет длину 5.
Обычно говорят, что длина цепочки – это «число символов» в ней. Это определение широко распространено, но не вполне корректно. Так, в цепочке 01101 всего 2 символа, но число позиций в ней – пять, поэтому она имеет длину 5. Все же следует иметь в виду, что часто пишут «число символов», имея в виду «число позиций».
Длину некоторой цепочки w обычно обозначают |w|.
Пример 1.8. |011| = |101| = |f50| = 3, а |ε| = 0.
Если
– некоторый алфавит, то можно выразить
для множества всех цепочек определенной
длины, состоящих из символов некоторого
алфавита
,
удобно использовать, по аналогии с
декартовыми степенями множеств, знак
степени. Обозначим через
множество всех слов длины k,
состоящих из знаков алфавита
.
Данное множество с точностью до
обозначений его элементов совпадает с
декартовым произведением
.
Различие заключается в том, что элементы
декартового произведения обычно
заключаются в скобки, а слова из
записываются без скобок.
Пусть x и y – слова. Тогда xy обозначает их конкатенацию (соединение), т.е. слово, в котором последовательно записаны слова x и y. Более строго, если x – слово из i символов: x = a1 a2 … ai, а y – слово из j символов y = b1 b2 … bi, то xy – это слово длины i + j: , xy = = a1 a2 … ai b1 b2 … bi.
Множество слов
в алфавите
является (свободной) полугруппой
относительно операции конкатенации.
Пример 1.9.
Пусть x
= 01101 и y
= 110. Тогда
xy =
01101110, а
.
Существует, однако, множество других языков.
Пример 1.10.
1. Язык,
состоящий из всех цепочек, в которых n
единиц следуют за n
нулями для некоторого
n
> 0: {,
01, 0011, 000111, ...}.
2. Множество цепочек,
состоящих из 0 и 1 и содержащих поровну
тех и других: {,
01, 10, 0011, 1001,...}.
3. Множество двоичных записей простых чисел: {10, 11, 101, 111,1011,...}.
4. A* — язык для любого алфавита A.
5.
—пустой
язык в любом алфавите.
6. {}
— язык, содержащий одну лишь пустую
цепочку. Он также является языком в
любом алфавите. Заметим, что
;
первый не содержит вообще никаких
цепочек, а второй состоит из одной
цепочки.
Единственное существенное ограничение для множеств, которые могут быть языками, состоит в том, что все алфавиты конечны. Таким образом, хотя языки и могут содержать бесконечное число цепочек, но эти цепочки должны быть составлены из символов некоторого фиксированного конечного алфавита.