
- •Предисловие
- •Лекция 1. Информация. Начальные понятия и определения
- •1. Информация и данные
- •2. Адекватность и формы адекватности информации
- •3. Качество информации
- •4. Понятие об информационном процессе
- •5. Формы представления информации
- •6. Преобразование сообщений
- •Лекция 2. Необходимые сведения из теории вероятностей
- •1. Понятие вероятности
- •2. Сложение вероятностей независимых несовместных событий
- •3. Умножение вероятностей независимых совместных событий
- •4. Нахождение среднего для значений случайных независимых величин
- •5. Понятие условной вероятности
- •6. Общая формула для вероятности произведения событий
- •7. Общая формула для вероятности суммы событий
- •Лекция 3. Понятие энтропии
- •1. Энтропия как мера неопределенности
- •2. Свойства энтропии
- •3. Условная энтропия
- •Лекция 4. Энтропия и информация
- •1. Объемный подход к измерению количества информации
- •2. Энтропийный подход к измерению количества информации
- •Лекция 5. Информация и алфавит
- •Лекция 6. Постановка задачи кодирования. Первая теорема Шеннона.
- •Лекция 7. Способы построения двоичных кодов. Алфавитное неравномерное двоичное кодирование сигналами равной длительности. Префиксные коды.
- •1. Постановка задачи оптимизации неравномерного кодирования
- •00100010000111010101110000110
- •2. Неравномерный код с разделителем
- •3. Коды без разделителя. Условие Фано
- •00100010000111010101110000110
- •00100010000111010101110000110
- •4. Префиксный код Шеннона–Фано
- •5. Префиксный код Хаффмана
- •Лекция 8. Способы построения двоичных кодов. Другие варианты
- •1. Равномерное алфавитное двоичное кодирование. Байтовый код
- •2. Международные системы байтового кодирования текстовых данных. Универсальная система кодирования текстовых данных
- •3. Алфавитное кодирование с неравной длительностью элементарных сигналов. Код Морзе
- •4. Блочное двоичное кодирование
- •101010111001100010000000001000000000000001
- •5. Кодирование графических данных
- •6. Кодирование звуковой информации
- •Лекция 9. Системы счисления. Представление чисел в различных системах счисления. Часть 1
- •1. Системы счисления
- •2. Десятичная система счисления
- •3. Двоичная система счисления
- •4. 8- И 16-ричная системы счисления
- •5. Смешанные системы счисления
- •6. Понятие экономичности системы счисления
- •Лекция 10. Системы счисления. Представление чисел в различных системах счисления. Часть 2.
- •1. Задача перевода числа из одной системы счисления в другую
- •2. Перевод q p целых чисел
- •3. Перевод p q целых чисел
- •4. Перевод p q дробных чисел
- •6. Перевод чисел между 2-ичной, 8-ричной и 16-ричной системами счисления
- •Лекция 11. Кодирование чисел в компьютере и действия над ними
- •1. Нормализованные числа
- •2. Преобразование числа из естественной формы в нормализованную
- •3. Преобразование нормализованных чисел
- •4. Кодирование и обработка целых чисел без знака
- •5. Кодирование и обработка целых чисел со знаком
- •6. Кодирование и обработка вещественных чисел
- •Лекция 12. Передача информации в линии связи
- •1. Общая схема передачи информации в линии связи
- •2. Характеристики канала связи
- •3. Влияние шумов на пропускную способность канала
- •Лекция 13. Обеспечение надежности передачи информации.
- •1. Постановка задачи обеспечения надежности передачи
- •2. Коды, обнаруживающие одиночную ошибку
- •3. Коды, исправляющие одиночную ошибку
- •Лекция 14. Способы передачи информации в компьютерных линиях связи
- •1. Параллельная передача данных
- •2. Последовательная передача данных
- •3. Связь компьютеров по телефонным линиям
- •Лекция 15. Классификация данных. Представление данных в памяти компьютера
- •1. Классификация данных
- •2. Представление элементарных данных в озу
- •Лекция 16. Классификация структур данных
- •1. Классификация и примеры структур данных
- •2. Понятие логической записи
- •Лекция 17. Организация структур данных в оперативной памяти и на внешних носителях
- •1. Организация структур данных в озу
- •2. Иерархия структур данных на внешних носителях
- •3. Особенности устройств хранения информации
- •Контрольные вопросы
- •Список литературы
3. Алфавитное кодирование с неравной длительностью элементарных сигналов. Код Морзе
В качестве примера использования данного
варианта кодирования рассмотрим
телеграфный код Морзе («азбука Морзе»).
В нем каждой букве или цифре сопоставляется
некоторая последовательность
кратковременных импульсов – точек и
тире, разделяемых паузами. Длительности
импульсов и пауз различны: если
продолжительность импульса, соответствующего
точке, обозначить
,
то продолжительность импульса тире
составляет
.
При этом длительность паузы между точкой
и тире равна
,
а пауза между буквами в слове равна
(длинная пауза). Пауза между словами
(пробел) длится
.
Итак, в коде Морзе имеется три вида элементарных сигналов разной длительности: короткий импульс, длинный импульс, длинная пауза. Таким образом, код Морзе является троичным.
Под знаками кода Морзе следует понимать следующее:
«» означает «короткий импульс + короткая пауза»;
«» означает «длинный импульс + короткая пауза»;
«0» означает длинную паузу – признак конца буквы;
«00» означает двойную длинную паузу – признак пробела.
Свой код Морзе разработал в 1838 году, то есть задолго до работ Шеннона, до исследования относительной частоты (вероятности) появления различных букв в текстах. Однако Морзе правильно выбрал принцип кодирования – буквы, которые встречаются чаще, должны иметь более короткие коды, чтобы сократить общее время передачи сообщения. Относительные частоты букв английского алфавита он оценил простым подсчетом литер в ячейках типографской наборной машины. Поэтому самая распространенная английская буква «E» получила код «точка».
При составлении кодов Морзе для букв русского алфавита учет относительной частоты букв не производился, что, естественно, повысило его избыточность.
В табл. 16ниже
представлен код Морзе для русского
алфавита. Признак конца буквы («0») в
кодах не отображается, но он учтен в
величинедлины кода буквы №i.
Табл. 16. Код Морзе для русского алфавита
Буква |
Код |
|
|
Буква |
Код |
|
|
Пробел |
00 |
174 |
2 |
Я |
|
18 |
5 |
О |
|
90 |
4 |
Ы |
|
16 |
5 |
Е |
|
72 |
2 |
З |
|
16 |
4 |
А |
|
62 |
3 |
Ь, Ъ |
|
14 |
5 |
И |
|
62 |
3 |
Б |
|
14 |
5 |
Т |
|
53 |
2 |
Г |
|
13 |
4 |
Н |
|
53 |
3 |
Ч |
|
12 |
5 |
С |
|
45 |
4 |
Й |
|
10 |
5 |
Р |
|
40 |
4 |
Х |
|
9 |
5 |
В |
|
38 |
4 |
Ж |
|
7 |
5 |
Л |
|
35 |
5 |
Ю |
|
6 |
5 |
К |
|
28 |
4 |
Ш |
|
6 |
5 |
М |
|
26 |
2 |
Ц |
|
5 |
5 |
Д |
|
25 |
4 |
Щ |
|
4 |
5 |
П |
|
23 |
4 |
Э |
|
4 |
6 |
У |
|
21 |
4 |
Ф |
|
3 |
5 |
Среднее значение длины кода Морзе имеет значение
.
Полагая появлние знаков вторичного алфавита (элементарных сигналов кода Морзе) равновероятным, получаем, что средняя информация на знак троичного алфавита Морзе равна
.
Для русского алфавита в первом приближении
(с учетом вероятностей появления русских
букв в текстах) средняя информация на
знак (на букву) русского алфавита равна
.
Как известно, избыточность кода вычисляется по формуле
.
В нашем случае
,
– троичный алфавит Морзе,
,
.
Таким образом,
,
то есть избыточность кода Морзе для русского языка составляет приблизительно 22 .
Избыточность кода Морзе для английского языка около 19 .
Код Морзе имел в недалеком прошлом весьма широкое распространение в ситуациях, когда источником и приемником сигналов являлся человек, а не техническое устройство; при этом на первый план выдвигалась не экономичность кода, а удобство его восприятия человеком.