
- •Предисловие.
- •1. Введение.
- •2. Количество информации.
- •2.1. Формула хартли.
- •2.2. Формула шеннона.
- •2.3. Свойства энтропии.
- •2.4. Энтропия в информатике и физике.
- •2.5. Вероятностный и объемный подходы к измерению количества информации.
- •2.6. Различные аспекты анализа информации.
- •3. Принципы кодирования и декодирования информации.
- •3.1. Буква (знак, символ). Алфавит.
- •3.2. Кодировщик и декодировщик.
- •3.3. Международные системы байтового кодирования.
- •3.4. Помехоустойчивое кодирование информации.
- •4. Передача информации.
- •4.1. Из истории развития передачи информации.
- •4.2 . Общая схема передачи информации.
- •4.3. Теорема котельникова.
- •4.4.Информационная емкость дискретного сигнала (сообщения). Формула шеннона.
- •4.5. Предельная скорость передачи информации по шеннону. Формула хартли - шеннона.
- •4.6. Теорема шеннона для дискретного канала с помехами.
- •5. Дискретные двоичные (бинарные) сигналы.
- •5.1. Регенерация двоичных сигналов.
- •5.2. Помехозащищенность двоичных сигналов.
- •5.3. Кодирование двоичных сигналов.
- •6. Аналоговые и дискретные процессы.
- •6.1. Аналоговые и дискретные сигналы.
- •6.2. Измерение отношения сигнал – шум.
- •6.3. Дискретизация и кодирование аналогового сигнала.
- •7. Цифровая телефонная связь.
- •8. Цифровая телеграфная связь.
- •9. Цифровое телевидение.
- •10. Системы передачи информации
- •10.1. Параметры радиосигналов.
- •10.2. Многоканальные линии связи. Уплотнение информации.
- •11. Оптоволоконная связь.
- •11.1. Из истории кабельной связи.
- •11.2. Принцип оптоволоконной связи.
- •12. Локальные сети.
- •12.1. Аппаратные средства.
- •12.2. Конфигурация локальных сетей.
- •12.3. Организация обмена информацией.
- •13. Спутниковая связь.
- •13.1. Общая характеристика спутниковой связи.
- •13.2. Принципы спутниковой связи.
- •14. Системы счисления.
- •14.1. Непозиционные системы счисления.
- •14.2. Позиционные системы счисления.
- •14.3. Перевод чисел из десятичной системы в другую систему.
- •14.4. Перевод чисел в десятичную систему из других систем.
- •14.5. Взаимные преобразования двоичных, восьмеричных и шестнадцатеричных чисел.
- •14.6. Двоично-десятичная система.
- •15. Языки программирования.
- •15.1. Языки программирования. Общая характеристика.
- •15.2. Язык программирования си. История создания. Общая характеристика.
- •15.3. Язык программирования си. Процесс создания исполняемого файла.
- •15.4. Язык программирования си. Распределение памяти программы.
- •15.5. Язык программирования си. Основные понятия.
- •15.6. Язык программирования си. Данные.
- •15.7. Язык программирования си. Структура простой программы.
- •Приложение 1. Система семибитного кодирования.
- •Приложение 2. Модифицированная альтернативная кодировка.
- •Приложение 3: клод элвуд шеннон.
- •Литература.
- •Оглавление.
3.2. Кодировщик и декодировщик.
В канале связи сообщение, составленное из букв (знаков, символов) одного алфавита, может преобразовываться в сообщение из букв другого алфавита. Кодом называется правило, описывающее однозначное соответствие букв алфавитов при преобразовании одного алфавита в другой. Кодированием называется процедура преобразования одного алфавита в другой. Подобное преобразование сообщения может осуществляться в момент поступления сообщения от источника в канал связи (кодирование) и в момент приема сообщения получателем (декодирование). Устройства, обеспечивающие кодирование и декодирование, называются соответственно кодировщиком и декодировщиком. При передаче сообщения от источника к приемнику на него, в общем случае, воздействуют помехи.
УПРОЩЕННАЯ СХЕМА ПРОЦЕССА ПЕРЕДАЧИ СООБЩЕНИЯ.
ИСТОЧНИК |
КОДИРОВЩИК |
СООБЩЕНИЕ |
ДЕКОДИРОВЩИК |
ПРИЕМНИК |
|
|
ПОМЕХИ |
|
|
Рассмотрим некоторые примеры кодов.
-
Код (азбука) Морзе. В азбуке Морзе каждой букве (знаку) поставлена в соответствие совокупность точек и тире. Азбука Морзе является неравномерным кодом, т.к. совокупности точек и тире различных знаков отличаются длиной (обычно содержат от одной до пяти позиций). Существует много вариантов азбуки Морзе (русский, английский). Обычно, если нет других соображений, чем больше вероятность (частотность) появления знака, тем более короткую совокупность точек и тире содержит его код, с целью уменьшения объема передачи.
-
Код Трисиме. Знакам латинского алфавита ставятся в соответствие комбинации из трех знаков (1, 2, 3).
A 111 |
D 121 |
G 131 |
J 211 |
M 221 |
P 231 |
S 311 |
V 321 |
Y 331 |
B 112 |
E 122 |
H 132 |
K 212 |
N 222 |
Q 232 |
T 312 |
W 322 |
Z 332 |
C 113 |
F 123 |
I 133 |
L 213 |
O 223 |
R 233 |
U 313 |
X 323 |
333 |
3.3. Международные системы байтового кодирования.
Информатика и ее приложения интернациональны. Это связано как с объективными потребностями человечества в единых правилах и законах хранения, передачи и обработки информации, так и с тем, что в этой сфере деятельности (особенно в ее прикладной части) заметен приоритет одной страны.
Компьютер является универсальным преобразователем информации. Тексты на естественных языках, числа, математические и специальные символы, другие виды информации вводятся в компьютер, хранятся и обрабатываются в компьютере и выводятся из компьютера в кодированном виде.
При внутреннем представлении информации в компьютере кодирование символов основывается на сопоставлении каждому из них определенной группы двоичных знаков. При этом из технических соображений и из соображений удобства кодирования – декодирования обычно используются равномерные коды, т.е. двоичные группы равной длины.
Подсчитаем наиболее короткую длину такой группы при кодировании символов естественного алфавита, например английского. Количество букв 26 умножим на 2 (прописные и строчные) – получим 52; 10 цифр (0 – 9); примерно 10 знаков препинания; около 10 разделительных знаков (три вида скобок, пробел и др.); знаки арифметических действий; несколько специальных символов (#, $, & и др.) – итого примерно 100. Точный подсчет здесь не нужен.
Равномерный код из групп по I двоичных знаков, может образовать N= 2I разных кодовых комбинаций.
При I = 6 N = 64, что явно мало.
При I = 7 N= 128, что вполне достаточно.
Однако для кодирования нескольких (хотя бы двух) естественных алфавитов (плюс все отмеченные выше знаки) этого недостаточно.
При I=8 N=256, что позволяет решить указанную задачу. Поскольку 8 двоичных символов составляют 1 байт, такая система называется системой байтового кодирования.
Наиболее распространены две такие системы:
-
EBCDIC (Extended Binary Coded Decimal Interchange Code),
-
ASCII (American Standard Information Interchange).
Первая – исторически тяготеет к «большим» машинам. Вторая – чаще используется на мини- и микро ЭВМ (включая персональные компьютеры).
ASCII (AMERICAN STANDARD INFORMATION INTERCHANGE).
Система ASCII, была создана в 1963 г. В своей первоначальной версии это – система семибитного кодирования (ПРИЛОЖЕНИЕ 1), т.е. I=7, N=27=128. Она ограничивалась одним естественным алфавитом (английским), цифрами и набором различных символов, включая символы пишущей машинки (привычные знаки препинания, знаки математических действий и др.) и управляющие символы. Примеры последних легко найти на клавиатуре компьютера: для микро ЭВМ, например, DEL – знак удаления символа.
В следующей версии фирма IBM перешла на расширенную восьмибитную кодировку, т.е. I=8, N=28=256. В ней первые 128 символов совпадают с исходными семибитными кодами и имеют коды со старшим битом равным нулю, Остальные коды отданы под буквы некоторых европейских языков, в основе которых лежит латиница, греческие буквы, математические символы (скажем, знак квадратного корня) и символы псевдографики. С помощью символов псевдографики можно создавать таблицы, несложные схемы и др.
Для представления букв русского языка (кириллицы) в рамках ASCII было предложено несколько версий. Первоначально был разработан ГОСТ под названием КОИ-7. Он оказался по ряду причин неудачным. В настоящее время используется редко.
В России часто используется модифицированная альтернативная кодировка (ПРИЛОЖЕНИЕ 2). В левую часть входят исходные коды ASCII, в правую часть (расширение ASCII) вставлены буквы кириллицы взамен букв немецкого и французского алфавитов, которые не совпадают по написанию с буквами английского алфавита, греческих букв, некоторых символов. Знакам алфавита ставятся в соответствие шестнадцатеричные числа по правилу: первая – номер строки. Вторая – номер столбца. Например: английская буква ‘A’ имеет код 41, русская – ‘и’ имеет код A8. Одним из достоинств этой системы кодировки русских букв является их естественное упорядочение в такой же последовательности, как они стоят в русском алфавите. Это удобно при обработке текстов.
В настоящее время, т.к. восьми битная кодировка недостаточна для некоторых применений, разработана шестнадцати битная кодировка UNICOD, т.е. I=16, N=216=65536.