
- •160001, Г. Вологда, ул. Челюскинцев, 3.
- •Предисловие
- •Введение
- •Раздел 1. Теория информации
- •Глава 1. Исходные понятия информатики
- •1.1. Начальные определения
- •1.2. Формы представления информации
- •1.3. Преобразование сообщений
- •Контрольные вопросы и задания
- •Глава 2. Понятие информации в теории Шеннона
- •2.1. Понятие энтропии
- •2.1.1. Энтропия как мера неопределенности
- •2.1.2. Свойства энтропии
- •2.1.3. Условная энтропия
- •2.2. Энтропия и информация
- •2.3. Информация и алфавит
- •Контрольные вопросы и задания
- •Глава 3. Кодирование символьной информации
- •3.1. Постановка задачи кодирования, Первая теорема Шеннона
- •3.2. Способы построения двоичных кодов
- •3.2.1. Алфавитное неравномерное двоичное кодирование сигналами равной длительности. Префиксные коды
- •3.2.2. Равномерное алфавитное двоичное кодирование. Байтовый код
- •3.2.3. Алфавитное кодирование с неравной длительностью элементарных сигналов. Код Морзе
- •3.2.4. Блочное двоичное кодирование
- •Контрольные вопросы и задания
- •Глава 4. Представление и обработка чисел в компьютере
- •4.1. Системы счисления
- •4.2. Представление чисел в различных системах счисления
- •4.2.1. Перевод целых чисел из одной системы счисления в другую
- •4.2.2. Перевод дробных чисел из одной системы счисления в другую
- •4.2.3. Понятие экономичности системы счисления
- •4.2.4. Перевод чисел между системами счисления 2 ↔ 8 ↔ 16
- •4.2.5. Преобразование нормализованных чисел
- •4.3. Кодирование чисел в компьютере и действия над ними
- •4.3.1. Кодирование и обработка в компьютере целых чисел без знака
- •4.3.2. Кодирование и обработка в компьютере целых чисел со знаком
- •4.3.3. Кодирование и обработка в компьютере вещественных чисел
- •Контрольные вопросы и задания
- •Глава 5. Передача информации
- •5.1. Общая схема передачи информации в линии связи
- •5.2. Характеристики канала связи
- •5.3. Влияние шумов на пропускную способность канала
- •5.4. Обеспечение надежности передачи и хранения информации
- •5.4.1. Постановка задачи
- •5.4.2. Коды, обнаруживающие ошибку
- •5.4.3. Коды, исправляющие одиночную ошибку
- •5.5. Способы передачи информации в компьютерных линиях связи
- •5.5.1. Канал параллельной передачи
- •5.5.2. Последовательная передача данных
- •5.5.3. Связь компьютеров по телефонным линиям
- •Контрольные вопросы и задания
- •Глава 6. Хранение информации
- •6.1. Классификация данных. Проблемы представления данных
- •6.2. Представление элементарных данных в озу
- •6.3. Структуры данных и их представление в озу
- •6.3.1. Классификация и примеры структур данных
- •6.3.2. Понятие логической записи
- •6.3.3. Организация структур данных в озу
- •6.4. Представление данных на внешних носителях
- •6.4.1. Иерархия структур данных на внешних носителях
- •6.4.2. Особенности устройств хранения информации
- •Контрольные вопросы и задания
- •Раздел 2. Алгоритмы. Модели. Системы
- •Глава 7. Элементы теории алгоритмов
- •7.1. Нестрогое определение алгоритма
- •7.2. Рекурсивные функции
- •7.3. Алгоритм как абстрактная машина
- •7.3.1. Общие подходы
- •7.3.2. Алгоритмическая машина Поста
- •7.3.3. Алгоритмическая машина Тьюринга
- •7.4. Нормальные алгоритмы Маркова
- •7.5. Сопоставление алгоритмических моделей
- •7.6. Проблема алгоритмической разрешимости
- •7.7. Сложность алгоритма
- •Контрольные вопросы и задания
- •Глава 8. Формализация представления алгоритмов
- •8.1. Формальные языки
- •8.1.1. Формальная грамматика
- •8.1.2. Способы описания формальных языков
- •8.2. Способы представления алгоритмов
- •8.2.1. Исполнитель алгоритма
- •8.2.2. Строчная словесная запись алгоритма
- •8.2.3. Графическая форма записи
- •8.2.4. Классификация способов представления алгоритмов
- •8.3. Структурная теорема
- •Контрольные вопросы и задания
- •Глава 9. Представление о конечном автомате
- •9.1. Общие подходы к описанию устройств, предназначенных для обработки дискретной информации
- •9.2. Дискретные устройства без памяти
- •9.3. Конечные автоматы
- •9.3.1. Способы задания конечного автомата
- •9.3.2. Схемы из логических элементов и задержек
- •9.3.3. Эквивалентные автоматы
- •Контрольные вопросы и задания
- •Глава 10. Модели и системы
- •10.1. Понятие модели
- •10.1.1. Общая идея моделирования
- •10.1.2. Классификация моделей
- •Модели структурные и функциональные
- •Модели натурные и информационные
- •Модели проверяемые и непроверяемые
- •Модели по назначению
- •10.1.3. Понятие математической модели
- •10.2. Понятие системы
- •10.2.1. Определение объекта
- •10.2.2. Определение системы
- •10.2.3. Формальная система
- •10.2.4. Значение формализации
- •10.3. Этапы решения задачи посредством компьютера
- •10.4. Об объектном подходе в прикладной информатике
- •Контрольные вопросы и задания
- •Заключение
- •Приложение а. Элементы теории вероятностей
- •А.1. Понятие вероятности
- •А.2. Сложение и умножение вероятностей
- •A.3. Условная вероятность
- •Контрольные вопросы и задания
- •Приложение б. Некоторые соотношения логики
- •Глоссарий
- •Список литературы
- •Содержание
- •Глава 4. Представление и обработка чисел в компьютере 45
- •Глава 5. Передача информации 69
- •Глава 6. Хранение информации 83
- •Раздел 2. Алгоритмы. Модели. Системы 98
- •Глава 7. Элементы теории алгоритмов 99
- •Глава 8. Формализация представления алгоритмов 120
- •Глава 9. Представление о конечном автомате 134
- •Глава 10. Модели и системы 147
5.3. Влияние шумов на пропускную способность канала
Как показано в теории Шеннона, утверждение, сформулированное в конце предыдущего пункта, справедливо как при отсутствии в канале помех (шумов) (идеальный канал связи), так и при их наличии (реальный канал связи). Отличие реального канала от идеального в том, что шумы приводят к снижению пропускной способности канала. Покажем это для частного случая использования двух элементарных сигналов равной длительности. Каждый из них на входе канала связи несет Iimp = 1 бит информации. После прохождения сигнала по идеальному каналу и на выходе импульс (1) интерпретируется именно как импульс, а пауза (0) - как пауза и, следовательно, связанная с ними информация не меняется в количественном отношении. Иная ситуация в реальном канале: из-за шумов при передаче может произойти искажение сигнала, в результате чего вместо 1 на выходе будет получен 0, а вместо 0 - 1. Пусть вероятности таких искажений для 0 и 1 одинаковы, т.е. p1→0 = p0→1 = р. Тогда вероятность того, что исходный сигнал придет без искажений, очевидно, равна 1 - р. Следовательно, при интерпретации (распознавании) конечного сигнала возникает неопределенность, которая, как следует из формул (2.4) и (А.8), может быть охарактеризована средней энтропией:
Эта неопределенность приведет к уменьшению количества информации, содержащейся в сигнале, на величину Н, т.е.
Поскольку длительность импульса τ0 определяется частотой vm и не зависит от наличия шумов, пропускная способность реального канала СR оказывается меньше, чем аналогичного идеального С:
На графике показана зависимость СR(р). Как следует из (5.5), при р = 0,5 (Iiтр)' = 0 и, следовательно, СR = 0. Это связано с тем, что в данном случае на приемном конце линии связи с одинаковой вероятностью получаются 0 и 1 независимо от того, каков был сигнал на входе, так что передача информации по такой линии оказывается вообще невозможной. Максимального значения пропускная способность достигает при р = 0, что соответствует отсутствию помех, а также при р = 1, т.е. таких помехах, которые каждый входной сигнал 1 переводят в 0 на выходе, а каждый 0 на входе - в 1 на выходе -ясно, что помехи такого рода не мешают распознаванию того, какой сигнал был послан и, следовательно, пропускная способность от этого не страдает. В остальных случаях С < Ср.
Пример 5.2
Каково отношение СR/С, если средняя частота появления ошибки при передаче сообщения по линии связи с шумом составляет 1 ошибочный знак на 100 переданных, если используется двоичное кодирование? Очевидно, вероятность появления ошибки передачи р = 1/100; поскольку код двоичный, Iimp = 1 бит. Следовательно, из (5.3) и (5.5) получаем:
т.е. пропускная способность канала снизилась приблизительно на 8%.
Влияние шумов определяется соотношением мощности сигнала и мощности помех. Например, для так называемого белого гауссова шума, в котором помехи существуют на всех частотах, а их амплитуды подчиняются нормальному (гауссову) распределению:
где Ns - средняя мощность сигнала, a Nn - средняя мощность помех. Из этого соотношения, в частности, видно, что для увеличения пропускной способности канала связи необходимо увеличивать полосу пропускания, либо улучшать отношение мощности сигнала к мощности помех.
Приведем характеристики некоторых каналов связи*.
* Данные взяты из книги Ф. Бауэра и Г. Гооза [4, с.65-66].
Из сопоставления данных видно, что пропускная способность телефонного канала связи совпадает с пропускной способностью органов слуха человека. Однако она существенно выше скорости обработки информации человеком, которая составляет не более 50 бит/с. Другими словами, человеческие каналы связи допускают значительную избыточность информации, поступающей в мозг.
Таким образом, наличие помех (шумов) в канале связи приводит не только к искажению передаваемого сообщения и частичной утраты связанной с ним информации, но и к уменьшению пропускной способности канала.