- •160001, Г. Вологда, ул. Челюскинцев, 3.
- •Предисловие
- •Введение
- •Раздел 1. Теория информации
- •Глава 1. Исходные понятия информатики
- •1.1. Начальные определения
- •1.2. Формы представления информации
- •1.3. Преобразование сообщений
- •Контрольные вопросы и задания
- •Глава 2. Понятие информации в теории Шеннона
- •2.1. Понятие энтропии
- •2.1.1. Энтропия как мера неопределенности
- •2.1.2. Свойства энтропии
- •2.1.3. Условная энтропия
- •2.2. Энтропия и информация
- •2.3. Информация и алфавит
- •Контрольные вопросы и задания
- •Глава 3. Кодирование символьной информации
- •3.1. Постановка задачи кодирования, Первая теорема Шеннона
- •3.2. Способы построения двоичных кодов
- •3.2.1. Алфавитное неравномерное двоичное кодирование сигналами равной длительности. Префиксные коды
- •3.2.2. Равномерное алфавитное двоичное кодирование. Байтовый код
- •3.2.3. Алфавитное кодирование с неравной длительностью элементарных сигналов. Код Морзе
- •3.2.4. Блочное двоичное кодирование
- •Контрольные вопросы и задания
- •Глава 4. Представление и обработка чисел в компьютере
- •4.1. Системы счисления
- •4.2. Представление чисел в различных системах счисления
- •4.2.1. Перевод целых чисел из одной системы счисления в другую
- •4.2.2. Перевод дробных чисел из одной системы счисления в другую
- •4.2.3. Понятие экономичности системы счисления
- •4.2.4. Перевод чисел между системами счисления 2 ↔ 8 ↔ 16
- •4.2.5. Преобразование нормализованных чисел
- •4.3. Кодирование чисел в компьютере и действия над ними
- •4.3.1. Кодирование и обработка в компьютере целых чисел без знака
- •4.3.2. Кодирование и обработка в компьютере целых чисел со знаком
- •4.3.3. Кодирование и обработка в компьютере вещественных чисел
- •Контрольные вопросы и задания
- •Глава 5. Передача информации
- •5.1. Общая схема передачи информации в линии связи
- •5.2. Характеристики канала связи
- •5.3. Влияние шумов на пропускную способность канала
- •5.4. Обеспечение надежности передачи и хранения информации
- •5.4.1. Постановка задачи
- •5.4.2. Коды, обнаруживающие ошибку
- •5.4.3. Коды, исправляющие одиночную ошибку
- •5.5. Способы передачи информации в компьютерных линиях связи
- •5.5.1. Канал параллельной передачи
- •5.5.2. Последовательная передача данных
- •5.5.3. Связь компьютеров по телефонным линиям
- •Контрольные вопросы и задания
- •Глава 6. Хранение информации
- •6.1. Классификация данных. Проблемы представления данных
- •6.2. Представление элементарных данных в озу
- •6.3. Структуры данных и их представление в озу
- •6.3.1. Классификация и примеры структур данных
- •6.3.2. Понятие логической записи
- •6.3.3. Организация структур данных в озу
- •6.4. Представление данных на внешних носителях
- •6.4.1. Иерархия структур данных на внешних носителях
- •6.4.2. Особенности устройств хранения информации
- •Контрольные вопросы и задания
- •Раздел 2. Алгоритмы. Модели. Системы
- •Глава 7. Элементы теории алгоритмов
- •7.1. Нестрогое определение алгоритма
- •7.2. Рекурсивные функции
- •7.3. Алгоритм как абстрактная машина
- •7.3.1. Общие подходы
- •7.3.2. Алгоритмическая машина Поста
- •7.3.3. Алгоритмическая машина Тьюринга
- •7.4. Нормальные алгоритмы Маркова
- •7.5. Сопоставление алгоритмических моделей
- •7.6. Проблема алгоритмической разрешимости
- •7.7. Сложность алгоритма
- •Контрольные вопросы и задания
- •Глава 8. Формализация представления алгоритмов
- •8.1. Формальные языки
- •8.1.1. Формальная грамматика
- •8.1.2. Способы описания формальных языков
- •8.2. Способы представления алгоритмов
- •8.2.1. Исполнитель алгоритма
- •8.2.2. Строчная словесная запись алгоритма
- •8.2.3. Графическая форма записи
- •8.2.4. Классификация способов представления алгоритмов
- •8.3. Структурная теорема
- •Контрольные вопросы и задания
- •Глава 9. Представление о конечном автомате
- •9.1. Общие подходы к описанию устройств, предназначенных для обработки дискретной информации
- •9.2. Дискретные устройства без памяти
- •9.3. Конечные автоматы
- •9.3.1. Способы задания конечного автомата
- •9.3.2. Схемы из логических элементов и задержек
- •9.3.3. Эквивалентные автоматы
- •Контрольные вопросы и задания
- •Глава 10. Модели и системы
- •10.1. Понятие модели
- •10.1.1. Общая идея моделирования
- •10.1.2. Классификация моделей
- •Модели структурные и функциональные
- •Модели натурные и информационные
- •Модели проверяемые и непроверяемые
- •Модели по назначению
- •10.1.3. Понятие математической модели
- •10.2. Понятие системы
- •10.2.1. Определение объекта
- •10.2.2. Определение системы
- •10.2.3. Формальная система
- •10.2.4. Значение формализации
- •10.3. Этапы решения задачи посредством компьютера
- •10.4. Об объектном подходе в прикладной информатике
- •Контрольные вопросы и задания
- •Заключение
- •Приложение а. Элементы теории вероятностей
- •А.1. Понятие вероятности
- •А.2. Сложение и умножение вероятностей
- •A.3. Условная вероятность
- •Контрольные вопросы и задания
- •Приложение б. Некоторые соотношения логики
- •Глоссарий
- •Список литературы
- •Содержание
- •Глава 4. Представление и обработка чисел в компьютере 45
- •Глава 5. Передача информации 69
- •Глава 6. Хранение информации 83
- •Раздел 2. Алгоритмы. Модели. Системы 98
- •Глава 7. Элементы теории алгоритмов 99
- •Глава 8. Формализация представления алгоритмов 120
- •Глава 9. Представление о конечном автомате 134
- •Глава 10. Модели и системы 147
Контрольные вопросы и задания
Почему в определении энтропии как меры неопределенности выбрана логарифмическая зависимость между Н и п? Почему выбран log2?
Какова энтропия следующих опытов:
(a) бросок монеты;
(b) бросок игральной кости;
(c) вытаскивание наугад одной игральной карты из 36;
(d) бросок двух игральных костей.
Алфавит русского языка содержит 34 буквы (с пробелом), английского - 27. Если считать появление всех букв в тексте одинаковым, то как соотносятся неопределенности, связанные с угадыванием случайно выбранной буквы текста?
Опыт имеет два исхода. Докажите, что энтропия такого опыта максимальна, если вероятности исходов будут обе равны 0,5.
По условиям задачи 12 приложения А определите, с результатом выстрела которого из стрелков - А или В - связана большая неопределенность.
Докажите, что для двух опытов справедливо соотношение: Н(α) + Нα(β) = Н(β) + Нβ(α).
Решите задачу, рассмотренную в примере 2.2, при условии, что шары возвращаются в ящик после извлечения.
Опыты аир состоят в последовательном извлечении без возврата двух шаров из ящика, в котором изначально находились п белых шаров и т черных. Найдите Н(α), Н(β), Нα(β) и Нβ(α).
Какое количество информации связано с исходом следующих опытов:
(a) бросок игральной кости;
(b) бросок 2-х монет;
(c) вытаскивание наугад одной игральной карты из 36;
(d) бросок двух игральных костей.
Мы отгадываем задуманное кем-то двузначное число.
(a) Какое количество информации требуется для отгадывания всего числа?
(b) Какова оптимальная последовательность вопросов при отгадывании? Каково их минимальное число?
(c) Изменится ли требуемое количество информации, если будем отгадывать не все число сразу, а по очереди: сначала 1-ю цифру числа, затем - 2-ю?
(d) Одинакова ли информация, необходимая для отгадывания 1-ой и 2-ой цифр?
Докажите, что I(α, β) = I (β, α).
Решите задачу, описанную в примере 2.7, при условии, что помимо деревень А и В имеется деревня С, жители которой дают по очереди то правдивые, то ложные ответы, причем, неизвестно, с какого они начинают.
Вопрос имеет два варианта ответа. Возможно ли, чтобы с каждым из ответов была связано различное количество информации?
Возможно ли, чтобы бинарный ответ содержал меньше 1 бит информации?
Какое количество информации содержит каждый из ответов на вопрос, если всего их 3 и все они равновероятны? А если равновероятных ответов п?
Источник порождает множество шестизнаковых сообщений, каждое из которых содержит 1 знак «*», 2 знака «%» и 3 знака «!». Какое количество информации содержится в каждом (одном) из таких сообщений?
С какой буквой русского алфавита «а» или «б» связано больше информации? Найдите эту информацию.
Средняя длина слова в русском языке 5,3 буквы, в английском - 4,5. Найдите вероятности появления в соответствующих текстах пробелов. Какое количество информации связано с пробелом в обоих языках?
По данным таблицы 2.1 с помощью Excel вычислите I1 для русского алфавита и проверьте приведенное в тексте значение.
Дайте объяснение тому, что количество информации на знак алфавита выражается нецелым числом.
Что такое «шенноновские сообщения»! Почему теория информации имеет дело именно с такими сообщениями?
Почему используется «избыточный» язык?
Одинакова ли на Ваш взгляд избыточность литературных и деловых текстов? Почему?