
- •О.Т.Данилова Теория информации
- •Введение
- •Глава 1. Основные понятия теории информации
- •1.1. Свойства информации
- •1.2. Этапы обращения информации
- •1.3. Определение системы передачи информации. Каналы связи.
- •1.4. Алфавит сообщения
- •1.5. Источник информации
- •Глава 2. Количество информации
- •2.1. Объемный подход к измерению информации
- •2.2. Количественная мера информации р.Хартли
- •2.3. Мера информации к. Шеннона
- •2.4. Условная собственная информация. Взаимная информация
- •1 (Бит), где m – мощность алфавита.
- •Глава 3. Энтропия дискретной последовательности. Энтропия непрерывной случайной величины
- •3.1. Частная энтропия
- •Прологарифмировав последнее равенство, получим
- •3.2. Энропия типичных и нетипичных комбинаций
- •3.3. Условная энтропия
- •3.4. Энтропия объединения ансамблей
- •3.5. Канальные матрицы
- •3.6. Количество информации при неполной достоверности и статистической зависимости сообщений
- •3.7. Избыточность источника
- •3.8. Энтропия непрерывной случайной величины
- •3.9. Количество информации для непрерывных систем
- •3.10. Принцип экстремума энтропии и экстремальные распределения
- •Подставим (3.7) в (3.4):
- •3.11. Эпсилон энтропия
- •Глава 4. Общие сведения из теории сигналов
- •4.1. Классификация сигналов и систем
- •Характеристики сигналов передаваемых по каналу
- •4.3. Модуляция сигналов. Виды и характеристики носителей
- •4.4. Спектры сигналов
- •4.5. Тригонометрическая форма
- •4.6. Комплексная форма
- •4.7. Определение погрешности
- •Глава 5. Скорость передачи и пропускная способность канала связи
- •5.1. Скорость передачи информации в дискретной системе связи
- •5.2. Пропускная способность однородного симметричного канала связи
- •5.3. Пропускная способность непрерывного канала связи
- •5.4. Обмен мощности сигнала на ширину его спектра
- •5.5. Сравнение пропускной способности непрерывного и дискретного каналов связи.
- •5.6. Эффективность систем связи
- •Глава 6. Критерии описания реальных дискретных каналов
- •6.1. Описание источника ошибок на основе цепей Маркова
- •6.2. Описание источника ошибок на основе процессов восстановления
- •6.3. Описание источника ошибок на основе процессов накопления
- •6.4. Модель Гилберта
- •6.5. Модель Эллиота-Гилберта. Модель Элиота
- •6.6. Модель Беннета-Фройлиха
- •6.7. Модель Попова - Турина
- •Глава 7. Кодирование информации
- •7.1. Статистическое кодирование дискретных сообщений
- •7.2. Статистическое кодирование кодовых слов
- •Средняя длина кодового слова
- •7.3. Кодирование информации для канала с помехами
- •7.3. Разновидности помехоустойчивых кодов
- •7.4 Общие принципы использования избыточности
- •7.5. Связь корректирующей способности кода с кодовым расстоянием
- •7.6. Понятие качества корректирующего кода
- •7.7. Линейные коды
- •7.7. Математическое введение к линейным кодам
- •7.8. Линейный код как пространство линейного векторного пространства
- •7.9. Построение двоичного группового кода
- •7.10. Составление таблицы опознавателей
- •7.11. Определение проверочных равенств
- •7.12. Мажоритарное декодирование групповых кодов
- •7.13. Матричное представление линейных кодов
- •7.14. Построение циклических кодов
- •Математическое введение к циклическим кодам
- •7.17. Обнаружение одиночных ошибок
- •Исправление одиночных или обнаружение двойных ошибок
- •7.18. Обнаружение ошибок кратности три и ниже
- •7.19. Обнаружение и исправление независимых ошибок произвольной кратности
- •7.20. Методы образования циклического кода
- •7.21. Матричная запись циклического кода
- •7.22. Укороченные циклические коды
- •Глава 8. Сжатие информации
- •8.1. Основные понятия
- •8.2. Методы сжатия без потерь
- •8.3. Методы сжатия с потерями
- •8.4. Сжатие графики
- •Прямое дкп
- •8.5. Сжатие звука
- •8.6. Сжатие видеоинформации
- •Вопросы для самопроверки
- •Список литературы
1.2. Этапы обращения информации
Роль информации может ограничиваться неопределенным эмоциональным воздействием на человека, но в чисто технических (автоматических) и человеко-машинных (автоматизированных) системах она чаще всего используется для выработки управляющих воздействий.
Наиболее обобщенный список информационных процессов, являющихся объектами изучения в математической теории связи, включает в себя три процесса: сбор, преобразование, использование информации. Каждый из этих процессов распадается, в свою очередь, на ряд процессов (процедур), причем некоторые из них являются общими, то есть могут входить в каждый из выделенных “укрупненных” процессов (рис.1).
Рис.1. Обобщенная схема информационных процессов.
Так, процесс сбора информации состоит их процедурпоискаиотбора. В свою очередь поиск информации осуществляется в результате выполнения процедурцелеполаганияи использования конкретныхметодов поиска.
Методы поиска бывают “ручные” или автоматизированные. Они включают в себя такие процедуры, как формирование “поискового образа”(в явном или неявном виде),просмотрпоступающей информации с цельюсравненияее на адекватность поисковому образу.
Отбор информации производится на основе ее анализаиоценкиеесвойств(объективность, достоверность, актуальность и пр.).
При обращении информации в системах можно выделить отдельные этапы.
Этап восприятия информации: осуществляется извлечение и анализ информации об объекте (процессе) и формирование образа объекта, проводится его опознание и оценка. Полезный сигнал отделяется от шума, т.е. мешающей информации. Происходит выявление или измерение полезного сигнала.
Этап подготовки информации: проводятся операции нормализации, аналого-цифрового преобразования, шифрование. В результате восприятия и подготовки получается сигнал в форме, удобной для передачи или обработки.
Этап передачи и хранения: информация пересылается либо из одного места в другое, либо от одного момента времени до другого. Для передачи на расстояние используются каналы различной физической природы.Процесспередачиинформации (распространение ее в пространстве) может относиться как к процессу ее преобразования, так и к процессу использования информации, и состоит, в свою очередь, из процедуркодирования, восприятия, расшифровки и пр.
Хранение - как бы промежуточный этап между сбором информации и ее преобразованием. С одной стороны, информация может считаться отобранной, если она сохранена в том или ином виде, с другой стороны, сам процесс хранения информации невозможен без выполнения процедуркодирования, формализации, структурирования, размещения.
Поскольку задачи, возникающие на этих этапах, близки друг другу, хранение информации часто в самостоятельный этап не выделяется.
Для хранения используются магнитные и другие носители. Извлечение сигнала на выходе канала, подверженного действию шумов, носит характер вторичного восприятия.
Этап обработки информации: выявляются ее взаимозависимости, представляющие интерес для системы. Формализуемый процесс обработки может выполняться техническими средствами без участия человека. В системах управления целью обработки является решение задачи выбора управляющих воздействий (этап принятия решения).
Этап отображения информации: должен предшествовать этапам, связанным с участием человека. Цель — предоставить человеку информацию в форме, доступной для его органов чувств.
Этап воздействия: информация используется для осуществления необходимых изменений в системе.Важнейшим процессомиспользованияинформации субъектом является процессподготовки и принятия решений. Наряду с этим часто использование информации сводится к процедурам формирования документированной информации(документов с том смысле как этот термин используется в делопроизводстве) с цельюподготовки информационногоилиуправляющего воздействия.
После того, как процесс использования информации завершен, например, решение принято, и субъект приступил к его реализации, как правило, возникает новая задача и необходимы новая информация либо уточнение уже имеющейся. Это приводит к тому, что субъект вновь обращается к процедуре сбора информации и пр. Поэтому, говоря об информационных процессах, следует подчеркивать не только их взаимосвязь, но и цикличность. Отсюда ясно происхождение понятий “информационный цикл”, “жизненный цикл информации”.
Наряду с вышеперечисленными к процессам обработки информации относятся также информационное моделирование, вычисления по формулам (численные расчеты), обобщение, систематизация, классификация, структурирование, кластеризация, схематизация и т.п.