- •Министерство образования и науки Российской Федерации
- •Введение
- •1 Определение информации
- •2 Этапы обращения информации
- •3Измерение информации
- •4 Информационные системы
- •5 Проблемы передачи информации
- •6 Предмет теории информации
- •7 Структура книги
- •1 Количественная оценка информации источников
- •1.1 Дискретный источник
- •1.1.1 Определение меры оценки количества информации
- •1.1.2 Частная взаимная информация дискретных источников сообщений
- •1.1.3 Энтропия дискретного сообщения
- •1.1.4 Условная энтропия дискретных сообщений
- •1.1.5 Энтропия объединенного сообщения
- •1.1.6 Средняя взаимная информация дискретных источников сообщений
- •1.2 Непрерывный источник
- •1.2.1 Собственная информация и энтропия
- •1.2.2 Основные свойства дифференциальной энтропии непрерывного источника
- •1.2.3 Средняя взаимная информация непрерывных источников сообщений
- •1.2.4 Эпсилон-энтропия непрерывных источников сообщений
- •2 Кодирование сообщений источников
- •2.1 Модели дискретных источников сообщений
- •2.2.Общие принципы и основная теорема кодирования дискретных источников сообщений
- •Теорема (о средней длине кодового слова)
- •2.3 Методы эффективного кодирования
- •2.3.1 Метод кодирования источников ШеннонаФано
- •2.3.2 Метод кодирования источников Хаффмена
- •2.4 Предельная условная энтропия дискретных источников сообщений
- •2.5 Информативность непрерывных источников сообщений дискретного времени
- •2.6 Средняя взаимная информация непрерывных источников сообщений непрерывного времени
- •2.7 Квазиобратимое эффективное кодирование непрерывных источников
- •2.8 Эпсилон-энтропия Гауссовского вектора сообщений
- •2.9 Эпсилон - энтропия стационарного Гауссовского процесса дискретного времени
- •Теорема.
- •Помехоустойчивое кодирование
- •3.1.1 Методы повышения верности передачи информации
- •3.1.2 Понятие о корректирующих кодах
- •3.2.1 Построение линейных кодов
- •3.2.2 Обнаружение и исправление ошибок. Декодирующее устройство
- •3.2.3 Примеры линейных кодов
- •3.3 Циклические коды
- •3.3.1 Выбор образующего многочлена
- •3.3.2 Базис циклического кода, формирование кодовых комбинаций
- •3.4 Синдром циклического кода и его свойства
- •3.5 Коды боуза - чоудхури - хоквингема
- •3.6 Коды Абрамсона
- •3.7 Коды Рида — Соломона
- •3.8 Понятие об итерактивных и каскадных кодах
- •3.9 Понятие о непрерывных кодах
- •3.9.1 Цепной код
- •3.9.2 Сверточные коды
- •4 Модели каналов связи
- •4.1 Непрерывный канал
- •Примеры непрерывных каналов:
- •На рис. 4.4 применены следующие обозначения:
- •4.2 Дискретный канал
- •Библиографический список
- •Оглавление
4 Информационные системы
АИС - автоматическаяили автоматизированная информационная система.
Определение:
АИС - совокупность средств информационной техники, информационной технологии и методологии, а также людей (специалистов), объединенных для достижения определенных целей.
Автоматическая - без участия человека.
Автоматизированная - абонентом, использующим информацию для выбора управляющих воздействий (принятия решений), является человек.
Cистема- совокупность упорядоченных объектов (агрегатов, блоков состояний, обеспечений и т.д.), в которых каким-то образом определены задачи и цели, в соответствии с которыми входной поток (сигналов, сообщений, информации, материального обеспечения и т.д.) преобразуется (передается, обрабатывается, хранится, отображается, воспринимается и т.д.) в выходной поток (сигналов, сообщений, информации, продуктов переработки материального обеспечения и т.д.)
Информационная система- система, в которой объектом преобразования являетсяинформация.
Примеры:АСУ ЛА; АСУ ТП; АСУ П; базы данных; банки данных; банки знаний; экспертные системы.
Тенденция развития АИС- интеграция в масштабах: предприятия; региона; отрасли и, в пределе, - мира.
Различают 3 этапа интеграции.
I Структурная интеграция- единая (совместная) структура технического, програм-много, информационного, функционального, организационного, правового и так далее обеспечений:
- базируется на объединенных с помощью локальных вычислительных сетей инфор-мационных систем;
- разрабатывается и функционирует в масштабах одного предприятия.
II Методологическая интеграция- единая методология выполнения работ в конк-ретной предметной области:
- базируется на структурной интеграции;
- разрабатывается и функционирует в масштабах отрасли, объединения.
III Общая интеграция- единая технология проведения работ не зависит от предметной области (проектирование, НИОКР, изготовление, самолетостроение, судостроение и т.д.);
- базируется на методологической и структурной интеграции на предприятиях и в отраслях страны;
- разрабатывается и функционирует в масштабах страны.
Ядром (основой) АИС любой степени интеграции является сеть передачи данных. Она обеспечиваетпередачу информациимежду абонентами (человек, ЭВМ, предприятие, страна и т.д.). Этим вопросам посвящен курстеории информации.
5 Проблемы передачи информации
5.1 Синтаксические- правила построения и сочетания слов, выражений, сообщений в процессе преобразований I и II (рис.В1).
5.2 Семантические- смысловые содержания информации, сообщения, сигнала.
5.3 Прагматические- потребительское содержание и ценность информации, сообщения, сигнала.
В настоящее время теория информациинаходится на синтаксическом уровне. Основой изучаемой нами теории является понятиеколичества информации,являющееся меройчастоты употребления знаков, которая никак не отражает ни смысла, ни важности передаваемых сообщений.
Мы пока не умеем измерять семантику информации. Эта проблема чрезвычайно сложна. Смысловое содержание информации зависит в большей степени от получателя, чем от семантики источника. Одно и то же смысловое содержание информации воспринимается по-разному разными людьми и даже одним и тем же человеком в зависимости от его эмоционального состояния.
На прагматическом уровне проблема в том, что потребительская стоимость информации зависит как от получателя, так и от качественных показателей передачи или хранения информации: своевременности, важности, достоверности и т.д. Количественные методы оценки прагматического содержания информации пока еще недостаточно конструктивны.
