
- •1. Понятие информации
- •1.1. Предмет, место и роль теории информации и передачи сигналов
- •1.2. Предмет и метод теории информации
- •1.3. Этапы обращения информации
- •1.4. Типовая структурная схема информационной системы. Разновидности информационных систем
- •1.5. Виды информации
- •1.6. Структура информации
- •1.7. Устранение избыточности информации
- •2. Измерение информации
- •2.1. Структурные меры информации
- •2.1.1. Геометрическая мера
- •2.1.2. Комбинаторная мера
- •2.1.3. Аддитивная мера информации
- •2.2. Статистические меры информации
- •2.2.1. Вероятность и информация
- •Двоичные однопредметные явления
- •Двоичные двухпредметные явления
- •Понятие энтропии
- •Энтропия ансамбля
- •Энтропия объединения
- •Количество информации и избыточность
- •2.3. Семантические меры информации
- •2.4. Другие меры полезности информации
- •2.4.1. Энтропия, шум и тезаурус
- •3. Информационные характеристики источника сообщений и канала связи
- •3.1. Основные понятия и определения
- •3.2. Информационные характеристики источника дискретных сообщений
- •3.2.1. Модели источника дискретных сообщений
- •3.2.2. Свойства эргодических последовательностей знаков
- •3.2.3. Избыточность
- •3.2.4. Производительность источника дискретных сообщений
- •3.3. Информационные характеристики дискретных каналов связи
- •3.3.1. Модели дискретных каналов
- •3.3.2. Скорость передачи информации по дискретному каналу
- •3.3.3. Пропускная способность дискретного канала без помех
- •3.3.4. Основная теорема Шеннона о кодировании для дискретного канала без помех
- •3.3.5. Пропускная способность дискретного канала с помехами
- •3.3.6. Основная теорема Шеннона о кодировании для дискретного канала с помехами
- •3.4. Информационные характеристики источника непрерывных сообщений
- •3.5. Информационные характеристики непрерывных каналов связи
- •3.5.1. Модели непрерывных каналов связи
- •3.5.2. Скорость передачи информации по непрерывному каналу
1.4. Типовая структурная схема информационной системы. Разновидности информационных систем
Структурная
схема информационной системы представлена
на рис.1.3, где И - источник сообщения, КИ
– кодер источника, КК – кодер канала
связи, КС – канал связи, ИП – источник
помех, ДК – декодер канала связи, ДИ –
декодер источника, АДР – адресат.
Рис.1.3. Структурная схема информационной системы
Совокупность средств информационной техники и людей, объединенных для достижения определенных целей или для управления, образуют автоматизированную информационную систему, к которой по мере надобности подключаются абоненты (люди или устройства), поставляющие или использующие информацию.
Информационные системы, действующие без участия человека, называют автоматическими. За человеком в таких системах остаются функции контроля и обслуживания.
Наиболее распространенными информационными системами являются системы, обеспечивающие передачу информации из одного места в другое (системы связи) и от одного момента времени до другого (системы хранения информации). Обе разновидности систем передачи информации имеют много общего в принципиальных вопросах обеспечения эффективности функционирования, таких как:
анализ сигналов как средства передачи сообщений, включающей вопросы оценки переносимого ими “количества информации”;
анализ информационных характеристик источников сообщений и каналов связи и обоснование принципиальной возможности кодирования и декодирования сообщений, обеспечивающих предельно допустимую скорость передачи сообщений по каналу связи как при отсутствии, так и при наличии помех.
1.5. Виды информации
Информацию можно различать по областям знаний (биологическая, техническая, экономическая и др.), по физической природе восприятия (зрительная, вкусовая, слуховая и др.), а также по структурно – метрическим свойствам.
В инженерной практике широкое распространение имеет параметрическая информация, которую можно свести к следующим четырем основным видам: событию, величине, функции и комплексу. Им соответствуют введенные ниже дополнительные обозначения для физической реализации множеств.
Событие
Первичным и неделимым элементом информации является элементарное двоичное событие А (рис. 1, а) – выбор из утверждения или отрицания, истины или лжи, согласия или несогласия, наличия или отсутствия какого – либо явления. Примером могут служить сведения об импульсе или пауза в электрической цепи, выпуске годного или негодного изделия, достижении или недостижении измеряемой величиной одного определенного значения, черном или белом элементах телевизионного изображения, попадании или непопадании в цель, наличии или отсутствии команды и т.д.
Двоичность события позволяет представлять его условно в геометрической символике точкой и пробелом ( и О), в арифметической символике – единицей и нулем (1 и 0), в сигнальной символике – импульсом и паузой ( и - ).
Событие является категорией нулевой меры, т.е. не имеет геометрических измерений. Поэтому оно и представимо точкой.
Другие категории информации могут быть представлены как совокупности различных событий.
Рис.
1.4.
Величина
Величина Х (рис. 1.4, б) есть упорядоченное в одном измерении (по шкале значений) множество событий, причем каждое из них отвечает принятию величиной какого – либо одного значения. Величина может быть или дискретной, или непрерывной; в первом случае множество событий счетно, во втором – несчетно. Геометрически величину можно представить линией (рис.1.4).
Функция
Функция Х(Т) (рис.1.4, в), Х(N) или Х2(Х1) есть соотношение между величиной и временем, пространством или другой величиной. В этом смысле функцию можно трактовать как двумерное поле событий.
Комплекс
Полный комплекс информации Х (Т, N) (рис. 1.4, г) есть соответствие между величиной, с одной стороны, и временем и пространством – с другой. Таким образом, полный комплекс информации есть трехмерное поле событий.