
- •1. Понятие информации
- •1.1. Предмет, место и роль теории информации и передачи сигналов
- •1.2. Предмет и метод теории информации
- •1.3. Этапы обращения информации
- •1.4. Типовая структурная схема информационной системы. Разновидности информационных систем
- •1.5. Виды информации
- •1.6. Структура информации
- •1.7. Устранение избыточности информации
- •2. Измерение информации
- •2.1. Структурные меры информации
- •2.1.1. Геометрическая мера
- •2.1.2. Комбинаторная мера
- •2.1.3. Аддитивная мера информации
- •2.2. Статистические меры информации
- •2.2.1. Вероятность и информация
- •Двоичные однопредметные явления
- •Двоичные двухпредметные явления
- •Понятие энтропии
- •Энтропия ансамбля
- •Энтропия объединения
- •Количество информации и избыточность
- •2.3. Семантические меры информации
- •2.4. Другие меры полезности информации
- •2.4.1. Энтропия, шум и тезаурус
- •3. Информационные характеристики источника сообщений и канала связи
- •3.1. Основные понятия и определения
- •3.2. Информационные характеристики источника дискретных сообщений
- •3.2.1. Модели источника дискретных сообщений
- •3.2.2. Свойства эргодических последовательностей знаков
- •3.2.3. Избыточность
- •3.2.4. Производительность источника дискретных сообщений
- •3.3. Информационные характеристики дискретных каналов связи
- •3.3.1. Модели дискретных каналов
- •3.3.2. Скорость передачи информации по дискретному каналу
- •3.3.3. Пропускная способность дискретного канала без помех
- •3.3.4. Основная теорема Шеннона о кодировании для дискретного канала без помех
- •3.3.5. Пропускная способность дискретного канала с помехами
- •3.3.6. Основная теорема Шеннона о кодировании для дискретного канала с помехами
- •3.4. Информационные характеристики источника непрерывных сообщений
- •3.5. Информационные характеристики непрерывных каналов связи
- •3.5.1. Модели непрерывных каналов связи
- •3.5.2. Скорость передачи информации по непрерывному каналу
1.2. Предмет и метод теории информации
Теория информации – раздел кибернетики, занимающийся математическим описанием и оценкой методов передачи, хранения, извлечения и классификации информации.
Возникновение теории информации связывают обычно с появлением фундаментальной работы американского ученого К. Шеннона «Математическая теория связи» (1948). Однако, в теорию информации органически вошли и результаты, полученные другими учеными, например, Р. Хартли, впервые предложившим количественную меру информации (1928), академиком Котельниковым, сформулировавшим важнейшую теорию о возможности представления непрерывной функции совокупностью ее значений в отдельных точках отсчета (1933) и академиком А. Н. Колмогоровым, разработавшим оптимальные методы приема сигналов на фоне помех (1946)
К теории информации в ее узкой классической постановке относят результаты решения ряда фундаментальных вопросов, касающихся повышения эффективности функционирования систем связи, это, в первую очередь:
анализ сигналов как средства передачи сообщений, включающий вопросы оценки переносимого ими «количества информации»;
анализ информационных характеристик источников сообщений и каналов связи и обоснование принципиальной возможности кодирования и декодирования сообщений, обеспечивающих предельно допустимую скорость передачи сообщений по каналам связи как при отсутствии, так и при наличии помех.
1.3. Этапы обращения информации
Хотя роль информации может ограничиваться неопределенным эмоциональным воздействием на человека, в чисто технических (автоматических) и человеко-машинных (автоматизированных) системах она чаще всего используется для выработки управления воздействий. При обращении информации в системах можно выделить отдельные этапы. Т.к. материальным носителем информации является сигнал, то реально это будут этапы обращения и преобразования сигналов.
Передача
Подгововка Обработка
Отображение
Восприятие
Воздействие
Рис.1.2. Этапы обращения информации
На этапе воприятия информации осуществляется целенаправленное извлечение и анализ информации о каком-либо объекте (процессе), в результате чего формируется образ объекта, проводятся его опознание и оценка. При этом необходимо отделить интересующую нас в данном случае информацию от мешающей (шумов), что в некоторых случаях (тонкие биологические, физико-химические эксперименты; радиосвязь, локация, астрономия и др.) связано со значительными трудностями. Простейшим видом восприятия является различие двух противоположных состояний наличия (“да”) и отсутствия (“нет”), более сложным – измерение.
На этапе подготовки информации проеводятся такие операции, как нормализация, аналого-цифровое преобразование, шифрование. Иногда этот этап рассматривается как вспомогательный на этапе восприятия. В результате восприятия и подготовки получается сигнал в форме, удобной для передачи и обработки.
На этапах передачи и хранения информация пересылается либо из одного места в другое, либо от одного момента времени до другого. Поскольку теоретические задачи, возникающие на этих этапах, близки друг к другу, этап хранения информации часто в самостоятельный этап не выделяется. При этом передача информации получает более широкое толкование. Для передачи на расстояние используются каналы различной физической природы, самыми распространенными из которых являются электрические и электромагнитные. В последнее время получил признание также перспективный оптический канал. Для хранения информации используются в основном полупроводники и магнитные носители. Извлечение сигнала на выходе канала, подверженного действию шумов, носит характер вторичного восприятия.
На этапах обработки информации выявляются ее общие и существенные взаимозависимости, представляющие интерес для системы. Преобразование информации на этапе обработки (как и на других этапах) осуществляется либо средствами информационной техники, либо человеком. Если процесс обработки формализуем, он выполняется техническими средствами. В современных сложных системах эти функции возлагаются на ЭВМ и микропроцессоры. Если процесс обработки не поддается формализации и требует творческого подхода, обработка информации осуществляется человеком. В системах управления важнейшей целью обработки является решение задачи выбора управляющего воздействия (этап принятия решения).
Этап отображения информации должен предшествовать этапам, связанным с участием человека. Цель этапа отображения – предоставлять человеку нужную ему информацию с помощью устройств, способных воздействовать на его органы чувств.
На этапах воздействия необходимы изменения в системе.