- •Государственное образовательное учреждение высшего профессионального образования кгту
- •Теория информации
- •Учебное пособие
- •Аннотация.
- •Введение.
- •Если говорить немного подробнее, можно выделить:
- •Уровень элементарных частиц;
- •Линия связи
- •(Укрупнённая структурно-функциональная схема)
- •1 Сообщение
- •Общие замечания
- •Источники информации
- •Событие, как источник информации
- •1.2.2. Материальная система, как источник информации.
- •1.2.3 Одиночный параметр состояния, как источник информации
- •Основные характеристики источника информации
- •1.3.1 Объём первичного алфавита
- •1.3.2 Энтропия источника информации
- •1. 4 Языки, коды и их свойства
- •1.4.1 Естественные коды
- •1.4.2 Вторичные коды и их свойства
- •1.4.2.1 Коды с вероятностными ограничениями
- •1.4.2.2 Коды с фиксированными ограничениями
- •1.5 Структура сообщений
- •1.5.1 Дискретная числовая последовательность
- •1.6 Первая теорема к. Шеннона о кодировании
- •Формулировка и доказательство
- •Практические методы оптимального кодирования
- •Метод Шеннона-Фано
- •Метод Хаффмена
- •2.1 Начальные сведения о сигналах
- •2. 2 Актуализация непрерывных сигналов
- •2.2.1 Непрерывные технические сигналы
- •Математические модели непрерывных сигналов
- •Описание детерминированных сигналов
- •2.4.1.1 Временное представление непрерывного сигнала
- •2.4.1.2 Частотное представление непрерывного сигнала
- •2.4.1.2.1 Непрерывные преобразования Фурье
- •Ряды Фурье
- •2.4.2 Представление реальных сигналов
- •2.4.3 Теоремы Котельникова
- •Теорема Котельникова для функций с ограниченным спектром
- •2.4.3.2 Теорема Котельникова для функций, заданных на конечном интервале.
- •2.6 Некоторые следствия и полезные соотношения
- •2.6.1 Преобразования координат
- •Квадратичный эффект
- •2.6.3 Об аддитивности квадратичного эффекта
- •2.6.3 Описания и наглядные способы отображения сигналов
- •Потенциальный носитель сигналов первого типа
- •Потенциальный носитель сигналов второго типа
- •2.6.3.3 Потенциальный носитель сигналов третьего типа
- •X(t) Слева на рисунке представлен
- •Спектр и полоса пропускания
- •2.6.4 Средства и способы описания случайных сигналов
- •2.6.4.1. Начальные сведения о случайных функциях
- •2.6.4.2. Свойства и дополнительные характеристики ансамбля
- •2.6.4.3. Спектры случайных функций
- •3.1 Непрерывное распределение вероятностей
- •3.3.1 Пример 1
- •3.3.1 Пример 2
- •3.3.2 Максимальная энтропия из возможных
- •4.1 Общие сведения о шумах
- •4.2 Классификация помех
- •4.5.3. Способы описания помех.
- •4.4. Эргодический шум.
- •3.1 Общие соображения
- •3.1.2 Энтропия суммы двух ансамблей
- •3.1.3 Пропускная способность реального канала.
- •3.1.3.1 Взаимная информация двух ансамблей
- •3.1.3.3 Скорость передачи информации
- •3.1.5.1 Вторая теорема Шеннона о кодировании.
- •Входной алфавит. Выходной алфавит
- •3.3 Некоторые аспекты использования каналов
- •3.3.1 Модуляция
- •3.3 .2 Амплитудная модуляция
- •3.3.3 Угловая модуляция.
- •3.4.2 Теоретические основания
- •3.4.2.1 Временное разделение каналов.
- •3.4.3.1 Амплитудное разделение каналов.
- •3.4.3.2 Частотное разделение каналов
- •3.4.3.3 Фазовое разделение каналов.
- •1 Некоторые понятия из теории вероятностей
- •Случайность и её мера
- •Понятие ансамбля
- •1.3 Составные ансамбли и условные вероятности
- •1.3.2. Центральная предельная теорема
- •3 Корреляция
- •3.1 Общие сведения
1 Сообщение
Во ВВЕДЕНИИ к курсу мы подробно разобрались с источниками информации в самой общей форме и бегло познакомились с основными информационными потоками, которые циркулируют в обществе, намерено сузив, предмет нашего внимания. И теперь мы всё остальное время в этих лекциях будем говорить только о малой части объективно существующей в окружающем нас мире информации, о той её части, которая в форме сообщений обращается в обществе и используется человеком.
Общие замечания
Наблюдатели и лаборанты-исследователи, учёные и путешественники . Стенографистки, спортивные комментаторы и автоматические регистраторы . Измерительные комплексы и экспериментальные установки, репортёры, дознаватели, детективы и следователи, разведчики, художники, композиторы, актёры, поэты, писатели и другие разного рода «источники, близкие к информированным кругам», – всё это (люди, при-боры, автоматы и более сложные специализированные аппаратурные комплексы) – есть субъекты актуализации (те, кто актуализацию свершает, выполняет) информации. Они выявляют её и представляют всему остальному человечеству в виде сообщений.
В этом (в наблюдении, в выявлении информации, в составлении сообщения и в представлении в таком виде информации обществу) и состоит суть актуализации информации: преобразовать (перевести) информацию из естественной формы её первичного объёктивного существования (из «вещи в себе») в первичную форму её социального существования (в «вещь для всех» в ней нуждающихся). Такой (социальной потребностью обусловленной) формой существования информации является сообщение.
Очевидно, что субъекты актуализации информации, которые, вступая во взаимодействие непосредственно с первичным источником информации, играют роль отображающих систем, – всего лишь посредники между первичными источниками информации и её потребителями, специально размещённые или случайно оказавшиеся в нужное время ближе всего к источнику заинтересовавшей кого-то информации. Вместе с тем, из формируемых такими посредниками сообщений, в конце концов, и образуются все циркулирующие в обществе информационные потоки, часть из которых была представлена во ВВЕДЕНИИ.
Человечество за многовековую историю выработало специальные способы актуализации информации, поручая это субъектам, наиболее восприимчивым к объектам (вещам и явлениям) окружающего их мира. Обычно это делают либо люди с повышенной чувствительностью (поэты, экстрасенсы), специально подготовленные профессионалы (экспериментаторы, следователи, разведчики и т.п.), либо специально разработанные для этого и уже упоминавшиеся выше технические устройства (вроде счётчика Гейгера, радиотелескопа или синхрофазотрона), оснащенные разного рода чувствительными элементами (датчиками).
Каждый из них формирует сообщение, описывая наблюдаемую им интересную вещь (явление или событие) присущим ему (именно этому посреднику) способом. Языком теорем или формул, обычным разговорным языком (бытовым, просто литературным или поэтическим), нотным или каким-нибудь другим специально придуманным (искусственным) условным языком, составленным из специальных символов (эсперанто, нотные знаки, знаки азбуки Морзе и т. п.). Естественно, что общество (и каждый в получении сообщения заинтересованный) должен знать и понимать соответствующий язык.
Сформированное сообщение, следовательно, может быть представлено в речевой, письменной или в другой, например, в изобразительной (спектакль, кинофильм) форме. Даже – в очень сложной, комбинированной (телевизионный репортаж с церемонии инаугурации Пре-идента, например) форме. Но всегда это будет некая конструкция из условных символов или общепринятых изобразительных средств (эле-ментов звукового ряда, фото или видео кадров и т.п.).
Любое несущее информацию сообщение, как таковое, из чего-то построено: имеет конкретные составные элементы (символы, картинки), которые образуют сообщение и взаимосвязаны в нём друг с другом определённым образом.
Формируемые, например, автоматическими метеорологическими регистрационными комплексами сводки в форме последовательностей чисел (измеренные через определённые интервалы времени значения температуры воздуха, атмосферного давления, влажности и т. д.) – это тоже сообщения. Символами здесь являются обыкновенные цифры. которые при передаче могут быть преобразованы в символы азбуки Морзе.
Свойства сообщения, обусловленные его составом и структурой, называются структурно-синтаксическими. Такие свойства сообщений (содержание информации, чаще всего, от них не зависит) изучаются теорией информации в целом и являются основным объектом внимания той её части, которая называется структурно-синтаксической теорией информации. Это (повторимся) – наша теория информации, именно, её мы начинаем изучать.
Часть теории информации, которая оперирует этим понятием, подчеркнём ещё раз, называется структурно-синтаксической теорией информации или статистической теорией связи.
Таким образом, мы уже второй раз уточнили предмет нашего рассмотрения, сузили то, что во ВВЕДЕНИИ обозначили словом «информация» в ранге самой деятельной в наше время познавательной категории. Это естественно потому, что нас интересует объём и содержание этого слова в ранге научного понятия, а оно – вещь более конкретная, чем философская категория. В статистической теории связи это слово, как мы убедились выше, ещё менее содержательно, но имеет более конкретный смысл. К выявлению этого смысла, более конкретного и однозначного содержания понятия «информация» в теории статистической связи мы и идём, начав ещё во ВВЕДЕНИИ, с понятия «сообщение».
В последующих разделах курса, в целях более полного и детального освоения понятия «сообщение», представленный выше в общих чертах процесс его формирования рассматривается подробнее и под определённым углом зрения, который задан содержанием науки, к знакомству с которой мы приступаем, именно, под углом зрения статистической теории связи.