- •Государственное образовательное учреждение высшего профессионального образования кгту
- •Теория информации
- •Учебное пособие
- •Аннотация.
- •Введение.
- •Если говорить немного подробнее, можно выделить:
- •Уровень элементарных частиц;
- •Линия связи
- •(Укрупнённая структурно-функциональная схема)
- •1 Сообщение
- •Общие замечания
- •Источники информации
- •Событие, как источник информации
- •1.2.2. Материальная система, как источник информации.
- •1.2.3 Одиночный параметр состояния, как источник информации
- •Основные характеристики источника информации
- •1.3.1 Объём первичного алфавита
- •1.3.2 Энтропия источника информации
- •1. 4 Языки, коды и их свойства
- •1.4.1 Естественные коды
- •1.4.2 Вторичные коды и их свойства
- •1.4.2.1 Коды с вероятностными ограничениями
- •1.4.2.2 Коды с фиксированными ограничениями
- •1.5 Структура сообщений
- •1.5.1 Дискретная числовая последовательность
- •1.6 Первая теорема к. Шеннона о кодировании
- •Формулировка и доказательство
- •Практические методы оптимального кодирования
- •Метод Шеннона-Фано
- •Метод Хаффмена
- •2.1 Начальные сведения о сигналах
- •2. 2 Актуализация непрерывных сигналов
- •2.2.1 Непрерывные технические сигналы
- •Математические модели непрерывных сигналов
- •Описание детерминированных сигналов
- •2.4.1.1 Временное представление непрерывного сигнала
- •2.4.1.2 Частотное представление непрерывного сигнала
- •2.4.1.2.1 Непрерывные преобразования Фурье
- •Ряды Фурье
- •2.4.2 Представление реальных сигналов
- •2.4.3 Теоремы Котельникова
- •Теорема Котельникова для функций с ограниченным спектром
- •2.4.3.2 Теорема Котельникова для функций, заданных на конечном интервале.
- •2.6 Некоторые следствия и полезные соотношения
- •2.6.1 Преобразования координат
- •Квадратичный эффект
- •2.6.3 Об аддитивности квадратичного эффекта
- •2.6.3 Описания и наглядные способы отображения сигналов
- •Потенциальный носитель сигналов первого типа
- •Потенциальный носитель сигналов второго типа
- •2.6.3.3 Потенциальный носитель сигналов третьего типа
- •X(t) Слева на рисунке представлен
- •Спектр и полоса пропускания
- •2.6.4 Средства и способы описания случайных сигналов
- •2.6.4.1. Начальные сведения о случайных функциях
- •2.6.4.2. Свойства и дополнительные характеристики ансамбля
- •2.6.4.3. Спектры случайных функций
- •3.1 Непрерывное распределение вероятностей
- •3.3.1 Пример 1
- •3.3.1 Пример 2
- •3.3.2 Максимальная энтропия из возможных
- •4.1 Общие сведения о шумах
- •4.2 Классификация помех
- •4.5.3. Способы описания помех.
- •4.4. Эргодический шум.
- •3.1 Общие соображения
- •3.1.2 Энтропия суммы двух ансамблей
- •3.1.3 Пропускная способность реального канала.
- •3.1.3.1 Взаимная информация двух ансамблей
- •3.1.3.3 Скорость передачи информации
- •3.1.5.1 Вторая теорема Шеннона о кодировании.
- •Входной алфавит. Выходной алфавит
- •3.3 Некоторые аспекты использования каналов
- •3.3.1 Модуляция
- •3.3 .2 Амплитудная модуляция
- •3.3.3 Угловая модуляция.
- •3.4.2 Теоретические основания
- •3.4.2.1 Временное разделение каналов.
- •3.4.3.1 Амплитудное разделение каналов.
- •3.4.3.2 Частотное разделение каналов
- •3.4.3.3 Фазовое разделение каналов.
- •1 Некоторые понятия из теории вероятностей
- •Случайность и её мера
- •Понятие ансамбля
- •1.3 Составные ансамбли и условные вероятности
- •1.3.2. Центральная предельная теорема
- •3 Корреляция
- •3.1 Общие сведения
1.2.3 Одиночный параметр состояния, как источник информации
Знание только состояния системы (например, «больной») для потребителя информации (здесь им может оказаться врач или родственник больного) может оказаться недостаточным, и он заинтересуется подробностями – захочет узнать численные значения одного или нескольких параметров, которые подробнее характеризуют это уже известное состояние.
Состояние больного, например, дополнительно хорошо характеризуют его температура, частота пульса (давление, содержание сахара или алкоголя в крови и т. п.).
В таких случаях требуется одно или несколько (по количеству затребованных параметров) дополнительных сообщений. Естественно, что источниками таких сообщений могут стать только измерения. Здесь требуется посредники (субъекты актуализации информации) в виде специализированные измерительных приборов. Здесь событиями становятся измерения, анализы или какие-то другие исследования или проце-дуры актуализации. Символами дополнительного сообщения (обознача-ющими возможные исходы этих событий) являются результаты соответствующего измерения то, есть – значения (числа, значит) Xi заинтересовавшего кого-то (и потому измеряемого дополнительно) параметра X, уже известного состояния, выраженные в показаниях шкалы применённого измерительного прибора.
В соответствии с основным требованием теории информации, о котором выше уже сказано достаточно, Xi может стать сообщением только при условии, что все результаты измерения (множество {X}), действительно, является ансамблем событий. Это означает, что должны существовать известные потребителю вероятности – (вероятности того, что параметрX при измерении окажется равным Xi ) – такие, что
. И так – для каждого параметра и для каждого состояния системы.
{Xi} – это ансамбль случайных чисел, ансамбль возможных значений одного параметра – параметра X. Значения параметров одного ансамбля принято обозначать одним и тем же символом, различая разные его реализации нижним индексом (здесь это индекс i).
Другой параметр изучаемого состояния обозначается другим индексом, например, {Zi} – это ансамбль значений другого параметра этого же состояния системы – параметра Z. Индекс i может сохраниться, но это не означает, что i в множестве {Zi} пробегает те же значения, что и в множестве {X i}.
Сообщение о поведении параметра X на некотором интервале времени будет выглядеть, как последовательность чисел:
X1; X2; X3; …Xk;……Xn-1; Xn..
Это снова дискретное сообщение из нескольких символов, сообщение, похожее на слово, но на слово, составленное из чисел и записанное цифрами. Но числа – это тоже система символов, а их последовательнось – синтаксическая (знаковая) структура.
Обратите внимание, что нижний индекс k символа в составе сообщения – это просто его порядковый номер в данном сообщении. Подразумевающийся здесь индивидуальный индекс i может принять любое из его возможных значений. Иногда его обозначают дополнительным индексом (s), который принимает одно из конкретных значений из множества {i}. В таких обозначениях каждый символ в составе сообщения
будет записываться так: «Xk(s)»
Здесь уместно признаться, что до настоящего времени, мы умышленно замалчивали тот очевидный факт, что параметр, который характеризует некое состояние реальной материальной системы (например, интересующая врача и родственников температура больного) чаще всего изменяется непрерывно. Это значит, что сообщение, составленной из результатов периодических измерений и представленное в форме последовательности значений параметра, строго говоря, не содержит всей первичной информации. Всю информацию будет содержать сообщение в форме непрерывной записи значений наблюдаемого параметра. Так, например, выглядит запись кардиограммы, сделанная самописцем на специальной диаграммной ленте с нанесёнными на ней метками временной шкалы вдоль ленты и поперечными метками, позволяющими оценивать численные значения наблюдаемого параметра в любой момент времени.
Сообщения в такой форме, в отличие от выше рассматривавшихся нами здесь прерывистых (дискретных), сообщений, составленных из отдельных символов, называются непрерывным сообщениями. Изучение непрерывных сообщений мы отложим на позднее время, а сейчас продолжим наш курс в рамках той части теории информации, которая изучает всё о дискретных сообщениях.
Заключая раздел об источниках сообщений в целом, возвратимся к его началу, но уже с «багажом» приобретённых по ходу знакомства с ним (с разделом) знаний.
1. В теории статистической связи источниками информации являются не просто реально существующие объекты окружающего нас мира, а объекты (системы, процессы, явления и т. п.), предварительно изученные на столько, что получателю сообщений о них, в основном, всё (вероятности реализации одиночных событий и репертуары систем и т. п.) известно.
2. Все априорные знания об источнике информации предварительно «оформлены» в виде ансамбля состояний (событий, значений одиночного параметра и т.п.), характеризующего всё, что с данной материальной системой (данным источником информации) может произойти.
3. Сообщения всегда содержат информацию о том, что только что произошло или (в данный момент) происходит с заинтересовавшей потребителя информации системой.
4. Дискретные сообщения представляют собой синтаксические системы символов, которые всегда образуют ансамбли с известными получателю сообщений свойствами.
Свойства, о которых здесь только что сказано, определяют струк-туру сообщений и вытекающие из её особенностей качества сообщения – то, что изучает статистическая теория связи. В свою очередь, эти свойства сами определяются (обуславливаются) индивидуальными особенностями источников информации и источников сообщений.
С дискретными сообщениями и их источниками мы, в основном, разобрались. Основной итог этого разбирательства состоит в понимании того, что математической моделью таких источников оказывается известный нам математический объект, который называется ансамблем, а математической моделью сообщения – не менее известный в математике объект: дискретная последовательность случайных чисел. Тем не менее, ниже мы продолжим знакомством и их (источников и ансамблей) особенностями, чтобы подойти к упомянутым выше и определяющим структуру сообщений индивидуальными особенностям конкретных источников этих сообщений.