
- •Предисловие
- •Введение
- •Концептуальные основы информационных процессов.
- •О понятии «Информация» [1,2]
- •1.2. Виды и свойства информации [2].
- •1.3. Этапы обращения информации [1].
- •1.4. Информационные системы [1].
- •1.5. Система передачи информации [1].
- •1.6. Уровни проблем передачи информации [1].
- •1.7. О смысле «Теории информации» в системе связи [1].
- •2. Математические основы теории вероятностей [6,4].
- •2.1. Случайное событие и вероятность.
- •2.2 Случайные величины и их вероятностные характеристики.
- •Случайные функции и их вероятностное описание.
- •2.4 Корреляционные характеристики случайных процессов.
- •Дифференциальный; 2) интегральный;
- •3) Плотность вероятностей.
- •Дифференциальный; 2) интегральный; 3) числовой.
- •Свойства энтропии [1,3 и др.].
- •Условная энтропия и ее свойства [1,2 и др.].
- •Свойства условной энтропии
- •Энтропия непрерывного источника информации (дифференциальная энтропия) [1, 2 и др.].
- •Передача информации от дискретного источника [1 и др.].
- •Передача информации от непрерывного источника [1 и др.].
- •Основные свойства количества информации [1 и др.].
- •4. Информационные характеристики источника сообщений и канала связи.
- •4.1. Введение [1 и др.].
- •4.2. Информационные характеристики источника дискретных сообщений.
- •4.2.1 Модели источника дискретных сообщений [1 и др.].
- •4.2.2 Свойства эргодических последовательностей знаков [1 и др.].
- •4.2.3 Избыточность источника [1 и др.].
- •4.2.4 Производительность источника дискретных сообщений [1 и др.].
- •4.3. Информационные характеристики дискретных каналов связи.
- •4.3.1 Модели дискретных каналов [1, 4, 5 и др.].
- •Скорость передачи информации по дискретному каналу [1 и др.].
- •Пропускная способность дискретного канала без помех [1 и др.].
- •Пропускная способность дискретного канала с помехами [1 и др.].
- •Информационные характеристики непрерывных каналов связи [1 и др.].
- •Согласование физических характеристик сигнала и канала [1 и др.].
- •Согласование статистических свойств источника сообщений и канала связи [1 и др.].
- •4.6 Контрольные вопросы к разделам 3 и 4 в форме «Задание – тест» тема: «Количественная оценка информации».
- •1) Бод; 2) бит (двоичная цифра); 3) байт.
- •1) Сумма; 2) произведение; 3) разность.
- •1) Безусловной энтропией; 2) условной энтропией;
- •3) Совместной энтропией.
- •1) Объем алфавита;
- •2) Объем алфавита и вероятности создания источником отдельных знаков; 3) вероятности создания источником отдельных знаков.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Максимальная скорость; 2) пропускная скорость; 3) предел скорости.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •5.2. Классификация кодов [4 и др.].
- •5.3. Представление кодов [4 и др.].
- •5.4. Оптимальное (эффективное) статистическое кодирование [3 и др.].
- •5.4.1 Методы эффективного кодирования некоррелированной последовательности знаков [1 и др.].
- •Методика построения кода Шеннона – Фано [1].
- •Методика построения кода Хаффмена [2 и др.].
- •5.4.2 Свойство префиксности эффективных кодов [1 и др.].
- •5.4.3 Методы эффективного кодирования коррелированной последовательности знаков.
- •5.4.4 Недостатки системы эффективного кодирования.
- •1) Номер разряда;
- •2) Множитель, принимающий целочисленные значения;
- •3) Количество разрядов.
- •Всякий блочный код можно представить таблицей:
- •Всякий блочный код можно представить таблицей:
- •Литература:
- •Содержание
Случайные функции и их вероятностное описание.
Случайные функции так же, как и случайные величины, должны определяться вероятностными законами распределения их реализаций. Каждая реализация случайной функции ξ(t) представляет функцию времени xi(t). Если на спектр случайного сигнала не наложить никаких ограничений, то его реализация даже при конечной их длительности будут определятся бесконечным числом координат, представляющих значения функции xi(t) в различные моменты времени. Вероятностное описание такой случайной функции эквивалентно вероятностному описанию бесконечномерной случайной величины и соответственно требует использования бесконечномерных законов распределения.
Задача описания случайной функции значительно упрощается, если ширину ее спектра ограничить сверху величиной Fв. В этом случае каждая реализация случайной функции длительностью T в соответствии с теоремой Котельникова полностью определяется дискретной выборкой, содержащей N=2FBT отсчетов, следующих с интервалом Δt=1/2FB. Такая случайная функция может быть задана N-мерным дифференциальным законом распределения, определяющим плотность вероятности ωN(x1, x2, …,xN) ее реализации, характеризуемой совокупностью значений x1, x2, …,xN в дискретных точках отсчета.
Вероятность того, что осуществится реализация, значения которой в дискретных точках отсчета лежат в пределах (x1, x1+dx1), …,(xN, xN+dxN), равна ωN(x1, x2, …,xN)dx1dx2…dxN.
Заменяя непрерывные
реализации xi(t)
N-мерной
дискретной выборкой, мы тем самым все
реализации, имеющие одинаковый спектр
до некоторой граничной частоты Fв
и отличающиеся лишь высокочастотными
составляющими спектра за этой границей,
заменяем некоторой средней реализацией,
соответствующей «усечению» спектров
верхней границей Fв.
Среднеквадратическая ошибка представления
всех этих реализаций общей N-мерной
выборкой по теореме Котельникова не
превосходит
,
где ΔE
– энергия, приходящаяся на часть спектра
реализаций, лежащую выше границы Fв.
Выбор размерности закона распределения
ωN(x1,
x2,
…,xN),
характеризующего случайную функцию
ξ(t),
зависит от требований к точности
представления ее реализаций. Чем меньше
размерность N
закона распределения (чем меньше выбрана
граничная частота Fв),
тем больше величина ΔE/T,
характеризующая погрешность представления
реализаций случайной функции данной
выборкой. И, наоборот, чем больше
размерность N
закона распределения, тем выше точность
представления реализаций случайного
сигнала.
2.4 Корреляционные характеристики случайных процессов.
При рассмотрении случайных величин наряду с законами распределения весьма полезными оказались некоторые числовые характеристики (среднее значение, дисперсия, и др.), представляющие детерминированные величины. При рассмотрении случайных процессов аналогичную роль играют, детерминированные функции, дающие те же числовые характеристики случайных величин, представляющих значения этих процессов в соответствующих временных сечениях. К числу таких характеристик относятся среднее значение, дисперсия, корреляционная функция случайного процесса и др. Среднее значение или первый начальный момент случайного процесса ξ(t) представляют функцию времени
(2.27)
где ω1(x; t) – одномерное распределение случайной величины, представляющей возможные значения случайного процесса ξ(t) в фиксированный момент времени t. Дисперсия случайного процесса ξ(t) и 2-й центральный момент также представляет функцию времени
(2.28)
Корреляционная функция случайного процесса или смешанный 2-й начальный момент представляет двумерную функцию времени
(2.29)
где ω2(x1, x2; t1, t2) – двумерное распределение случайных величин ξ(t1) и ξ(t2), представляющих возможные значения случайного сигнала ξ(t) для временных сечений t1 и t2. Часто вместо случайного процесса рассматривают его флюктуации – отклонения от среднего значения
(2.30)
Нетрудно видеть,
что aξ0(t)=0,
а
Корреляционная функция флуктуации случайного процесса носит название ковариационной функции и имеет вид
(2.31)
Из (2.31) и (2.28) следует, что
т.е. дисперсия
представляет значение ковариационной
функции
при равенстве аргументов t1
и t2.
Случайный процесс ξ(t) называется строго стационарным или стационарным в «узком смысле», если его функция распределения ωn(x1, x2, …, xn; t1, t2, …, tn) произвольного порядка n не меняется при любом сдвиге всей группы точек t1, t2, …, tn, т.е. при соблюдении для любых n и τ условия:
(2.32)
Из (2.32) следует, что двумерная функция распределения стационарного процесса зависит только от интервала τ=t2 – t1 между точками отсчета:
(2.33)
а одномерная функция распределения ω1(x) не зависит от временного сечения.
Соответственно для стационарного случайного процесса от начала отсчета времени не зависит и введенные статистические характеристики
(2.34)
(2.35)
(2.36)
Следует заметить, что условие (2.33) и вытекающие из него условия (2.34) – (2.36) являются необходимыми, но недостаточными условиями строгой стационарности случайного процесса, ибо независимость от начала отсчета времени двумерной функции распределения еще не гарантирует соблюдение этого же условия и для всех распределений более высокого порядка, т.е. выполнения условия (2.32) при любом n. Однако для большого числа практических задач оказывается достаточным знание свойств процессов, определяемых первыми двумя моментами. Раздел теории, посвященный изучению этих свойств, называется корреляционной теорией. В рамках корреляционной теории процессы, удовлетворяющие условию (2.33), ничем не отличаются по своим свойствам от строго стационарных. Случайные процессы, удовлетворяющие этому условию, получили название стационарных в широком смысле слова (или в смысле Хинчина).
Мы будем рассматривать именно такие процессы и будем называть их для краткости просто стационарными.
Корреляционная и ковариационная функция стационарного случайного процесса, описываемого действительной функцией времени, обладают следующими свойствами:
являются четными функциями аргумента τ
;
;
при τ=0 имеют максимальное значение, равное соответственно
и
;
при τ→∞
, а
.
Нормированной корреляционной функцией (коэффициентом корреляции) называется функция
(2.37)
Очевидно, что ρξ(0)=1 и ρξ(∞)=0.
Из последнего условия следует, что для стационарного случайного процесса, как правило, можно выбрать такое значение τ0, что при τ>τ0 корреляцией между отсчетами процесса можно пренебречь.
Поскольку максимальное значение |ρξ(τ)| равно 1, то в качестве меры скорости спада |ρξ(τ)|, т.е. меры интервала τ0, при значительном превышении которого можно не считаться с корреляцией между отсчетами, можно использовать площадь под кривой |ρξ(τ)|, приняв
(2.38)
(Практически корреляцией можно пренебречь уже при τ≥(3 – 4)τ0.). Величина τ0, определяемая формулой (2.38), называется интервалом корреляции. Геометрически интервал корреляции может интерпретироваться как половина ширины прямоугольника единичной высоты, площадь которого равновелика площади, ограничиваемой кривой |ρξ(τ)| (рис. 2.3).
Рис. 2.3
Случайный процесс называется эргодическим, если любая его статистическая характеристика, полученная усреднением по множеству возможных реализаций, с вероятностью, сколь угодно близкой к единице, равна соответствующему временному среднему, полученному на достаточно большом интервале времени из одной единственной реализации случайного процесса. Эргодичность случайного процесса предполагает его стационарность, но не наоборот: стационарный процесс может не быть эргодическим. Например, случайный процесс вида
(2.39)
где ξ0(t) – эргодический случайный процесс; η – случайная величина, меняющаяся от реализации к реализации, будет стационарным, но не эргодическим (его числовые характеристики, полученные осреднением по времени, меняются от реализации к реализации из-за изменения η).
Если случайный процесс эргодический, то любая его достаточно длительная реализация представляет свойства всей совокупности. Начальный момент k-го порядка для такого процесса и его корреляционная функция удовлетворяют условиям:
(2.40)
для любой r-й реализации процесса.
Эргодичность процесса создает большие удобства для опытного определения статистических характеристик, так как позволяет получить их из одной достаточно длительной реализации случайного процесса.
2.5 Контрольные вопросы к разделу 2 в форме «Задание – тест».
События, которые могут произойти или не произойти в результате денного опыта, называются:
случайными; 2) детерминированными; 3) регулярными.
Число
(где N – число повторений опыта, ni – число появления i-го события) позволяющее количественно сравнить события по степени возможности называют:
вероятностью; 2) математическим ожиданием; 3) событием.
Событие, которое непременно должно произойти при каждом испытании называют:
достоверным; 2) регулярным; 3) невозможным.
Косвенные оценки вероятности сложных событий через известные вероятности других событий, логически с ними связанных, системой косвенных методов, дает:
теория процессов; 2) теория событий; 3) теория вероятностей.
События, если никакие два из них не могут появится вместе, называют:
противоположными; 2) независимыми; 3) несовместными.
Группа событий, в которой в результате опыта обязательно должно появится хотя бы одно и событий А1, А2, …, Аn образует:
обязательную группу; 2) полную группу;
3) независимую группу.
Обозначение P(A|B), как меру указывающую на то, что вероятность события А зависит от того, имело ли место событие B , называют:
безусловной вероятностью; 2) условной вероятностью;
3) полной вероятностью.
События А и В, если вероятность события А зависит от того имело ли место событие В, называют:
совместными; 2) зависимыми; 3) независимыми.
Событие, заключающееся в появлении хотя бы одного из нескольких событий группы, в логическом смысле, называется:
суммой; 2) произведением; 3) разностью.
Событие, заключающееся в совместном появлении всех нескольких событий группы, в логическом смысле, называют:
суммой; 2) произведением; 3) разностью.
Выражение
, определяемое по теореме сложения вероятностей, как вероятность суммы событий через сумму вероятностей этих событий, справедливо для событий:
несовместных; 2) зависимых;
3) противоположных.
Выражение P(AB)=P(A)P(B|A)=P(B)P(A|B), определяемое по теореме умножения вероятностей, как произведение вероятности одного из двух событий А и В, на условную вероятность другого, соответствующую условию, что имело место первое событие, справедливо для событий:
несовместных; 2) зависимых; 3) независимых.
Выражение P(AB)=P(A)P(B|A)=P(B)P(A|B), определяемое по теореме умножения вероятностей двух А и В зависимых событий, в частотном случае, если события А и В независимы, то Р(АВ)=:
Р(А); 2) Р(А) Р(В); 3) Р(В) Р(А|В).
По формуле
(где
– число сочетаний, Р – вероятность события А из группы двух противоположных событий А и Ā) биномиального закона, определяющего вероятность Pn,k того, что при n независимых испытаниях событие A произойдет ровно k раз (при исходных данных n=4, k=3, p=10-1) рассчитать Pn,k:
36•10-4; 2) 36•10-3; 3) 4•10-4.
Закон распределения вероятностей F(x)=P(ξ<x), определяющий вероятность того, что случайная непрерывная величина ξ не превзойдет значения x, называют: