Пособие_ТКИ
.pdf
|
ti |
|
p{x n(t) (x x)} |
i |
|
T |
||
|
(1.3.1)
где
ti i
- интервалы времени, при которых функция n(t)
находится в интервале х; Т- интервал наблюдения.
Рис.1.1. Графическое представление некоторых средних статистических характеристик непрерывного случайного сигнала:
а –значение случайного процесса n(t);
б – интервал попадания значений случайного процесса n(t)в интервал х;
в – функция плотности распределения вероятности W1(x)
Вероятность попадания р в интервал от х до х+Δх зависит от ширины х. Чтобы исключить такую зависимость, необходимо разделить вероятность (1.3.1) на х и выполнить предельный переход:
11
lim |
p{x n(t) (x x)} |
W (x) |
|
||
x 0 |
x |
1 |
|
(1.3.2)
Таким образом, одномерная функция плотности распределения вероятности W1(x) (рис.1.1.в) есть предел отношения вероятности попадания значений случайного процесса в интервал х к ширине этого интервала при условии
х 0.
Функция плотности распределения вероятности W1(x) имеет следующие свойства:
Вероятность того, что случайный процесс n(t) находится в интервале (-∞;∞), составит 1:
|
|
1 |
p{x n(t) (x x)} |
|
|
|
W (x) 1. |
|
|
|
|
В непрерывных каналах связи с помехами вместо КУ и ДУ может использоваться более широкий класс преобразователей. Для передачи информации по такому каналу связи может применяться модуляция одного или нескольких параметров сигнала. Входные и выходные сигналы непрерывного канала задаются в виде ансамбля непрерывных функций с соответствующими плотностями распределения вероятностей;Вероятность попадания значений случайного процес-
са в интервал {a,b} можно записать как
|
b |
1 |
p{a n(t) b} |
|
|
|
W (x)dx; |
|
|
a |
|
(1.3.3)
Вероятность попадания значений случайного процесса в интервал {a,b} при равномерном распределении W1(x) можно записать как:
p{a n(t) b} W1(x) (b a). |
(1.3.4) |
12 |
|
Скорость передачи информации отсчетов непрерывного сообщения принимает вид:
I (Z ,Y ) |
1 |
h(Z ) h(Z / Y ) , |
|
T |
|||
|
|
||
|
K |
|
(1.3.5)
где ТК – интервал временной дискретизации;
h(Z) – дифференциальная энтропия одного отсчета; h(Z/Y) – условная дифференциальная энтропия данного
отсчета.
Пропускная способность непрерывного канала связи с помехами имеет вид:
С max[ I |
|
|
1 |
T |
(Z ,Y )] |
|
|
|
|
T |
|
|
|
|
|
|
|
K |
max h(Z ) h(Z / Y ) .
(1.3.6)
Рассмотрим случай, когда сигнал ограниченной мощности передается по каналу связи, в котором действует аддитивная помеха ограниченной мощности типа белого гауссова шума.
Гауссов шум (или нормальный шум) – случайный процесс, имеющий функцию плотности вероятности в виде гауссовой функции (рис. 1.2.а):
|
|
|
|
( x a |
) |
2 |
|
|
|
|
|
|
|||
|
1 |
|
|
|
n |
|
|
W (x) |
|
2 |
2 |
|
|
||
e |
|
|
, |
||||
|
|
n |
|
||||
|
|
|
|
|
|
|
|
1 |
2 |
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
где n2 - дисперсия шума;
(1.3.7)
аn – среднее значение (математическое ожидание).
13
|
|
T |
|
|
|
|
|
|
|
1 |
2 |
|
|
|
|
0 |
|
|
|
|
|
|
j t |
|||
F ( ) lim |
|
|
| n(t) | |
2 |
e |
dt F ( ) const. |
||
T T |
|
T |
|
|
|
|
||
|
|
|
|
|
|
|||
|
|
2 |
|
|
|
|
||
|
|
|
|
|
|
|
||
(1.3.8)
Белый шум – это модель случайного процесса, имеющего равномерную спектральную плотность средней мощности или равномерный энергетический спектр (рис.1.2,б):
Рис.1.2. Модель белого гауссова шума:
а – функция плотности распределения вероятности; б – равномерный энергетический спектр
При аддитивной помехе u(t) сигнал на выходе канала связи:
Z (t) u(t) S(t),
где S(t) – сигнал без помех.
Средние мощности сигнала и помехи равны соответственно PS и Pn. Будем считать, что полоса пропускания канала связи лежит в пределах от 0 до FK. Ширина спектров сигнала и помехи ограничиваются полосой пропускания канала. Интервал временной дискретизации в соответствии с
теоремой Котельникова
T |
|
1 |
F . |
|
|||
K |
|
2 |
K |
|
|
|
Тогда выражение пропускной способности канала связи с помехами (1.3.6) имеет вид:
C 2FK max h(Z) h(Z /Y ) , |
(1.3.9) |
14 |
|
где h(Z) – дифференциальная энтропия; h(Z/Y) - условная дифференциальная энтропия.
h(Z ) log |
2 |
( 2 |
2 )2 e |
при условии, что дифферен- |
|
Y |
|
|
|
циальная энтропия |
сигнала распределена по нормальному |
|||
закону распределения Z .
В случае аддитивной помехи условная дифференциальная энтропия h(Z/Y) полностью определяется свойствами помехи.
Подставив значения h(Z) и h(Z/Y) в выражении для определения пропускной способности и выполнив преобразования, получим выражение для определения пропускной способности канала связи в виде:
|
|
P |
|
С F log |
1 |
S |
. |
|
|||
K |
2 |
P |
|
|
|
|
|
|
n |
||
(1.3.10)
15
Глава 2. Элементы классической теории информации.
2.1. Мера количества информации.
Первая попытка математического определения количества информации была предпринята Хартли (Hartley) в 1928г. Его подход к этому вопросу иллюстрируется схемой 2.1, в которой с помощью двухразрядного счетчика 6 подсчитывается количество единичных битов (осциллограмма 3) в выборках случайной бинарной последовательности (осциллограмма 1), поступающей с источника 5 со скоростью 4 симв/с (под символами подразумеваются в данном случае логические 1 и 0). Временные промежутки в 0,5с для каждой выборки (реализации) задаются генератором тактовых импульсов 8 (осциллограмма 2). Полиномиальные источники 4 и 7 служат для смещения осциллограмм по вертикали.
Рис.2.1. Счетчик количества единичных битов.
Из осциллограмм видно, что за первые 0,5с в исследуемой последовательности начитывается 2 единичных бита (два 1-вольтовых уровня на осциллограмме 3), за вторые 0,5с
– 3, за третьи – 2 , за четвертые – 2, за пятые – 1, что при общем количестве битов в выборке (сумма 0 и 1) 2n =4 соответствует вероятности Р1 появления 1 в случайной последовательности от 0,25 до 0,75. Очевидно, что количество информации I в каждой выборке будет зависеть от соотношения
16
вероятностей появления в ней 1 и 0 и их общего количества 2n, что может быть записано в следующем виде:
I=f(P1/P0) = f(2n)
При количестве выборок m количество информации должно увеличиться в m раз, т.е. mf (2n)=f(2mn),а это возможно только в том случае, если функция f является логарифмической. В общем случае количество информации I=log(P1/P0), а для выборок с равновероятностными 1 и 0 (выборки 1-й, 3- й и 4-й полусекунд) оно равно I=log22n = n = 2 бита.
Таким образом, единицей количества информации двоичной последовательности (код с основанием 2) является бит (сокращение от англ. binare digit). Однако, код с таким основанием не является оптимальным с точки зрения переносимого им количества информации. Действительно, если при кодировании используется система счисления с основанием а и числом разрядов n, то количество символов составит:
Q = n ∙ a,
при этом максимальное число, которое может быть записано
с такой системе счисления
N = an-1,
откуда
n =ln(N+1)/ln a
и
Q = a∙ln (N+1)/ln a .
Из условия dQ/da =0 находим а0 = е =2,718 ≈ 2,72. Единица количества информации кода с таким основанием известна под названием нит (натуральная); она равна 1,44269 бита. Некоторую известность получила также десятичная единица дит или хартли (3,32193) для кода с основанием 10.
Очевидно, что наиболее близкой к оптимальной является система с основанием 3. Символы кода в такой системе могут быть представлены тремя состояниями,
17
например импульсом положительной полярности, паузой и импульсом отрицательной полярности некоторого элемента точечной логики. Однако такие элементы уступают в простоте, надежности и быстродействии элементам двоичной логики. Поэтому в технических приложениях наибольшее применение находит двоичная система счисления (а=2), поскольку аппаратная реализация двух цифр такой системы (0 и 1) является наиболее простой. Коды с основанием а=2 называют двоичными или бинарными. Для обозначения элементов такого кода используются различные символы, например +1, -1, 1 и 0, М (Mark – отметка, знак) и S (Space - расстояние, промежуток) и др. Выбор того или иного условного обозначения связано с удобством передачи сигналов по линиям связи, точностью символьной синхронизации, скоростью передачи, видом используемой манипуляции несущего сигнала (при модуляции несущей цифровыми сигналами этот процесс, в отличие от модуляции непрерывными сигналами, называется
манипуляцией).
2.2.Мера неопределенности информации.
Впредыдущем разделе мы определили количество информации, содержащееся в отдельных равновероятностных сообщениях. Однако при согласовании каналов связи с источником сообщений таких сведений оказывается недостаточно; для этого требуются оценки информационных свойств источника сообщений в целом. Одной из важных характеристик такого рода является среднее количество информации, приходящееся на одно сообщение. Например, при бросании двух игральных костей имеется m=2 (набора сообщения) результатов эксперимента со средней вероятностью 1/6 каждое (по количеству граней n=6). Поэтому количество информации I = m log26 = 5,17 бита. Такой же результат можно полу-
18
чить, если рассматривать 36 равновероятностных результатов бросания двух костей при m=1: I=log236 =5,17 бита.
Таким образом, при равновероятностных независимых сообщениях информационные свойства источника зависят только от числа сообщений в ансамбле n. Однако в реальных условиях сообщения, как правило, имеют разную вероятность. Так, буквы О, Е, А встречаются в русском тексте сравнительно чаще, чем буквы Щ, Ы, Ъ. Так как вероятности сообщений неодинаковы, то они несут различное количество информации: менее вероятные сообщения несут большее количество информации, и наоборот. В этом случае среднее количество информации, приходящееся на одно сообщение источника, определяется как математическое ожидание суммы произведения вероятности P(bi) сообщения на его «статическое» количество информации I(bi):
|
n |
i |
i |
n |
i |
i |
H (b) |
|
|
||||
|
P(a )I (a ) |
|
P(a ) log P(a ) |
|||
|
i 1 |
|
|
i 1 |
|
|
(2.2.1)
Величина Н(b) называется энтропией. Этот термин заимствован из термодинамики, где имеется аналогичное по форме выражение, характеризующее неопределенность состояния физической системы. В теории информации энтропия H(b) также характеризует неопределенность ситуации до передачи сообщения, поскольку заранее неизвестно, какое из сообщений источника будет передано. Чем больше энтропия, тем сильнее неопределенность и тем большую информацию в среднем несет одно сообщение источника.
Энтропия обладает следующими свойствами:
Она всегда положительна, так как 0<P(ai)≤1;
При равновероятных сообщениях, когда Р(а1) =Р(а2) =…= Р(аi) =Р(а)=1/i , энтропия максимальна и равно log i;
Она равна нулю лишь в том случае, когда все вероятности Р(аi) равны нулю, за исключением одной, равной единице;
19
Энтропия нескольких независимых источников равна сумме энтропий этих источников;
Энтропия увеличивается при увеличении числа событий (бросок игральной кости имеет энтропию больше, чем бросок монеты);
Количество передаваемой информации можно увеличить не только за счет увеличения числа сообщений, но и путем повышения энтропии источника, т.е. информационной емкости его сообщений.
Вкачестве примера вычислим энтропию событий при следующих вариантах бросания пары игральных костей.
1.С учетом очков на грани каждой кости (выпадение очков (1,6) и (6,1) считаются разными событиями). В этом случае имеется 36 возможных событий вероятностью 1/36 каждое. Поэтому энтропия равна –log2(1/36)=5,170 бита;
2.Без учета очков на грани каждой кости (выпадение (1,6) и (6,1) считаются одинаковыми событиями). В этом случае имеется 6 событий с выпадением одинаковых очков и вероятностью 1/36 каждое, 30 остальных событий – это 15 пар одинаковых событий с вероятность 2/36 каждая. Поэтому энтропия равна:
-6∙(1/36)∙log2(1/36)-15∙(2/36)∙log2(2/36) = 0,862+3,475=4,337 би-
та.
Рассмотренные источники независимых дискретных сообщений являются простейшим типом источников (их также называют источниками без памяти). В реальных условиях картина значительно усложняется из-за наличия статических связей между сообщениями (случай источников зависимых сообщений (источников с памятью)). Примером может быть обычный текст, где появление той или иной буквы зависит от предыдущих буквенных сочетаний. Так, например, после сочетания ЧТ вероятность следования гласных букв О, Е, И больше, чем согласных.
Статическая связь ожидаемого сообщения с предыдущим количественно оценивается совместной вероятностью
20