1.5. Источник информации

Источником назовем совокупность собственно источника непрерывной или дискретной информации и первичного преобразователя, служащего для представления информации в форме, удобной для дальнейшего преобразования.

Источник называется стационарным, если для любых i и j вероятности двух последовательностей одинаковой длины, одна из которых начинается в момент времени i, а другая - в момент времени j, совпадают.

Многие реальные источники дос­таточно хорошо описываются марковскими моделями источ­ника сообщений. Согласно указанной модели условная веро­ятность выбора источником очередной , буквы зависит только от предшествующих.

Математической моделью со­общений, вырабатываемых таким источником, являются цепи Маркова -i порядка. В рамках указанной модели условная вероятность выбора i_k -й буквы

.

Если последнее равенство не зависит от времени, то есть справедливо при любом значении k, источник называется од­нородным.

Однородный марковский источник называется стационарным, если безусловная вероятность выбора очеред­ной буквы не зависит от k .

Пример 1.11. Источником Маркова являются буквы русского (или, например, английского алфавита), поскольку появление в слове очередной буквы очень сильно зависит от предыдущих букв или даже слов.

Среди всех возможных марковских процессов можно выделить группу со свойствами, важными для теории связи. В этот класс входят так называемые ``эргодические'' процессы, и мы будем называть соответствующие источники эргодическими.

Эргодические случайные процессы – стационарные процессы характеризуются тем, что одна единственная бесконечная реализация процесса несет всю информацию о его вероятностных свойствах.

Иными словами, для эргодического процесса совершенно безразлично, существует ли множество реализаций, и вероятностные характеристики определены путем усреднения по этому множеству, ансамблю реализаций или же дана всего одна реализация бесконечной длины, а вероятностные характеристики вводятся путем усреднения по времени. Для эргодических процессов характеристики, получаемые путем усреднения по множеству и по времени, совпадают.

Хотя строгое определение эргодического процесса достаточно запутанно, основная идея проста. Для эргодического процесса все сгенерированные последовательности обладают одинаковыми статистическими свойствами, то есть, к примеру, частоты встречаемости букв, диаграмм и тек далее, оцененные по отдельным последовательностям, сходятся с ростом длины выборок к определенным пределам, не зависящим от последовательности. На самом деле это верно не для всякой последовательности, однако множество последовательностей, для которых это не выполняется, имеет меру ноль (то есть обладает нулевой вероятностью). Грубо - свойство эргодичности означает статистическую однородность.

С практической точки зрения эргодичность случайного процесса позволяет в ходе исследования одного источника сигнала получить полное представление о свойствах всей совокупности. Скажем, можно анализировать тот или иной сигнал одного объекта, распространяя соответствующие результаты на все объекты данного типа. Конечно, при этом следует соблюдать определенную осторожность, поскольку, хотя подобное распространение во многих случаях может быть обосновано с физической точки зрения, эргодичность внутренне присуща далеко не всем реальным сигналам. В какой-то степени частичной проверкой эргодичности процесса является проведение исследований не с одним объектом, а с целой группой, если при этом получаются идентичные результаты суждений о свойствах изучаемых реализаций случайного процесса.

Источник будем называть эргодическим, если его вероятностные параметры можно оценить по одной достаточ­но длинной реализации, которую он вырабатывает. При не­ограниченном возрастании длины реализации (п) оценка параметра (результат измерения) совпадает с его истинным значением с вероятностью, равной единице.

Например, при бросании игральной кости можно оценить вероятность выпадания какой-либо цифры через относительную частоту ее появления в достаточно длинной серии испытаний. Указанная серия испытаний представляет собой ту самую реализацию, по которой осуществляется оценка вероятности (параметра). Реализации, по которым можно оценить закон распределе­ния, являются типичными.

Поэтому эргодическим источни­ком можно назвать источник, который вырабатывает типич­ные последовательности.

Допустим, некоторое устройство вырабатывает (генери­рует) число как независимую последовательность из единиц и нулей, которые появляются соответственно с вероятностя­ми, равными p и q=1— р. В этом случае при неограничен­ном возрастании длины последовательности п с вероят­ностью, равной единице, появляются последовательности, количество единиц в которых незначительно отличается от среднего значения, равного пр. Такие последовательности и на­зываются типичными. Они различаются между собой только размещением единиц, а не их количеством. Типичная последовательность несет сведения о структуре источника, то есть является типичной для данного источника.

Последовательность назовем типичной для заданного источника, если количество единиц п₁ в ней удовлетворяет неравенству

или

(1.1.)

и нетипичной в противном случае, то есть когда

.

(1.2.)

Вероятность появления нетипичной последовательности равна вероятности, с которой п₁ удовлетворяет неравен­ству (1.2).

Для оценки этой вероятности воспользуемся нера­венством Чебышева, которое для произвольной случайной ве­личины имеющей конечную дисперсию, при каждом b>0 записывается в виде

,

(1.3.)

где и — соответственно математическое ожидание и дис­персия случайной величины .

Полaгая, (q=(1-p)) получим аналогичное нера­венство для случайного числа единиц n₁:

.

(1.4.)

Следовательно, вероятность появления нетипичной последо­вательности

,

(1.5.)

а вероятность появления типичной последовательности

.

(1.6.)

Вероятность Р_HT стремится к нулю, а вероятность Р_T стре­мится к единице при любом сколь угодно малом значении и неограниченном возрастании длины последовательностип. Интервал . которому принадлежит количество еди­ниц в типичной последовательности, неограниченно увеличива­ется (), хотя относительная величина интервалa всегда меньше значения. Докажем, что одновременно с неограниченным увеличением длины последователь­ностип можно уменьшать значение с такой скоростью, при которой относительная величина интервала будет стре­миться к нулю, а вероятность появления типичной последова­тельности—к единице. При этом абсолютная величина интер­вала по-прежнему неограниченно возрастает. Вероятность Р_T стремится к единице, если величина неограниченно увеличивается с ростом n. Пусть , где не­который параметр, определяющий скорость роста величины.Oтсюда

.

Величина стремится к нулю с ростомп при . При этом абсолютная величина интервала не может быть постоянной или стремиться к нулю одновременно с неограни­ченным увеличением величины , стремлением к нулю.

Пример 1.12. Типичная комбинация для дискретного источника сообщений, выдающий осмысленный текст на русском языке, это слова со средней длиной символов. Нетипичная комбинация, в этом случае будет бессмысленный набор символов длиной.

Если два источника различаются своей структурой (значением оцениваемого параметра), то, наблюдая реализацию, можно определить, какому из них она принадлежит. Источник, эргодический по одному параметру, может оказаться не эргодическим по другому параметру.

Дискретным источником, связанным с множеством Х, будем называть источник, который в каждую единицу времени порождает одно из сообщений множества Х.

Дискретный источник определен, если перечислены все его возможные сообщения и указаны их вероятности:

Этой стандартной формой исчерпывается описание источника, если в последовательности сообщений, создаваемой источником, нет взаимной зависимости между предыдущими и последующими сообщениями.

Источник со статистически независимыми буквами сооб­щений (источник Бернулли или источник без памяти) будет стационарным, если вероятность выбора 1-й бук­вы алфавита не зависит от того, какое место в слове она за­нимает .

Пример 1.13. Результаты бросания монеты или игрального кубика являются процессами, порождаемые источником Бернулли. Результаты бросания кубика - сигнал с равными вероятностями всех событий. Источник такого сигнала называют еще комбинаторным. Если же на кубик нанести числа 1, 2, 2, 3, 3, 3, то мы получим прекрасный источник не равновероятных сообщений Бернулли.

Если в ансамбле сообщений соблюдается одно из двух правил:

p(x_i)  p(y_j) для любого i > j или p(x_i)  p(y_j) для любого i > j,

то такой источник называется монотонным.

Если для источника Бернулли необходимо знать только вероятности отдельных сообщений, то для источника Маркова необходимо получить условные вероятности в виде n+1-мерных матриц. Для марковского источника первого порядка это будет двумерная матрица размера LxL, где каждый i-й столбец показывает вероятность перехода от сообщения x_i к сообщению x_j, например:

	x1	...	xi-1	xi	xi+1	...	xL
y1	p1,1	...	...	p1,i	...	...	p1,L
...	...	...	...	...	...	...	...
yj-1	pj-1,1	...	...	pj-1,i	...	...	pj-1,L
yj	pj,1	...	...	pj,i	...	...	pj,L
yj+1	pj+1,1	...	...	pj+1,i	...	...	pj+1,L
...	...	...	...	...	...	...	...
yL	pL,1	...	...	pL,i	...	...	pL,L

Сумма вероятностей любой строки или столбца должна равняться единице.

Математическая модель дискретного источника X есть вероятностная схема, описывающая порождаемый источником случайный процесс.

Строится она следующим образом:

1) первое сообщение источник выбирает в соответствии с вероятностями априорного одномерного распределения

;

2) второе сообщение источник выбирает в соответствии с вероятностями условного распределения для второго сообщения при выбранном первом

(1.4.)

для второго такта работы источника таких вероятностей ;

3) на такте с номером источник выбирает сообщение с номером в соответствии с условным распределением размерности :

(1.5.)

где ; при этом имеет место всего условных вероятностей.

Если, начиная с некоторого , условные распределения вероятностей размерности и размерности совпадают, то говорят, что источник обладает памятью на тактов, т.е., можно сказать, что при имеет место источник независимых сообщений (Бернулли), при имеет место марковский источник.

Пример 1.14. Пусть имеется двоичный источник (объём алфавита k=2) например, источник, выдающий только буквы а и б; порядок источ­ника n=1. Тогда число состояний источника M=kⁿ=2¹=2 (назовём их со­стояния q₁ и q₂). В этом случае вероятности появления букв а и б будут опреде­ляться следующими условными вероятностями:

p(а/q₁=а), p(а/q₂=б), p(б/q₁=а), p(б/q₂=б),

где q₁=а - 1-е состояние q₁; q₂=б - 2-е состояние q₂.

Вероятности состояний источника равны p(q₁)=p(a), p(q₂)=p(б).