7. Виды дискретных источников.

Дискретные источники вырабатывают дискретные случайные последовательности.

Дискретный процесс Х – совокупность случ. величин Х₁, Х₂,…, Х_n, где Х_t – срез случ. процесса в момент времени t.

X={X₁, X₂…X_n}

X_t={x₁, x₂…x_mx}, где x₁, x₂…x_m-алфавит источника, mx-объем алфавита.

x – реализация случ. проц. Х

x={x_i1, x_i2… x_in}={X₁=x_i1, X₂=x_i2… X_n=x_in}

Количество сообщений=m­ⁿ=m_x(объем алф. случ. проц.)

Если появление отдельных символов последовательности зависит от времени наблюдения то такой процесс нестационарный

Процесс называется стационарным,если сдвиг во времени интервала наблюдений не приводит к изменению оцениваемых параметров. p(x_i1, x_i2…x_in)=p(x_i(t+1), x_i(t+2)…x_i(t+n))

Случайный процесс называется оргодичным, если все его информационные параметры можно точно определить по одной достаточно длинной реализации. Такие реализации наз типичными последовательностями для данного источника.

На практике символы сообщений статистически взаимосвязаны, т.е. выработка очередного символа зависит от переданных ранее.

p(x_i1…x_in)=p(x_i1)p(x_i2/x_i1)p(x_i3/x_i1x_i2)…p(x_in/x_i1…x_in-1) – источник с памятью.

Получаем упрощение, когда считаем, что каждый следующий символ не связан с предыдущим: p(x_i1…x_in)=p(x_i1)p(x_i2)…p(x_in).

Если будем учитывать зависимости только между близкорасположенными символами, то получим марковский случ. проц. Случ. проц. называется марковским порядка L, если каждая его случайная величина зависит лишь от L предшествующих. Сообщение называют марковской цепью L-ного порядка.

p(НГТУ)=p(Н)p(Г/Н)p(Т/Г)p(У/Т)

8. Характеристики источника дискретных сообщений.

1) Период дискретизации (интервал смены состояний)

2) Алфавит X={x₁, x₂…x_mx}

3) m_x-объем алфавита

4) частота (техническая скорость источника Vти=1/Т

4) Распределение вероятности по состояниям {p(x₁), p(x₂)… p(x_mx)} I(x_i)= -log p(x_i)

5) Количество информации [I(x_1), …I(Xm)]

6) Энтропия H(X) – среднее количество информации, которое приходится на одно состояние источника. H(X)=M[I(x_i)]= -∑p(x_i) log p(x_i).

Свойства энтропии:

• а) неотрицательная величина H(X)≥0

• p(x_i)=1, p(x_j)=0, i≠j => H(X)=0 если источник вырожденный.

• б) величина ограниченная max значением* (информ. емкость). H(X)≤H_max*=log m_x

• в) аддитивность. Энтропия объединения двух независимых источников равна сумме энтропий каждого источника в отдельности.

Z=XY H(Z)=?

1 случ.: ист независимы: p(xiyj)=p(x_i)p(y_j), H(Z)=H(XY)=H(X)+H(Y)

2 случ: ист связаны: p(xiyj)=p(x_i)p(y_j/xi), H(XY)=H(X)+H(Y/X)

H(XY)=H(X)+H(Y)=-∑∑p(x_i)p(y_j)log[p(x_i)p(y_j)]=-∑p(x_i)logp(x_i)*∑p(y_j)-∑p(y_j)logp(y_j)*∑p(x_i)=H(X)+H(Y). Т.к. ∑p(y_j)=1 и ∑p(x_i)=1.

7) Производительность источника. V_T=f=1/T

Информационная производительность П_и(Х) – среднее количество информации, вырабатываемой источником за 1 секунду. П_и(Х)=Vтn*H(X) бит/сек.

8) Избыточность D(X).

H(X)≤H_max

n=Vи/H(X)=К >

Kравн=Vи/Hmax=nmin

D_(X)=H_max-H(X)/H_max

Причины избыточности источника: неравновероятность символов; статистическая взаимосвязь между состояниями источника.