3 Примеры заданий

3.1. Показать, что максимальное количество информации, которое содержится в квантованном телевизионном сигнале, соответствующем одному телевизионному кадру при 625 строках разложения, равно 2,083·10⁶ бит при условии, что сигнал, соответствующий одной строке изображения, представляет собой последовательность из 833 (при отношении сторон кадра 4/3) статистически независимых случайных по амплитуде импульсов, каждый из которых с равной вероятностью принимает одно из 16 значений. Найти избыточность телевизионного сигнала, если фактически кадр изображения с 16 градациями уровней содержит 9,37·10⁵ бит информации.

3.2. Источник сообщений выдает символы из ансамбля A = {a_i} (здесь i = 1, 2, 3, 4) с вероятностями P(a₁) = 0,2; P(a₂) = 0,3; P(a₃) = 0,4; P(a₄) = 0,1. Найти количество информации, содержащееся в каждом из символов источника при их независимом выборе (источник без памяти). Вычислить энтропию и избыточность заданного источника.

3.3. Найти ненадежность H(B/B’) и энтропию шума двоичного симметричного канала со стиранием (рис. 1.1) с вероятностями переходов P(0’/0) = P(1’/1) = 1 – p₀ – p_c; P(?/0) = P(?/1) = p_c; P(1’/0) = P(0’/1) = p₀ и априорными вероятностями символов P(0) и P(1) = 1 – P(0).

3.4. По каналу связи без памяти передается сигнал s(t), представляющий собой нормальный случайный процесс с нулевым средним значением, дисперсией σ²_s = 8 мВт и равномерным энергетическим спектром G₀ в полосе частот канала F_к = 3100 Гц. В канале действует независимая от сигнала флуктуационная помеха типа «белый шум» с энергетическим спектром G_ш = 3,22·10^-7 Вт/Гц, нормальным распределением и нулевым средним значением. Определить среднее на один отсчет сигнала количество информации, переданное по каналу.

3.5. Показать, что при заданном ансамбле входных сигналов и фиксированной дисперсии помехи скорость передачи информации по непрерывному каналу будет иметь наименьшее значение при нормальном шуме в канале.

4 Методические рекомендации и ответы

К заданию 3.1. Решение. Количество информации, содержащееся в одном элементе сигнала

H_max(A) = log K = log₂ 16 = 4кбит/символ.

Число элементов изображения в одном канале

N = 833·625 = 520625.

Количество информации в одном кадре

I = N H_max = 4·520625 = 2,082·10⁶ бит.

Энтропия реального телевизионного изображения при 16 градациях яркости

бит/символ.

Избыточность реального телевизионного сигнала

ρ_и = 1– H(A)/H_max(A) = 0,55.

К заданию 3.2. Ответ. I(a₁) = 2,33 бит; I(a₂) = 1,75 бит; I(a₃) = 1,33 бит; I(a₄) = 3,33 бит; H(A) = 1,86 бит/символ.

К заданию 3.3. Указание. В двоичном симметричном канале со стиранием объем алфавита на входе m = 2, а объем алфавита на выходе m’ = 3. Энтропия шума (1.6):

.

Апостериорные вероятности находим по формуле Байеса:

.

P(0,?) = P(0) P(?/0); P(1,?) = P(1) P(?/1).

Ответ. H(B/B’) = (1 – p₀ – p_c) log(1 – p₀ – p_c) – p₀ logp₀ – p_с logp_с.

Ненадежность рассматриваемого канала не зависит от априорных вероятностей входных символов.

.

К заданию 3.4. Указание и ответ. Поскольку спектр равномерный, то отсчеты входного сигнала и помехи, а следовательно, и сигнала на выходе независимы. Согласно (1.9)

I(S, Z) = h(Z) – h(Z/S) = h(S) – h(S/Z). (1.14)

Выходной сигнал определяется из (1.11). Поскольку s(t) и U(t) независимы и имеют нормальное распределение, то Z(t) тоже распределено по нормальному закону с дисперсией σ²_z = σ²_s + σ²_u. Плотность вероятности нормального случайного процесса:

В соответствии с (1.7) энтропии входного и выходного сигналов будут равны соответственно (при интегрировании ввести новую переменную (s – m_s)/σ):

=3,05 бит/отсчет,

=3,21 бит/отсчет.

Условная дифференциальная энтропия h(S/Z) определяется по формуле (1.9) (принять во внимание, что ):

h(S/Z) = h(S) + h(Z/S) – h(Z) = = 1,89 бит/отсчет.

Подставив полученные энтропии в (1.14), получим:

=1,58 бит/отсчет.

К заданию 3.5. Решение и ответ. Согласно (1.12) при аддитивном шуме в канале I’(S, Z) = v_к [h(S) – h(U)]. Очевидно, что минимальная скорость передачи информации будет определяться соотношением min I’(S, Z) = v_к min [h(Z) – h(U)]. Если ансамбль входных сигналов фиксирован, то min [h(Z – h(U)] будет иметь место при max h(U). Если дисперсия шума фиксирована, то max h(U) будет при нормальном распределении шума, причем . Следовательно, при указанных условиях скорость передачи информации будет наименьшей и равной I’(S, Z) = v_к .