2. Непрерывные ансамбли и источники сообщений

Под дискретными мы определили множества, число элементов в которых конечно или счетно. Все остальные множества классифицируются как непрерывные.

В курсе теории вероятностей переход от дискретных множеств к непрерывным сводится в основном к формальной замене распределения вероятностей плотностямии знаков сумм на знаки интегрирования. В теории информации все происходит несколько иначе и гораздо сложнее. Например, любое число из дискретного множества чисел можно записать конечным числом бит. Однако, чтобы записать, например,, необходимобесконечное число бит. То есть нельзя абсолютно точно передать информацию, порожденную непрерывным источником. В этом случае оговаривают некоторый уровень допустимой погрешности, зависящей от решаемой задачи. Например, требования по качеству воспроизведения звука от музыкального центра и от мобильного телефона существенно отличаются.

Для определения информационных характеристик непрерывных источников необходимо вспомнить основные термины, которые используются при их описании. Рассмотрим непрерывное множество действительных чисел (случайных величин). Будем считать, что рассматриваемый ансамбль содержит все точки числовой оси, то есть непрерывная случайная величина задана на некотором интервале, который в общем случае может быть и бесконечным интервалом. Символомбудем обозначать значения случайной величины.

В качестве вероятностной меры, которой описывается непрерывный источник, будем рассматривать функцию распределения случайной величины, которая показывает вероятность события :

Функцию распределения называют такжеинтегральной функцией распределения или интегральным законом распределения.

Сформулируем некоторые общие свойства функции распределения.

1. Функция распределения есть неубывающая функция своего аргумента, т. е. при

.

2. На минус бесконечности функция распределения равна нулю

.

3. На плюс бесконечности функция распределения равна единице

.

Зная можно вычислить вероятность любого подмножества значений:

.

То есть вероятность попадания случайной величины на заданный участок равна приращению функции распределения на этом участке.

Отметим также важное свойство, присущее непрерывным случайным величинам: вероятность любого отдельного значения непрерывной случайной величины равна нулю.

Если функция непрерывна и дифференцируема, то ее производная

Называется плотностью распределения вероятностей случайной величины .

Укажем основные свойства плотности распределения.

1. Плотность распределения есть неотрицательная функция:

2. Интеграл в бесконечных пределах от плотности распределения равен единице:

3. Функция распределения выражается через плотность распределения как

4. По известной плотности вероятностей можно найти вероятность попадания случайной величины в интервал

3. Дискретные и непрерывные каналы передачи информации

Каналом передачи информации (каналом связи) называется совокупность средств, обеспечивающих передачу сигнала от некоторой точки А системы связи до точки В:

Рис. 2. Структурная схема канала связи

Точки А и В могут быть выбраны произвольно, лишь бы между ни­ми проходил сигнал. Вся часть системы связи, расположенная до точки А, служит источником сигнала для этого канала.

Каналы связи могут классифицироваться по различным признакам. Более подробно классификация каналов связи рассматривается в курсе Теории электрической связи. В рамках теории информации и кодирования интерес представляет классификация каналов связи по характеру сигналов на входе и выхо­де канала. Если сигналы, поступающие на вход канала и снимаемые с его выхода, являются дискретными (по состояниям), то канал называ­ется дискретным. Если входные и выходные сигналы канала являются непрерывными, то и канал называется непрерывным. Встречаются также дискретно-непрерывные и непрерывно-дискретные каналы, на вход ко­торых поступают дискретные сигналы, а с выхода снимаются непрерыв­ные или наоборот.

Формально описание дискретного канала связи сводится к заданию двух алфавитов на входе X и выходе Y канала:

, .

Данные алфавиты в общем случае имеют разные объемы .

Задается также условное распределение вероятностей , где,— последовательности символов из соответствующих алфавитовX и Y, имеющие произвольную, но одинаковую длину n.

Для канала связи также может дополнительно задаваться скорость передачи как число символов, передаваемых по каналу за 1 секунду.

Канал не обладает памятью, если последовательные символы принимаются по нему взаимно независимо друг от друга. В этом случае для полного описания такого канала связи достаточно знать условное распределение

Для описания непрерывного канала связи задается пара пространств и,входныхи выходныхсигналов.

Задается также условное распределение вероятностей

.

Простым, но достаточно важным для приложения частным случаем непрерывного канала связи является канал с аддитивным шумом, для которого пространство выходных сигналов задается следующим образом:

,

где — случайный сигнал (аддитивная помеха), не зависящая от входного сигнала. Для полного описания такого канала задаются ограничения на допустимое множество входных сигналови распределения вероятностей помехи.