3.Кодирование. Пропускная способность канала
3.1.Основные определения.
Пропускная способность канала
Модель системы передачи информации
Системой передачи информации называется совокупность технических средств, используемых для передачи информации во времени (хранение информации) или в пространстве (связь). Модель
системы передачи информации представлена на рис. 3.1.
Рис.3.1
Источником называется устройство или человек, генерирующий сообщение, подлежащее передаче, а потребителем – устройство или человек, получающие информацию. Каналом называется совокупность физических объектов, используемых для переноса сигнала (кабель, проводная линия, лента магнитофона, среда, в которой распространяются волны и т.п.). Кодером называется устройство, преобразующее сообщение на выходе источника в сигнал, пригодный для передачи по данному каналу. Декодером называется устройство, преобразующее сигнал на выходе канала к виду, пригодному для использования потребителем. Воздействие помех (шумов) на сигнал в процессе его распространения в канале отражено на схеме введением источника помех.
Источник информации. Источник информации называется дискретным или непрерывным в зависимости от вида создаваемых им сообщений. Источник называется стационарным, если сообщение на его выходе есть стационарная случайная функция (последовательность). Дискретный источник называется источником без памяти, если символы в последовательности на его выходе независимы.
Канал называется дискретным, непрерывным, дискретно-непрерывным или непрерывно дискретным в зависимости от вида сигналов на его входе и выходе. Если входной А(t) и выходной B(t) сигналы связаны взаимно однозначно, то такой канал называется каналом без шума. В канале с шумом возможны случайные ошибки при преобразовании входного сигнала в выходной.
Дискретный канал с шумом называется каналом без памяти, если ошибки в отдельных символах выходной последовательности статистически независимы. Канал называется стационарным (постоянным), если условные вероятности перехода от А(t) к B(t) не зависят от начала отсчета.
Кодер и декодер. Кодирующее устройство выполняет следующие операции:
а)согласование источника с каналом (перевод реальных сообщений в электрические сигналы, модуляция непрерывных сигналов, квантование непрерывных сообщений, представление s-ичного дискретного сообщения в m-ичном коде и т.п.);
б)экономное представление информации с минимальной избыточностью либо, наоборот, разумное введение избыточности в сигнал, передаваемый по каналу, с целью повышения его помехоустойчивости.
Функции декодера в значительной степени обратны функциям кодера. Кроме того, введение при кодировании избыточности в сигнал A(t) часто представляет возможность обнаруживать и исправлять ошибки, возникающие в канале из-за влияния помех. Эта операция тоже выполняется декодирующим устройством.
Скорость создания информации.
Скорость передачи информации.
Ненадежность
Одной из основных характеристик источника является скорость создания информации. Для стационарного дискретного источника она численно равна энтропии последовательности символов на его выходе, вычисленной по формуле (2.4.2). Скорость создания информации непрерывным источником, вообще говоря, бесконечна. Поэтому в качестве скорости создания информации стационарным непрерывным источником принимает значение -энтропии непрерывной функции на их выходе, вычисленной при заданной точности воспроизведения этой функции.
Важнейшей характеристикой системы в целом является скорость передачи информации. Скоростью передачи информации называется средняя величина взаимной информации (в единицу времени или на один отсчет) между сигналом X(t) на выходе источника и сигналом Y(t), поступающим к потребителю. Эта величина вычисляется по формуле (2.4.8), но для непрерывных источников в формуле используются значения относительной энтропии (условной и безусловной).
Условная энтропия в правой части выражения (2.4.8) часто называется ненадежностью передачи информации от дискретного источника. Она числено равна разности между скоростью создания информации и скоростью ее передачи, поэтому ненадежность, по существу, есть скорость потери информации в канале (и, возможно, в кодере и декодере). Ненадежность равна нулю только в случае точной передачи информации.
Пропускная способность канала
Скорость передачи информации зависит в значительной степени от скорости ее создания, способов кодирования и декодирования. Наибольшая возможная в данном канале скорость передачи информации называется его пропускной способностью С. Пропускная способность канала, по определению, есть скорость передачи информации при использовании “наилучших” для данного источника, кодера и декодера, поэтому она характеризует только канал.
Пропускная способность дискретного канала без шумов
(3.1.1)
где m- основание кода сигнала, используемого в канале (см. 3.2.2). Скорость передачи информации в дискретном канале без шумов равно его пропускной способности, когда символы в канале независимы, а все m букв равновероятны.
Пропускная способность дискретного канала с шумами без памяти
.(3.1.2)
При заданных вероятностях перехода p(bk/aj) задача вычисления пропускной способности сводится к отысканию “наилучшего” распределения вероятностей p(a1),…,p(am), букв на входе канала. Скорость передачи информации в таком канале равна его пропускной способности, когда символы в канале независимы, а распределение вероятностей m входных букв равно найденному.
Пропускная способность непрерывного канала с ограниченной полосой частот f Гц, в котором действует аддитивный белый гауссов шум со спектральной плотностью N0 Bт/Гу , вычисляется по формуле Шеннона-Таллера
(3.1.3)
где Pc= MA2(t)-средняя мощность стационарного выходного сигнала А(t), Рш=N0f-средняя мощность шума, попадающего в полосу частот f.
Скорость передачи информации в непрерывном канале равна его пропускной способности, когда входной сигнал А(t) также является стационарным гауссовым случайным процессом с нулевым средним и энергетическим спектром, равномерным в полосе частот f.