Теория Информации / 07 Кодирование в дискретном канале без шума

1

7.ДИСКРЕТНЫЕ КАНАЛЫ БЕЗ ШУМОВ

7.1.Модель информационной системы передачи дискретных сообщений в

отсутствие шумов

Основной функцией информационных систем является хранение информации и перенос ее в пространстве. В системах передачи сообщений канал связи, представляемый в самом общем виде, включает любую совокупность технических средств. Поэтому наряду с физической средой, предназначенной для распространения электромагнитных колебаний и называемой линией связи, к блокам канала связи относят (см. рис. 2.1) кодеры, модуляторы, антенные устройства передатчика и приемника и т.д.

В зависимости от конкретного набора блоков системы и соответственно формы и характеристик входных и выходных сигналов канала передачи возникает необходимость в введении специальной классификации каналов.

Абстрагируясь от конкретной физической природы сигналов и шумов на входе и выходе различных блоков канала, введем следующие определения.

1.Канал называется дискретным по входу (по выходу), если множество входных (выходных) сигналов является счетным.

2.Канал называется непрерывным по входу (по выходу), если множество входных (выходных) сигналов является несчетным.

3.Канал называется дискретным по входу и непрерывным по выходу,

если множество входных сигналов конечно, а множество выходных сигналов несчетно. Такие каналы называют еще полунепрерывными.

4.Канал носит название канала с дискретным временем, если сигналы на его входе и выходе представляют собой конечные или бесконечные последовательности из элементов некоторых ансамблей.

4а. Дискретный по входу и выходу канал с дискретным временем называется дискретным каналом.

5.Канал называется каналом с непрерывным временем, если сигналы на его входе и выходе являются непрерывными функциями времени.

5а. Непрерывный по входу и выходу канал с непрерывным временем называют непрерывным каналом.

Канал считается заданным, если известны статистические данные о сообщениях на его входе и выходе и ограничения, накладываемые на входные сообщения физическими характеристиками канала. Канал прямой передачи (от источника сообщений к их получателю), дополненный обратным каналом, например, для запроса повторной передачи в случае обнаружения ошибки, называют каналом с обратной связью.

Будучи не полной, представленная классификация является достаточной для последующего изложения материала. В данном разделе рассматриваются только дискретные каналы (к числу которых, в частности, относятся кодеры и декодеры).

Если в дискретном канале отсутствуют шумы, то, как бы ни кодировались сигналы, потерь информации не будет. Однако, в большинстве

2

случаев, информацию нужно представлять не только безошибочно, но и экономно. То есть, информация, получаемая от источника сообщений, должна быть передана потребителю наиболее рациональным способом.

Упрощенная блок-схема дискретного канала связи без шумов приведена на рис. 7.1.

Рис.7.1. Блок-схема дискретного канала связи без шумов

На вход такого канала подаются дискретные сообщения (х). Для передачи на расстояние воздействия любого источника сообщения, как правило, преобразуются в первичные электрические сигналы. Поэтому в дальнейшем будем считать, что сообщения (х) поступают в форме электрических сигналов. Последние с помощью кодирующего устройства преобразуются в кодированные сигналы y.

Назначение кодирующего устройства (кодера) состоит в том, чтобы представить выходное сообщение источника в некоторой стандартной форме, например в виде последовательности двоичных сигналов. Основная задача кодирования заключается в том, чтобы стандартное представление было наиболее экономным, т.е. требовало в среднем наименьшего возможного числа двоичных сигналов.

Для кодирования используется некоторый алфавит элементарных сигналов (символов) – y1, у2, …, ут, а существо кодирования сводится к представлению отдельных сообщений (xi) некоторыми определенными комбинациями символов используемого алфавита.

Кодированные сигналы передаются по каналу связи и на его приемном конце восстанавливаются в точно такой же или в иной форме (z). Декодирующее устройство преобразует кодированные сигналы (z) в сообщения (w) в форме, наиболее удобной для данного получателя.

С информационной точки зрения физическая реализация (форма или вид модуляции) кодированных сигналов на передающей (у) и на приемной (z) сторонах, а также выходных сигналов (w) значения не имеет. Важным является лишь установление определенного соответствия между у и х, между z и у и, наконец, между w и z.

Не нарушая общности рассуждений, при отсутствии шумов (помех) можно принять z = у. Способ кодирования должен быть таким, чтобы в случае отсутствия шумов на приемной стороне по полученным кодированным сигналам можно было однозначно восстановить вид переданных сообщений, т. е. чтобы w = x. Это накладывает некоторые ограничения на допустимые комбинации символов кода. Так, например, если мы закодируем символы х1 → 1, х2 → 2 и х3 → 01, то при получении сигнала 01 на приемной стороне мы не будем знать, что было передано: сообщение х3 или два сообщения х2х1. Следовательно, необходимо либо отказаться от такого способа кодирования,

3

либо заранее условиться, что комбинацию х2х1 передавать нельзя (она запрещена). На возможную последовательность символов кода могут накладываться и другие ограничения.

Совокупность запретов, обусловленных принятым способом кодирования и построением аппаратуры, будем относить к фиксированным ограничениям, накладываемым на информационный канал.

7.2. Пропускная способность канала связи

Введем определение пропускной способности канала связи в предположении, что сообщения источника и шумы, действующие в линии связи, носят эргодический характер.

Обозначив через ХТ последовательность сообщений, создаваемых источником за время Т, а через WТ соответствующую ей последовательность принятых сообщений, определим количество информации I(WT, ХТ), содержащееся в последовательности сообщений WT на выходе канала о последовательности XТ на его входе. I(WT,XT) зависит от вероятностных характеристик источника сообщений и характеристик шумов, действующих в линии связи, метода кодирования сообщений, а также от промежутка времени

Т.

Предел

определяет среднее количество информации, получаемое на выходе канала за единицу времени, и называется скоростью передачи информации.

При одном и том же способе кодирования длительность символов передаваемых сигналов может быть различной и зависит от вида модуляции и ширины полосы пропускания канала связи. С изменением длительности символов меняется и скорость передачи информации.

Положим, что нам известна некоторая совокупность фиксированных ограничений, накладываемых на информационный канал. К фиксированным ограничениям будем относить: параметры канала связи и, в частности, длительность передаваемых символов сигнала, используемый код, методы декодирования сигналов и накладываемые в связи с этим запреты и т.п.

Максимальную скорость передачи информации назовем пропускной

способностью канала связи С:

В данном равенстве обозначение Sup указывает, что вычисляется верхняя грань, а запись αi Bi говорит о том, что параметр αi удовлетворяет заданному фиксированному ограничению, т.е. лежит в некоторой области Bi.

При вычислении максимума скорости передачи могут представиться следующие случаи:

1) канал связи определен полностью: заданы способы кодирования и

4

декодирования сообщений, длительности передаваемых сигналов, полоса канала связи и вероятностные характеристики помех; тогда максимальная скорость передачи информации отыскивается по статистическим характеристикам источника сообщений, т.е. разыскивают такое распределение вероятностей по сообщениям х, при котором скорость передачи информации наибольшая;

2)статистические показатели источника сообщений заданы; в этом случае способы модуляции, кодирования и декодирования выбираются так, чтобы скорость передачи информации была максимальной;

3)канал связи полностью не определен – имеется возможность изменять те или иные его параметры: длительности символов, способ кодирования и т.п.; в этом случае параметры канала, которые не заданы, выбирают из условия получения возможно большей скорости передачи информации, а максимум в (7.2) снова отыскивают по статистическим характеристикам источника сообщений.

Пропускная способность есть характеристика канала и не зависит от фактической скорости передачи информации от данного источника.

Пропускная способность линии связи определяется так

При этом ZT и YT – сигналы длительностью Т соответственно на выходе и входе канала связи.

Так как весь информационный канал связи не может пропускать информацию со скоростью большей, чем его часть, то всегда СС ≥ С.

При отсутствии шумов wТ = хТ, zТ = уТ. На основании свойств количества информации

Обозначим через N(T) число всех возможных последовательностей сообщений, вырабатываемых источником, длительностью Т. Энтропия Н(ХТ) максимальна, если все эти последовательности равновероятны. Это максимальное значение равно log N(T), и выражения (7.4) и (7.5) можно

5

переписать в виде

где Nk(T) – число всех возможных кодированных последовательностей длительностью Т.

Соотношения (7.6) и (7.7) обычно используют в качестве определения пропускной способности дискретного канала без шумов.

Найдем пропускную способность некоторых дискретных каналов. Пример 1. Пусть для передачи сообщений используется код с осно-

ванием а (т.е. с а различными символами), длительность всех символов кода одинакова и равна τ. Другие фиксированные ограничения отсутствуют.

Для вычисления СC рассмотрим последовательность из М символов. Длительность такой последовательности равна Т = Mτ. При T → ∞ число символов в одной последовательности M → ∞. Очевидно, что всего можно образовать аM последовательностей длиной в М символов, следовательно,

устройства как источник сообщений, то logа есть энтропия этого источника, т.е. loga = H(Y), у которого коррелятивные связи между символами отсутствуют и вероятности передачи различных символов одинаковы. Отсюда следует и весьма важное обратное утверждение: для того чтобы в

рассматриваемом канале скорость передачи была максимальной, необходимо, чтобы вероятности передачи различных символов были одинаковыми.

При использовании двоичного кода а = 2 из (7.8) получаем, что

скоростью передачи, которая выражается в бодах, если τ измеряется в секундах. Таким образом, СС = V, т.е. пропускная способность двоичного канала А, выражаемая в двоичных единицах в секунду, равна скорости передачи в бодах.

Пример 2. В условиях предыдущей задачи нужно определить пропускную способность линии связи, если на допустимый вид кодовых последовательностей накладываются некоторые ограничения.

6

При вычислении Сс будем рассматривать кодирующее устройство как источник информации и используем результаты гл. 6.

Рассмотрим сигнал YT длительностью Т = Мτ. Энтропия этого сигнала H(YT) = MH(Y),

где H(Y) – энтропия источника, вычисляемая с учетом наложенных фиксированных запретов.

Очевидно, что скорость передачи информации в таком канале

где H(Y)max – максимально возможное значение энтропии кодированного сигнала с учетом наложенных запретов.

7.3.Кодирование как процесс выражения информации

вцифровом виде

Любому дискретному сообщению или знаку сообщения можно приписать какой-либо порядковый номер. Измерение аналоговой величины, выражающееся в сравнении ее с образцовыми мерами, также приводит к числовому представлению информации. Передача или хранение сообщений при этом сводится к передаче или хранению чисел. Числа можно выразить в какой-либо системе счисления. Таким образом, будет получен один из кодов, основанный на данной системе счисления.

Сравним системы счисления и построенные на их основе коды с позиций применения в системах передачи, хранения и преобразования информации.

Общепризнанным в настоящее время является позиционный принцип образования системы счисления. Значение каждого символа (цифры) зависит от его положения — позиции в ряду символов, представляющих число.

Единица каждого следующего разряда больше единицы предыдущего разряда в т раз, где т — основание системы счисления. Полное число получаем, суммируя значения по разрядам:

l

Q = ∑ai mi−1 = al ml−1 + al−1ml−2 + ...+ a2m1 + a1m0 ,

i=1

где i — номер разряда данного числа; l — количество разрядов; ai — множитель, принимающий любые целочисленные значения в пределах от 0 до т — 1 и показывающий, сколько единиц i-гo разряда содержится в числе.

Чем больше основание системы счисления, тем меньшее число разрядов требуется для представления данного числа, а следовательно, и меньшее время для его передачи.

Однако с ростом основания существенно повышаются требования к линии связи и аппаратуре создания и распознавания элементарных сигналов, соответствующих различным символам. Логические элементы вычислитель-

7

ных устройств в этом случае должны иметь большее число устойчивых состояний.

Учитывая оба обстоятельства, целесообразно выбрать систему, обеспечивающую минимум произведения количества различных символов т на количество разрядов l для выражения любого числа. Этот минимум найден при воспроизведении определенного достаточно большого числа Q (Q ≈ 60000 ). Определено, что наиболее эффективной системой является троичная []. Незначительно уступают ей двоичная и четверичная. Системы с основанием 10 и более существенно менее эффективны. Сравнивая эти системы с точки зрения удобства физической реализации соответствующих им логических элементов и простоты . выполнения в них арифметических и логических действий, предпочтение необходимо отдать двоичной системе. Действительно, логические элементы, соответствующие этой системе, должны иметь всего два устойчивых состояния. Задача различения сигналов сводится в этом случае к задаче обнаружения (есть импульс или нет импульса), что значительно проще.

Арифметические и логические действия также наиболее просто осуществляются в двоичной системе. В таблицы сложения, вычитания и умножения входит всего по четыре равенства:

Наиболее распространенная при кодировании и декодировании логическая операция — сложение по модулю. В двоичной системе она также наиболее проста и определяется равенствами:

Алгоритм перевода из двоичной в привычную для человека десятичную систему несложен. Пересчет начинается со старшего разряда. Если в следующем разделе стоит 0, то цифра предыдущего (высшего) разряда удваивается. Если же в следующем разряде единица, то после удвоения предыдущего разряда результат увеличивается на единицу.

Итак, для передачи и проведения логических и арифметических операций наиболее целесообразен двоичный код. Однако он неудобен при вводе и выводе информации, так как трудно оперировать с непривычными двоичными числами. Кроме того, запись таких чисел на бумаге оказывается слишком громоздкой. Поэтому, помимо двоичной, получили распространение системы, которые, с одной стороны, легко сводятся как к двоичной, так и к

8

десятичной системе, а с другой стороны, дают более компактную запись. К таким системам относятся восьмеричная, шестнадцатеричная и двоичнодесятичная. В восьмеричной системе для записи всех возможных чисел используется восемь цифр от 0 до 7 включительно. Перевод чисел из восьмеричной системы в двоичную крайне прост и сводится к замене каждой восьмеричной цифры равным ей трехразрядным числом. Например, для восьмеричного числа 754 получаем:

Поскольку в восьмеричной системе числа выражаются короче, чем в двоичной, она широко используется как вспомогательная система при программировании.

Чтобы сохранить преимущества двоичной системы и удобство десятичной системы, используют двоично-десятичные коды. В таком коде каждую цифру десятичного числа записывают в виде четырехразрядного двоичного числа (тетрады). С помощью четырех разрядов можно образовать 16 различных комбинаций, из которых любые 10 могут составить двоичнодесятичный код. Наиболее целесообразным является код 8-4-2-1 (табл. 7.1). Этот код относится к числу взвешенных кодов. Цифры в названии кода означают вес единиц в соответствующих двоичных разрядах. Двоичнодесятичный код обычно используется как промежуточный при введении в вычислительную машину данных, представленных в десятичном коде.

Таблица 7.1

9

Таблица 7.2

50111

Втабл. 7.1 представлены два других двоично-десятичных кода с весами 5-1-2-1 и 2-4-2-1, которые широко используются при поразрядном уравновешивании в цифровых измерительных приборах.

Среди кодов, отходящих от систем счисления, большое практическое значение имеют такие, у которых при переходе от одного числа к другому изменение происходит только в одном разряде.

Наибольшее распространение получил код Грея, часто называемый

циклическим или рефлекснд-двоичным. Код Грея используется в технике аналого-цифрового преобразования, где он позволяет свести к единице младшего разряда ошибку неоднозначности при считывании. Комбинации кода Грея, соответствующие десятичным числам от 0 до 15, приведены в табл. 7.2.

Правила перевода числа из кода Грея в обычный двоичный сводятся к следующему: первая единица со стороны старших разрядов остается без изменения, последующие цифры (0 и 1) остаются без изменения, если число единиц, им предшествующих, четно, инвертируются, если число единиц нечетно.

7.4.Кодирование как средство криптографического

закрытия информации

В последние годы все большее развитие получают интегрированные информационно-вычислительные системы, в частности автоматизированные системы управления и вычислительные сети коллективного пользования. В таких системах концентрируются большие объемы данных, хранимые на машинных носителях, и осуществляется автоматический межмашинный обмен данными, в том числе и на больших расстояниях.

Во многих случаях хранимая и передаваемая информация может представлять интерес для лиц, желающих использовать ее в корыстных целях. Последствия от такого несанкционированного использования информации могут быть весьма серьезными. Поэтому уже в настоящее время возникла

проблема защиты информации от несанкционированного доступа.

10

Существует комплекс технических средств защиты информации, включающий системы охраны территории и помещений, регулирования доступа в помещения, устройств идентификации пользователей и др. Ограничимся рассмотрением методов защиты информации от несанкционированного доступа при передаче ее по каналам связи. Рассматриваемые методы защиты обеспечивают такое преобразование сообщений (данных), при котором их исходное содержание становится доступным лишь при наличии у получателя некоторой специфической информации (ключа) и осуществления с ее помощью обратного преобразования. Эти методы называют методами криптографического закрытия информации. Они применяются как для защиты информации в каналах передачи, так и для защиты ее в каналах хранения, в основном в накопителях со сменными носителями (магнитными лентами, дисками), которые легко могут быть похищены.

Преобразования, выполняемые в системах, где используются методы криптографического закрытия информации, можно считать разновидностями процессов кодирования и декодирования, которые получили специфические названия шифрования и дешифрования. Зашифрованное сообщение называют

криптограммой.

Современные методы криптографического закрытия информации должны обеспечивать секретность при условии, что противник обладает любым специальным оборудованием, необходимым для перехвата и записи криптограмм, а также в случае, когда ему стал известен не только алгоритм шифрования, но и некоторые фрагменты криптограмм и соответствующего им открытого текста сообщений. Иначе говоря, метод должен предусматривать такое множество возможных ключей, чтобы вероятность определения использованного даже при наличии указанных фрагментов была близка к нулю. Последнее требование является весьма жестким, но его можно удовлетворить.

Методы криптографического закрытия могут быть реализованы как программно, так и аппаратно. При программной реализации в месте шифрования (дешифрования) предполагается наличие процессора. В тех случаях, когда процессор отсутствует или его загрузка нецелесообразна, используется аппаратное закрытие с помощью специальной серийно выпускаемой аппаратуры.

Известно значительное число различных методов криптографического закрытия информации. Рассмотрим некоторые из них в порядке возрастания сложности и надежности закрытия.

Шифр простой подстановки. Буквы кодируемого сообщения прямо заменяются другими буквами того же или другого алфавита. Если сообщения составляются из k различных букв, то существует k\ способов выражения сообщения k буквами этого алфавита, т. е. существует k! различных ключей.

Метод шифрования прост, но не позволяет обеспечить высокой степени защиты информации. Это связано с тем, что буквы английского языка (как, впрочем, и других языков), имеют вполне определенные и различные вероятности появления. Так как в зашифрованном тексте статистические