12 Статистическое кодирование. Избыточность, коэффициент сжатия и информативность сообщений.
Если отдельные буквы алфавита или их комбинации встречаются в тексте чаще других или имеются взаимосвязи м/у элементами, сообщением, то кол-во инф. во всем сообщении приходящейся на одну букву уменьшается. В этих случаях, как правило, можно передать содержимое в сообщении меньшим числом букв.
Наличие в сообщении большего числа букв, чем это минимально необходимо для передачи содерж. в них кол-ва информации – избыточность.
Два сообщения одной длины и составленные из букв одного алфавита могут нести разное количество информации или обладать разной информативностью.
Чем больше избыточность сообщения, тем относительно меньшая доля возможных сообщений является разрешенной и большее число ошибок может быть обнаружено и исправлено.
Численная избыточность определяется относительной разностью максимально возможной и реальной энтропией.
где
Он показывает на сколько можно сжать кодовую комбинацию или сообщение уменьшая число букв в нем, чтобы исключить имеющуюся избыточность.
,
где n-
кол-во букв в сообщении
nH- кол-во информации в этом сообщении
Hmax=
- наибольшее кол-во информации, которая
может нести буква вn-буквенном
сообщении.
n’=nH/
- число буквN-буквенного
алфавита минимально необходимых для
переноса информации.
Отсюда kсж=H/
=n’/n
– отношение min
необходимого числа букв к числу букв,
содержащихся в сообщении или кодовой
комбинации.
E=1-
kсж=1-
n’/n=
Избыточность измеряется отношением лишних букв к их общему числу в сообщении.
Статистическое кодирование используется для исключения избыточности сообщений, обусловленной не равновероятностью элементов.
Уменьшение избыточности сообщений – сжатие.
Код снижающий избыточность можно построить в разных вариантах, но во всех случаях часто встречающиеся высоковероятные элементы или буквы должны составлять короткие кодовые комбинации, а для реже встречающихся должны составлять более длинные кодовые комбинации. Необходимо также, чтобы короткие кодовые комбинации, соответствующие высоковероятным элементам не совпадали с началами более длинных – св-во непроводимости.
В противном случае не возможно будет правильно декодировать сообщение. На возможность такого кодирования, учитывающего статистические св-ва сообщения указал Шеннон, а алгоритм предложил Фано, поэтому коды такого рода называют статистическими.
13 Помехоустойчивое кодирование. Повышение верности в одностороннем и двустороннем каналах передачи.
Помехи м. б. аддитивными и мультипликативными и возникать в каналах под воздействием различных факторов. Аддитивные – появляются в каналах проводных линий связи от влияния электротяги, влияния со стороны других || идущих цепей связи. Их снижение достигается скруткой, экранированием цепей линии связи, применением компенсационных методов.В радиосвязи – прим-е направленного изл-я и целесообразный выбор частот.
Мерами борьбы с мультипликат. помехами на проводных линиях явл-ся применение автоматического регулирования уровня (АРУ) . Непрерывный канал элекросвязи считается заданным и хар-ся значением отношения мощности сигнала и помехи на его выходе.
Критерием качества передачи служит вер-ть ошибочной передачи. При поэлементном приеме – вер-ть ошибки при приеме одного эл-та и распределение ее во времени.
Одной из основных дост-й ТПС док-во возможности практически безошибочной передачи сообщений по каналам, в кот-х отд. элементы передаются с ошибками. Такое кодирование сообщения наз-ся помехоустойчивым. Конкретный способ кодирования зав-т от того явл-ся ли рассм-й канал одно- или двухсторонним и от статистики ошибок в канале.
Повышение верности в одностороннем канале:
Единственный способ пов-я верности – введение в сообщение избыточности, обеспечивающей исправление ошибок в пункте приема. Простейшее и наименее эффект-й формой явл. многократное повторение сообщения.
Пусть необходимо передать по каналу с ошибками кодовую комб. Если ее передать 3 раза, а в пункте приема поэлементно сравнить рез-ты приема трех передач, то использую мажоритарное декодирование можно исправить ошибки в отд. элементах, если они только не повторяются в одном и том же эл-те при разных передачах.
(а1,а2,а3,а4,а5)=(10110)
прием- 11110
10100 10110
10111
Для исправления двойной ошибки – 5-кратное повторение.
Повышение верности в двустороннем канале:
орг-я канала с обратной связью повторением
Сообщение вводится в память перед-й станции и перед-ся по каналам на приемную станцию, где также записыв-ся в памяти. Принятое и записанное сообщение перед-ся затем обратно на перед-ю станцию, где решающее устр-во поэлементно сравнивает повторное сообщение и переданное, удерживаемое в памяти передатчика. Если расхождений нет – перед-ся сигнал «правильно», по которому сообщение с памяти приемной станции выделяется получателю и обе памяти очищ-ся.
Если при сравн-и обнар-ся расхождение, то пер-ся сигнал «неправильно», по которому очищается память приемной станции и сообщение пер-ся повторно.
орг-я канала с обратной связью с перебросом
Сообщение вводится в память перед-й станции и перед-ся по прямому каналу на приемную станцию, где также записыв-ся в памяти. Сообщение д. Перед-ся избыточным кодом, допускающим обнаружение ошибок.
Решающее устр-во приемной станции проверяет принятую кодовую комбинацию. Если ошибок не обнар-ся сообщение выдается получателю и на перед-ю станцию посыл-ся сигнал «понято», по которому очищается память перед-й станции. Если обнар-ся ошибка, то по сигналу «повторить» очищается память приемной станции и сообщение сохраненное в памяти перед-й станции перед-ся повторно.
Простейшие коды, обнаруживающие ошибку – двоичные коды с постоянным весом, т.е с одним и тем же числом единиц в каждой кодовой комбинации и коды с четным числом единиц.
10101,11001,00111 - с постоянным весом
11000,10111 - с четным числом единиц
Любая ошибка вызовет в 1-м случае изм-е веса единиц, а во 2-м число единиц станет не четным.