19 Статистическое кодирование. Кодирование алфавита источника информации кодом Фано-Шеннона и Хаффмена. Избыточность, коэффициент сжатия и информативность сообщений.
Если отдельные буквы алфавита или их комбинации встречаются в тексте чаще других или имеются взаимосвязи м/у элементами, сообщением, то кол-во инф. во всем сообщении приходящейся на одну букву уменьшается. В этих случаях, как правило, можно передать содержимое в сообщении меньшим числом букв.
Наличие в сообщении большего числа букв, чем это минимально необходимо для передачи содерж. в них кол-ва информации – избыточность.
Чем больше избыточность сообщения, тем относительно меньшая доля возможных сообщений является разрешенной и большее число ошибок может быть обнаружено и исправлено.
Численная избыточность определяется относительной разностью максимально возможной и реальной энтропией.
где
Он показывает на сколько можно сжать кодовую комбинацию или сообщение уменьшая число букв в нем, чтобы исключить имеющуюся избыточность.
,
где n- кол-во букв в сообщении
nH- кол-во информации в этом сообщении
Hmax=
- наибольшее кол-во информации, которая
может нести буква в n-буквенном
сообщении.
n’=nH/ - число букв N-буквенного алфавита минимально необходимых для переноса информации.
Отсюда kсж=H/ =n’/n – отношение min необходимого числа букв к числу букв, содержащихся в сообщении или кодовой комбинации.
E=1- kсж=1-
n’/n=
Избыточность измеряется отношением лишних букв к их общему числу в сообщении.
Статистическое кодирование используется для исключения избыточности сообщений, обусловленной не равновероятностью элементов.
Уменьшение избыточности сообщений – сжатие.
Фано-Шеннон:
1Символы первичного алфавита m1 выписывают в порядке убывания вероятностей.
2Символы полученного алфавита делят на две части, суммарные вероятности символов которых максимально близки друг другу.
3В префиксном коде для первой части алфавита присваивается двоичная цифра «0», второй части – «1».
4Полученные части рекурсивно делятся и их частям назначаются соответствующие двоичные цифры в префиксном коде.
Хаффмен:
Символы входного алфавита образуют список свободных узлов. Каждый лист имеет вес, который может быть равен либо вероятности, либо количеству вхождений символа в сжимаемое сообщение.
Выбираются два свободных узла дерева с наименьшими весами.
Создается их родитель с весом, равным их суммарному весу.
Родитель добавляется в список свободных узлов, а двое его детей(потомков) удаляются из этого списка.
Одной дуге, выходящей из родителя, ставится в соответствие бит 1, другой — бит 0.
Шаги, начиная со второго, повторяются до тех пор, пока в списке свободных узлов не останется только один свободный узел. Он и будет считаться корнем дерева.
20 Помехоустойчивое кодирование. Повышение верности в одностороннем и двустороннем каналах передачи.
Помехи м. б. аддитивными и мультипликативными и возникать в каналах под воздействием различных факторов.
Аддитивные – появляются в каналах проводных линий связи от влияния электротяги, влияния со стороны других || идущих цепей связи. Их снижение достигается скруткой, экранированием цепей линии связи, применением компенсационных методов.
Мерами борьбы с мультипликат. помехами на проводных линиях явл-ся применение автоматического регулирования уровня.
Критерием качества передачи служит вер-ть ошибочной передачи.
Помехоустойчивым-возможности практически безошибочной передачи сообщений по каналам, в кот-х отд. элементы передаются с ошибками.
Повышение верности в одностороннем канале:
введение в сообщение избыточности, обеспечивающей исправление ошибок в пункте приема. Простейшее и наименее эффект-й формой явл. многократное повторение сообщения.
Пусть необходимо передать по каналу с ошибками кодовую комб. Если ее передать 3 раза, а в пункте приема поэлементно сравнить рез-ты приема трех передач, то использую мажоритарное декодирование можно исправить ошибки в отд. элементах,
Повышение верности в двустороннем канале:
орг-я канала с обратной связью повторением
Сообщение вводится в память перед-й станции и перед-ся по каналам на приемную станцию, где также записыв-ся в памяти. Принятое и записанное сообщение перед-ся затем обратно на перед-ю станцию, где решающее устр-во поэлементно сравнивает повторное сообщение и переданное, удерживаемое в памяти передатчика. Если расхождений нет – перед-ся сигнал «правильно»
Если при сравн-и обнар-ся расхождение, то пер-ся сигнал «неправильно», по которому очищается память приемной станции и сообщение пер-ся повторно.
орг-я канала с обратной связью с перебросом
Сообщение вводится в память перед-й станции и перед-ся по прямому каналу на приемную станцию, где также записыв-ся в памяти. Сообщение д. Перед-ся избыточным кодом, допускающим обнаружение ошибок.
Решающее устр-во приемной станции проверяет принятую кодовую комбинацию. Если ошибок не обнар-ся сообщение выдается получателю и на перед-ю станцию посыл-ся сигнал «понято», по которому очищается память перед-й станции. Если обнар-ся ошибка, то по сигналу «повторить» очищается память приемной станции и сообщение сохраненное в памяти перед-й станции перед-ся повторно.