24. Энтропия. Виды энтропии. Взаимная энтропия.
Пусть ансамбли Х и Y относятся соответственно к передаваемому и принимаемому сообщениям. Различия между Х и Y обуславливаются искажениями в процессе передачи сообщений под воздействием помех.
При отсутствии помех различий между ансамблями Х и Y не будет, а энтропии передаваемого и принимаемого сообщений будут равны: Н(Х) = Н(Y).
Воздействие помех оценивают условной энтропией НY(X). Поэтому получаемое потребителем количество информации на один элемент сообщения равно: Е(Х,Y) = Н(Х) –НY(X)
Величину Е(Х,Y) называют взаимной энтропией.
Если ансамбли Х и Y независимы, то это означает, что помехи в канале привели к полному искажению сообщения, т.е. НY(X) = Н(Х), а получаемое потребителем количество информации на один элемент сообщения:Е(Х,Y)=0.
Если Х и Y полностью зависимы, т.е. помехи в канале отсутствуют, то НY(X) = 0 и Е(Х,Y) = H(Y).
Так как НY(X) = Н(Х,Y) – H(Y), то Е(Х,Y) = H(X) + H(Y) – H(X,Y), или
.
25. Энтропия. Виды энтропии. B-арная энтропия
В общем
случае b-арная
энтропия (где b равно 2, 3, …)
источника 
с исходным
алфавитом 
и
дискретным распределением
вероятности 
где 
является
вероятностью
(
),
определяется формулой:
Примеры
Тринарная энтропия
При бросании
трёхгранного (b = 3) «чижа»,
тринарная энтропия источника («чижа»)
с
исходным алфавитом (цифры на гранях
трёхгранного «чижа») 
и
дискретным равномерным распределением
вероятности (сечение «чижа»
— равносторонний треугольник, плотность
материала «чижа»
однородна по всему объёму
«чижа») 
где
является
вероятностью
(
)
равна
трит.
Тетрарная энтропия
При бросании
четырёхгранного (b = 4) «чижа»,
тетрарная энтропия источника («чижа»)
с
исходным алфавитом (цифры на гранях
четырёхгранного «чижа») 
и
дискретным равномерным распределением
вероятности (поперечное сечение «чижа»
— квадрат, плотность материала «чижа»
однородна по всему объёму
«чижа») 
где
является
вероятностью
(
),
равна:
тетрит.
26. Энтропийное кодирование.
Энтропийное кодирование — кодирование последовательности значений с возможностью однозначного восстановления с целью уменьшения объёма данных (длины последовательности) с помощью усреднения вероятностей появления элементов в закодированной последовательности.
Предполагается, что до кодирования отдельные элементы последовательности имеют различную вероятность появления. После кодирования в результирующей последовательности вероятности появления отдельных символов практически одинаковы (энтропия на символ максимальна).
Различают несколько вариантов кодов:
Сопоставление каждому элементу исходной последовательности различного числа элементов результирующей последовательности.
Чем больше вероятность появления исходного элемента, тем короче соответствующая результирующая последовательность. Примером могут служить код Шеннона — Фано, код Хаффмана,
Сопоставление нескольким элементам исходной последовательности фиксированного числа элементов конечной последовательности.
Примером является код Танстола.
Другие структурные коды, основанные на операциях с последовательностью символов.
Примером является кодирование длин серий.
Если приблизительные характеристики энтропии потока данных предварительно известны, может быть полезен более простой статический код, такой как унарное кодирование, гамма-код Элиаса, код Фибоначчи, код Голомба или кодирование Райса.
Согласно теореме Шеннона, существует предел сжатия без потерь, зависящий от энтропии источника. Чем более предсказуемы получаемые данные, тем лучше их можно сжать. Случайная независимая равновероятная последовательность сжатию без потерь не поддаётся.