25. Энтропия. Виды энтропии. B-арная энтропия
В общем
случае b-арная энтропия (где b равно
2, 3, …) источника 
с исходным
алфавитом 
и
дискретным распределением
вероятности 
где 
является
вероятностью
(
),
определяется формулой:
Примеры
Тринарная энтропия
При бросании
трёхгранного (b = 3) «чижа»,
тринарная энтропия источника («чижа»)
с
исходным алфавитом (цифры на гранях
трёхгранного «чижа») 
и
дискретным равномерным распределением
вероятности (сечение «чижа»
— равносторонний треугольник, плотность
материала «чижа»
однородна по всему объёму
«чижа») 
где
является
вероятностью
(
)
равна
трит.
Тетрарная энтропия
При бросании
четырёхгранного (b = 4) «чижа»,
тетрарная энтропия источника («чижа»)
с
исходным алфавитом (цифры на гранях
четырёхгранного «чижа») 
и
дискретным равномерным распределением
вероятности (поперечное сечение «чижа»
— квадрат, плотность материала «чижа»
однородна по всему объёму
«чижа») 
где
является
вероятностью
(
),
равна:
тетрит.
26. Энтропийное кодирование.
Энтропийное кодирование — кодирование последовательности значений с возможностью однозначного восстановления с целью уменьшения объёма данных (длины последовательности) с помощью усреднения вероятностей появления элементов в закодированной последовательности.
Предполагается, что до кодирования отдельные элементы последовательности имеют различную вероятность появления. После кодирования в результирующей последовательности вероятности появления отдельных символов практически одинаковы (энтропия на символ максимальна).
Различают несколько вариантов кодов:
Сопоставление каждому элементу исходной последовательности различного числа элементов результирующей последовательности.
Чем больше вероятность появления исходного элемента, тем короче соответствующая результирующая последовательность. Примером могут служить код Шеннона — Фано, код Хаффмана,
Сопоставление нескольким элементам исходной последовательности фиксированного числа элементов конечной последовательности.
Примером является код Танстола.
Другие структурные коды, основанные на операциях с последовательностью символов.
Примером является кодирование длин серий.
Если приблизительные характеристики энтропии потока данных предварительно известны, может быть полезен более простой статический код, такой как унарное кодирование, гамма-код Элиаса, код Фибоначчи, код Голомба или кодирование Райса.
Согласно теореме Шеннона, существует предел сжатия без потерь, зависящий от энтропии источника. Чем более предсказуемы получаемые данные, тем лучше их можно сжать. Случайная независимая равновероятная последовательность сжатию без потерь не поддаётся.
27. Пропускная способность дискретного канала.
Математически
канал задается множеством допустимых
сообщений на входе, множеством допустимых
сообщений на выходе и набором условных
вероятностей 
получения
сигнала 
на
выходе при входном сигнале 
.
Условные вероятности описывают
статистические свойства "шумов"
(или помех), искажающих сигнал в процессе
передачи. В случае, когда 
при 
и 
при 
,
канал называется каналом без
"шумов". В соответствии со
структурой входных и выходных сигналов
выделяют дискретные и непрерывные
каналы. В дискретных каналах сигналы
на входе и выходе представляют собой
последовательность символов одного
или двух (по одному для входа и
выхода) алфавитов. В непрерывных
каналах входной и выходной
сигналы представляют собой функции от
непрерывного параметра-времени. Бывают
также смешанные или гибридные каналы,
но тогда обычно рассматривают их
дискретные и непрерывные компоненты
раздельно. Далее рассматриваются только
дискретные каналы.
Способность
канала передавать информацию
характеризуется числом - пропускной
способностью или емкостью
канала (обозначение - 
).
Для случая канала без шума формула расчета емкости канала имеет вид
где 
-
число всех возможных сигналов за время 
.
Наибольшая возможная в данном канале скорость передачи информации называется его пропускной способностью. Пропускная способность канала есть скорость передачи информации при использовании «наилучших» (оптимальных) для данного канала источника, кодера и декодера, поэтому она характеризует только канал.
Пропускная способность дискретного (цифрового) канала без помех
C = log(m) бит/символ
где m — основание кода сигнала, используемого в канале. Скорость передачи информации в дискретном канале без шумов (идеальном канале) равна его пропускной способности, когда символы в канале независимы, а все m символов алфавита равновероятны (используются одинаково часто).