Условная энтропия
Если следование символов алфавита не независимо (например, во французском языке после буквы «q» почти всегда следует «u», а после слова «передовик» в советских газетах обычно следовало слово «производства» или «труда»), количество информации, которую несёт последовательность таких символов (а, следовательно, и энтропия), очевидно, меньше. Для учёта таких фактов используется условная энтропия.
Условной энтропией первого порядка (аналогично для Марковской модели первого порядка) называется энтропия для алфавита, где известны вероятностипоявления одной буквы после другой (то есть, вероятности двухбуквенных сочетаний):
где 
—
это состояние, зависящее от предшествующего
символа, и 
—
это вероятность 
при
условии, что
был
предыдущим символом.
Например,
для русского языка без буквы «ё» 
Кодирование и декодирование. Эффективность кодирования.
Кодирование информации — это представление информации с помощью некоторого кода
В теории кодирования — отображение передаваемых данных на кодовые слова.
кодирование – это перевод информации с одного языка на другой (запись в другой системе символов, в другом алфавите)
обычно кодированием называют перевод информации с «человеческого» языка на формальный, например, в двоичный код, а декодированием – обратный переход
один символ исходного сообщения может заменяться одним символом нового кода или несколькими символами, а может быть и наоборот – несколько символов исходного сообщения заменяются одним символом в новом коде (китайские иероглифы обозначают целые слова и понятия)
кодирование может быть равномерное и неравномерное; при равномерном кодировании все символы кодируются кодами равной длины; при неравномерном кодировании разные символы могут кодироваться кодами разной длины, это затрудняет декодирование
Декодирование — процесс, обратный кодированию. Например слово Ыток декодируется (расшифровывается) как Коты, Акжинк - книжка. И т.д.
КОДИРОВАНИЕ И ДЕКОДИРОВАНИЕ процесс представления информации в определенной стандартной форме и обратный процесс восстановления информации по ее такому представлению.
Различают эффективное ( статистическое) и корректирующее ( помехоустойчивое) кодирование. Эффективное кодирование повышает скорость передачи информации и приближает ее к пропускной способности каналов. Теоретической основой построения эффективных кодов служит теорема К. Шеннона: утверждается, что для канала без помех всегда можно создать систему эффективного кодирования дискретных сообщений, у которой среднее количество двоичных кодовых сигналов на один символ сообщения будет приближаться как угодно близко к энтропии источника сообщений. Помехоустойчивое кодирование повышает верность передачи информации путем обнаружения и исправления ошибок. Теоретической основой помехоустойчивого кодирования является другая теорема К. Шеннона: утверждается, что и, для канала с помехами всегда можно найти такую систему кодирования, при которой сообщения будут переданы со сколь угодно большой степенью верности, если только производительность источника не превышает пропускной способности канала.
Оптимальное эффективное кодирование позволяет согласовать источник с каналом и обеспечить наилучшее использование пропускной способности канала. Сущность эффективного кодирования заключается в том, что неравномерное распределение вероятностей появления ( коррелированных символов сообщений с помощью определенным образом выбранного кода переводят в равномерное распределение вероятностей появления независимых кодовых символов. Рассмотрим оптимальное эффективное кодирование сообщений источников без памяти и с памятью.