Основные разделы теории кодирования
Кодирование дискретных источников – рассматривает вопросы выбора представления информации, её структурирования, сжатия без потерь. То есть рассматриваются вопросы кодирования для идеальных каналов без шума.
Кодирование информации для передачи по каналу с шумом– исследуются вопросы, связанные с защитой информации от модификации и искажения при ее передаче по каналам связи в присутствии помех.
Кодирование с заданным критерием качества– направление связано с допустимыми искажениями сообщений, при которых основная информация не теряется и не претерпевает заметных и ощутимых искажений. Очевидным является, например то, что аналоговая информация не может быть представлена в цифровом виде без искажений. Данное направление призвано найти компромисс между качеством представления информации и затратами на ее хранение и передачу.
Кодирование информации для систем со многими пользователями– затрагивает вопросы взаимодействия абонентов использующих какой-либо общий ресурс, например физическую среду передачи данных. Классическим примером можно считать мобильные системы связи с множественным доступом.
Секретная связь, криптографическое кодирование– рассматриваются вопросы защиты информации от несанкционированного доступа, в основном при ее передачи по отрытым каналам связи общего пользования.
Информация, энтропия, избыточность
Оценка количества информации
В теории информации выделяются три основных направления: структурное, статистическое, семантическое.
Структурное - рассматривает дискретное строение массивов информации и их измерение простым подсчетом информационных элементов. (Простейшее кодирование массивов - комбинаторный метод.)
Статистическое направление оперирует понятием энтропии как меры неопределенности, то есть здесь учитывается вероятность появления тех или иных сообщений.
Семантическое направление учитывает целесообразность, ценность или существенность информации.
Эти три направления имеют свои определенные области применения. Структурное используется для оценки возможностей технических средств различных систем переработки информации, независимо от конкретных условий их применения. Статистические оценки применяются при рассмотрении вопросов передачи данных, определении пропускной способности каналов связи. Семантические используются при решении задач построения систем передачи информации разработки кодирующих устройств и при оценке эффективности различных устройств.
Структурные меры информации
Структурные меры учитывают только дискретное строение информации. Элементами информационного комплекса являются кванты - неделимые части информации. Различают геометрическую, комбинаторную и аддитивную меры.
Определение информации геометрическим методом представляет собой измерение длины линии, площади или объема геометрической модели информационного комплекса в количестве квантов. Максимально возможное число квантов в заданных структурных габаритах определяет информационную емкость системы. Информационная емкость есть число, указывающее количество квантов в полном массиве информации. Согласно рис. 1.2, г, количество информации М в комплексе X(T,N), определенное геометрическим методом, равняется
М= 
,
где 
; 
; 
;
Х, Т, N - интервалы, через которые осуществляются дискретные отсчеты.
В комбинаторной мере количество информации вычисляется как количество комбинаций элементов. Здесь учитываются возможные или реализованные комбинации.
Во многих случаях дискретное сообщение
можно рассматривать как слово, состоящее
из некоторого количества элементов n, заданных
алфавитом, состоящим из т элементов-букв.
Определим количество различных сообщений,
которые можно образовать из данного
алфавита. Если сообщение состоит из
двух элементов (п=2), то всего может
быть 
различных
сообщений. Например, из десяти цифр (0,
1, 2,..., 9) может быть образовано сто
различных чисел от 0 до 99. Если количество
элементов равно трем, то количество
различных сообщений равно 
и
т.д.
Таким образом, число возможных сообщений определяется:
L= 
,
где L - число сообщений; п - число элементов в слове; т - алфавит.
Чем больше L,
тем сильнее может отличаться каждое
сообщение от остальных. Величина L может
быть принята в качестве меры количества
информации. Однако выбор L в
качестве меры количества информации
связан с неудобствами: во-первых, при L =1
информация равна нулю, поскольку заранее
известен характер сообщения (т.е.
сообщение есть, а информация равна
нулю); во-вторых, не выполняется условие
линейного сложения количества информации,
т.е. условие аддитивности. Если, например,
первый источник характеризуется 
различными
сообщениями, а второй - 
,
то общее число различных сообщений для
двух источников определяется произведением
L= 
.
Для k источников общее число возможных различных сообщений равно
L= 
.
Поэтому Хартли ввел логарифмическую (аддитивную) меру количества информации, позволяющую оценивать количество инфомации, содержащейся в сообщении, логарифмом числа возможных сообщений.
I= 
.
Тогда при L=1 I=0, т.е. информация отсутствует.
Для k источников информации
I= 
,
т.е. I= 
.