Министерство образования Российской Федерации

КАЗАНСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ

УНИВЕРСИТЕТ им. А.Н. Туполева

И.С. Ризаев, С.А. Ляшева, М.П. Шлеймович

Теория информации Учебное пособие

Казань 2006

УДК 681.325

Ризаев И.С., Ляшева С.А., Шлеймович М.П. Теория информации: Учебное пособие. - Казань: КГТУ (КАИ), Кафедра АСОИУ, 2006 – 87с.

Представлены основные сведения по разделам теории информации и кодирования. Пособие состоит из пяти разделов, посвященных информационным характеристикам источников сообщений, пропускной способности каналов связи, кодированию информации, сжатию данных и построению корректирующих кодов. Каждый раздел содержит краткие теоретические сведения, вопросы для самопроверки, упражнения и задания к выполнению лабораторных работ.

Пособие предназначено для студентов, обучающихся по направлению “Информатика и вычислительная техника” очного, очнозаочного (вечернего) и дистанционного обучения (прилагается электронный диск).

Введение

Предметом теории информации является изучение процессов передачи, хранения, преобразования и использования информации.

Датой возникновения теории информации считается появление в 1948г. работ Клода Шеннона «Математическая теория связи» и «Связь при наличии шума». Благодаря этим работам теория информации сразу представлена как стройное, логическое построение. После 1948г. теория информации стала объектом интенсивных исследований многих ученых.

Что такое информация? В философском плане  информация есть отражение реального мира. В узком практическом плане  информация есть, сведения являющиеся объектом хранения, передачи и преобразования. Существует много слов близких к понятию информации: знания, показания, сведения. Информацией мы будем называть лишь те сведения, которые уменьшают неопределенность, существующую до их поступления. Само слово информация происходит от латинского «информировать» что в обычном смысле означает «сообщить нечто неизвестное раньше». Поэтому с теорией информации тесно связано понятие неопределенности. В теории информации рассматриваются любые события, в результате которых уменьшается, уничтожается, исчезает неопределенность.

Степень уменьшения неопределенности в результате передачи сообщения называется количеством информации. В общем случае формула степени неопределенности имеет вид: H=log₂n, где n число возможных состояний системы. При полном снятии неопределенности количество полученной информации будет равняться энтропии: I=H. В словесном выражении формула звучит так: количество сведений минимально необходимых для устранения неопределенности равно двоичному логарифму числа возможных выборов. Например, если число выборов составляет n, то это равносильно информации даваемой k ответами типа “да” или “нет” на вопросы поставленные так, что “да” и “нет” одинаково вероятны: k=log₂n.

1. Информационные характеристики источников сообщений

1. Энтропия как мера неопределенности физической системы

Сведения являющиеся объектом хранения, передачи и преобразования, называются информацией. Мера измерения количества информации основана на понятии энтропии. Энтропия - это мера степени неопределенности состоянии системы Х (случайной величины) с конечным или счетным числом исходов.

Что означает неопределенность и как ее измерить?

Пример 1.1. Пусть имеются две системы: первая система – игральная кость (имеет 6 состояний), вторая система – монета (имеет 2 состояния).

Спрашивается: состояние какой системы труднее предугадать (неопределенность какой системы больше)? Естественно неопределенность первой системы выше. Значит, степень неопределенности системы зависит от числа возможных ее состояний. Однако число состояний не является исчерпывающей характеристикой степени неопределенности.

Покажем это на примере для систем с двумя устойчивыми состояниями. Пусть имеются 2 монеты М₁ и М₂ (у монеты имеется два возможных состояния: орёл 0 и решка Р):

М1	0	Р		М2	0	Р
Рi	0,5	0,5		Рi	0,999	0,001

Р_i – вероятности нахождения монет в состоянии орел или решка.

Нетрудно заметить, что неопределённость этих двух систем будет различной. Неопределенность первой системы больше, так как из таблицы видно, что вторая монета практически постоянно находится в состоянии орел. Первая же монета неизвестно в каком находится состоянии, она с равной вероятностью может находиться или в состоянии орел или в состоянии решка.

Таким образом, мы видим, что степень неопределенности определяется также и вероятностями состояний системы. В качестве меры априорной неопределенности теория информации предлагает энтропию.

Энтропия по Шеннону равна сумме произведений вероятностей состояний системы на логарифмы этих вероятностей, взятых с обратным знаком:

, (1.1)

где X = (x₁, x₂, … x_i,… x_n) – множество возможных состояний системы X, принимаемых элементами с вероятностями p(x₁), p(x₂),…p(x_i),… p(x_n),

n  число возможных состояний. При этом должно соблюдаться условие нормировки:

В формуле 1.1 основание логарифма может быть двоичным, десятичным или натуральным. Если используется двоичное основание, то оно может быть опущено. При двоичном основании энтропия измеряется в двоичных единицах или битах. Формула (1.1) может быть представлена и в следующем виде:

(1.2)

Энтропия характеризует среднее значение и представляет собой математическое ожидание от log p, то есть H(X)=M[log p(x)].

Рассмотрим свойства энтропии:

1. Энтропия есть величина вещественная, ограниченная и неотрицательная: Н≧0.

Это свойство следует из выражения (1.2).

Рассмотрим одно слагаемое p_klog p_k. При изменении p_k от нуля до единицы это положительное вещественное слагаемое изменяется от нуля, достигает максимума при p_k= , затем снова спадает до нуля (см.рис.1.1).

Рис.1.1. График зависимости H_k от p_k

В самом деле, устремляя p_k к нулю, получаем

, если произвести замену

то получим следующую формулу: то есть слагаемое обращается в нуль, когда p_k=0. Если p_k=1, то log p_k=0 и слагаемое также равно нулю: p_klog p_k=0.

Максимальное значение определим из условия:

 log p_ke =0. Отсюда p_k e =1; Подставим в H_k

Максимальное значение равно 0,531.

2. Энтропия минимальна и равна нулю, если хотя бы одно из состояний системы достоверно известно: H = H_min = 0.

Пусть система имеет три состояния, и вероятности этих состояний будут равны: p₁ = p₂ = 0, p₁ = 1. Тогда

3. Энтропия максимальна и равна логарифму числа состояний, если состояния системы равновероятны:

H=H_max= log n (1.3)

При

4. Энтропия бинарных величин изменяется от 0 до 1.

Пусть p₁=p; p₂=(1-p); Тогда H= - plog p – (1-p) log(1-p);

При

Энтропия равна нулю, когда вероятность одного из состояний равна нулю, затем возрастает и достигает максимума при p=0.5, то есть когда p₁=p₂=0.5. При этом неопределенность сообщений при приеме наибольшая.

Основание логарифма может быть выражено в двоичных, десятичных или натуральных единицах. В случае оценки энтропии в двоичных единицах основание может быть опущено:

Вычисление энтропии можно упростить, если ввести специальную функцию η(p)= , тогда H(x)=Σ η(p).

Для вычисления энтропии с помощью данной функции имеются специально составленные таблицы (см. табл. приложения 2).