Федеральное агентство по образованию

Государственное образовательное учреждение

высшего профессионального образования

«Сибирский государственный индустриальный университет»

Кафедра прикладной информатики

Кодирование информации

Рекомендации к выполнению лабораторной работы по дисциплине «Информатика»

Специальности: Электромеханика (140601)

Электропривод и автоматика промышленных установок и технологических комплексов (1406040)

Электрооборудование и электрохозяйство предприятий, организаций и учреждений (140610)

Промышленная электроника (210106)

Новокузнецк 2010

УДК 004.22(07)

К577

Рецензент:

кандидат технических наук доцент Кожемяченко В.И.

Кафедра информационных технологий в металлургии ГОУ ВПО СибГИУ (Зав. кафедрой д.т.н., проф. В.П. Цымбал)

К577 Кодирование информации: метод. указ. / сост. В.В. Терехин; СибГИУ. – Новокузнецк, 2010. – 33 с.

Приведены основы измерения количества и объёма информации, методы двоичного кодирования данных, в том числе целых и вещественных чисел, символьной информации, графических изображений. На примерах показано применение изложенной теории.

Предназначена для студентов специальностей: Электромеханика (140601), Электропривод и автоматика промышленных установок и технологических комплексов (1406040), Электрооборудование и электрохозяйство предприятий, организаций и учреждений (140610), Промышленная электроника (210106), а также может быть рекомендована для студентов других специальностей.

Цель работы

Изучить на практике методы двоичного кодирования данных различного типа, а также методы измерения объёма и количества информации. Кроме того, в работе приведены некоторые сведения о способах создания графических изображений и методы расчёта объёма графической информации.

Измерение информации

Количественная характеристика информации - это объём данных в сообщении V_д, который измеряется количеством символов (разрядов) в этом сообщении. Здесь под сообщением мы будем понимать любую последовательность знаков любой природы.

Запись числа - это сообщение. В различных системах счисления один разряд такого числа имеет различный вес и соответственно меняется единица измерения объёма данных:

• в двоичной ПСС единица измерения – бит (один двоичный разряд, значение которого – 1 или 0);

• в десятичной ПСС единица измерения – дит (один десятичный разряд).

Например, сообщение в виде восьмиразрядного двоичного кода 10011010 имеет объём данных V_д = 8 бит. Другой пример, сообщение в виде шестиразрядного десятичного числа 234 678 имеет объём данных V_д = 6 дит.

Количество информации I, согласно вероятностному подходу, определяется через понятие неопределенность состояния системы – энтропия системы или информационная энтропия системы – функция Н. Действительно, получение информации о какой-либо системе всегда связано с изменением степени неосведомлённости получателя о состоянии этой системы. Тогда количество информации измеряется уменьшением неопределенности состояния системы.

Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе. Мерой его неосведомленности о системе является функция Н, которая в тоже время служит и мерой неопределенности состояния системы. После получения некоторого сообщения  получатель приобрел некоторую дополнительную информацию I, уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения) неопределенность состояния системы стала Н_. Тогда количество информации I о системе, полученной в сообщении , определится как

I = Н - Н_ , (1)

то есть количество информации измеряется уменьшением неопределенности состояния системы. Если конечная неопределенность Н_ обратится в нуль, то первоначальное неполное знание после сообщения  заменится полным знанием, а количество информации - I = Н. Иными словами, энтропия системы Н может рассматриваться как мера недостающей информации.

В дальнейшем мы будем считать, что неопределённость состояния системы равна нулю после получения сообщения. Энтропия системы Н, имеющей N возможных состояний, согласно формуле Шеннона, равна количеству информации I, полученному в сообщении:

, (2)

где P_i – вероятность того, что система находится в i-ом состоянии. Эта величина также называется средней энтропией сообщения, уменьшающего неопределённость в состоянии системы до нуля. Выбор основания логарифма в (2) определяется соображениями удобства. Вероятность можно определять как отношение благоприятных исходов к общему количеству исходов в результате некоторого опыта.

Пример. Пусть при бросании несимметричной четырехгранной пирамидки вероятности выпадения отдельных граней будут равны:

Р₁ = 1/2, р₂ = 1/4, р₃ = 1/8, р₄ = 1/8.

Тогда количество информации, которое мы получим после реализации одного события из 4-х, можно рассчитать по формуле (2):

I = -(l/2 log₂l/2 + l/4 log₂l/4 + l/8 log₂l/8 + l/8 log₂l/8) =

= (1/2 + 2/4 + 3/8 + 3/8) битов = 14/8 битов = 1.75 бита.

Для случая, когда все состояния системы равновероятны, то есть их вероятности равны P_i = 1/N, количество информации в сообщении, однозначно определяющем состояние системы, даётся соотношением

. (3)

Это формула Хартли. Он рассматривал процесс получения информации как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений. По-другому, эту формулу можно трактовать как количество информации, полученное при выборе одного предмета (варианта) из N равнозначных предметов (вариантов).

Пример. Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log₁₀100 =2 дит или log₂100 = 6,644бит. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 бит информации.

Приведем другие примеры равновероятных сообщений:

1. При бросании монеты: "выпала решка", "выпал орел".

2. На странице книги: "количество букв чётное", "количество букв нечётное".

Другой пример. В корзине лежит 16 шаров разного цвета. Сколько информации несет сообщение, что достали белый шар? Так как N = 16,  то  I = log₂ N = log₂ 16 = 4 бит.

Часто информация передаётся в виде числовых или символьных сообщений. Пусть N – число всевозможных сообщений длиною n символов; m – основание системы счисления или разнообразие символов, применяемых в алфавите этого сообщения (количество знаков в алфавите). Тогда количество всевозможных сообщений такого рода будет

N = mⁿ . (4)

Здесь мы предполагаем, что в любой из n позиций, возможно появление любого из m символов алфавита с равной вероятностью. Тогда, количество информации, приобретенное абонентом, будет равно

I = log N = n log m . (5)

Если в качестве основания логарифма принять m, то I = n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему полученных данных I = V_д . Для не равновероятных состояний всегда

I < V_д = n.

Наиболее часто в этих формулах используются двоичные или десятичные логарифмы. Единицами измерения количества информации в этих случаях будет бит или дит.

Пример. Алфавит второго племени содержит в 8 раз больше символов, чем алфавит первого племени. Оба племени обменялись приветствиями одинаковой длины. В приветствии второго племени на 30 байт информации больше, чем в приветствии первого. Сколько символов в каждом приветствии?

Решение. Предположим, что алфавит первого племени содержит m символов, а приветствие содержит Х символов. Тогда алфавит второго племени содержит 8m знаков. Согласно условию и формулам (4)-(5), количество информации в приветствии первого племени, равно

I₁ = log₂ N₁ = log₂ m^Х бит.

Следовательно, приветствие второго племени содержит количество информации, равное

I₂ = log₂ N₂ = log₂ (8m)^Х бит.

Так как в приветствии второго племени количество информации больше на 30 байт, чем в приветствии первого, то можно записать:

I₂ - I₁ = log₂ (8m)^Х - log₂ m^Х = 30∙8 бит.

Следовательно, мы получили уравнение

log₂ (8m)^Х - log₂ m^Х = 240

или

Х∙log₂ (8m) -Х∙ log₂ m = Х∙log₂ 8 + Х∙log₂ m -Х∙ log₂ m = Х∙log₂ 8 = 240.

Его решение: Х= 80 символов.