1.3 Кодирование информации. Мера информации

Под кодом понимают совокупность знаков(символов) предназначенных для представления информации в соответствии с определенными правилами. Процесс представления информации с помощью специальных знаков (кодов) называют кодированием. Кодируют информацию с целью ее передачи, хранения, преобразования. Под алфавитом языка кодирования понимают совокупность предназначенных для кодирования символов-знаков. В информатике и вычислительной технике широко используется алфавит, имеющий два знака. Такой алфавит называют двоичным. Знаками двоичного алфавита кодирования могут являться цифры – 0,1, слова – символы алфавита: да, нет; истина, ложь, состояние устройства: включено, выключено. В соответствии с этим введена и наименьшая единица информации –разряд (бит) (англ. Bit, от binary – двоичный, digit – знак).

Одного разряда информации достаточно, чтобы передать слово «да» или «нет», либо, например, закодировать состояние электроприбора (или лампочки) «включено» - «выключено». Сообщение о том, что прибор включен содержит 1 бит информации.

Попробуем закодировать состояние светофора в двоичном алфавите, одним разрядом (битом) уже не обойтись, так как у светофора может гореть один из трех цветов: красный, желтый, зеленый, следовательно, необходимо для кодировки использовать два бита. Возможен такой вариант кодировки: красный – 00,желтый – 01, зеленый –10. Такие наборы битов называют двоичными словами. Для передачи сообщения о состоянии светофора необходимо более одного бита информации.

Если закодировать семь цветов радуги, то потребуется 3 бита информации, например, красный – 000, желтый – 001, голубой – 010 и т.д., а сообщение о том какой цвет из семи выбран содержит более двух бит информации.

При кодировании каких-либо восьми объектов потребуется также три бита. Сообщение о том, что выбран один из восьми объектов содержит три бита информации.

В настоящее время получили распространение подходы к определению понятия «количество информации» (или информационный объём сообщения), основанные на том, что информацию, содержащуюся в сообщении, можно нестрого трактовать в смысле ее новизны, или, иначе, уменьшения неопределенности наших знаний об объекте.

Рассмотренные примеры позволяют сделать вывод, что чем больше необходимо закодировать альтернатив, тем больше для этого потребуется разрядов (бит).

Американский инженер З. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперед заданного множества из N равновероятных сообщений, а количество информации I, содержащейся в выбранном сообщении, определял по формуле:

Формула Хартли

I=log₂N.

Отсюда следует, что 2^I=N.

Рассмотрим пример: допустим, нужно угадать число из набора целых чисел от нуля до 63. В соответствии с формулой Хартли количество информации в сообщении о том, какое число угадано равно I=log₂64=6 бит.

Формула Хартли определяет длину двоичного слова (I), которое требуется для кодирования N равновероятных сообщений (объектов, состояний, событий).

Такой подход для определения количества информации назвали вероятностным. Рассмотрим с этой точки зрения формулу Хартли.

Пусть N – число равновероятных событий. Поскольку вероятности появления событий равны, то можно записать р= , следовательно N= . Исходя из этого, запишем формулу Хартли в следующем виде:

I=log₂N=log₂(1/p)=-log₂p.

Следует учесть, что не все события могут быть равновероятны. Для такого рода задач американский ученый Клод Шеннон в 1948г. предложил формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Формула Шеннона.

I_ср=-(p₁log₂p₁+p₂log₂p₂+…p_Nlog₂p_N),

где р_i – вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.

К. Шеннон назвал полученную величину энтропией. Обозначают, как правило, буквой Н. Впервые понятие энтропии было введено в 1865г. немецким физиком Рудольфом Клаузиусом как функции состояния термодинамической системы, определяющей направленность самопроизвольных процессов в системе.

Энтропия обладает следующими свойствами:

• энтропия всегда неотрицательна, так как значения вероятностей выражаются величинами, не превосходящими единицу, а их логарифмы − отрицательными числами или нулём;

• энтропия равна нулю в том крайнем случае, когда одно из p_i равно единице, а все остальные равны нулю;

• энтропия имеет наибольшее значение, когда все вероятности равны между собой;

• энтропия объекта АВ, состояния которого образуются совместной реализацией состояний А и В, равна сумме энтропий исходных объектов А и В.

Если все события равновероятны и статистически независимы, то оценки количества информации по Хартли и Шеннону совпадают (полное использование информационной ёмкости системы). В случае неравных вероятностей количество информации по Шеннону, меньше информационной ёмкости системы. Максимальное значение энтропии достигается при р = 0.5, когда два состояния равновероятны. При р = 0 или р = 1, что соответствует полной невозможности или полной достоверности события, энтропия равна нулю. Количество информации только тогда равно энтропии, когда неопределённость ситуации снимается полностью. В общем случае можно считать, что количество информации есть уменьшение энтропии вследствие опыта или какого – либо другого акта познания. Наибольшее количество информации получается тогда, когда полностью снимается неопределённость, причём эта неопределённость была наибольшей.

Практически одновременно такие же исследования по теории передачи информации велись в СССР. Например, в том же 1948 г. вышла работа советского математика А.Н. Колмогорова «Математическая теория передачи информации».

Помимо рассмотренных подходов к определению количества информации существуют и другие. Например, структурная мера информации. В структурном аспекте рассматривается строение массивов информации и их измерение простым подсчетом информационных элементов или комбинаторным методом.

Итак, в качестве единицы информации условились принять один бит. Это, то количество информации, которое необходимо для различения двух равновероятных событий. В вычислительной технике бит (разряд) – это наименьший объем памяти, необходимый для хранения одного из двух чисел «0» или «1».

На практике применяется более крупная единица измерения – байт. Отметим, что байт – это наименьшая адресуемая единица информации. Для современных ЭВМ 1 байт = 8 битам.

Широко используются еще более крупные единицы информации:

1 Килобайт(Кбайт)=1024 байт=2¹⁰ байт

1 Мегабайт(Мбайт)=1024 Кбайт=2²⁰ байт

1 Гигабайт(Гбайт)=1024 Мбайт=2³⁰ байт

1 Терабайт(Тбайт)=1024 Гбайт=2⁴⁰ байт

1 Петабайт(Пбайт)=1024 Тбайт=2⁵⁰ байт.

Не следует путать понятия «количество» информации и «объем» информации. Поясним на примере различие этих понятий. Два ученика набирали в текстовом редакторе сочинение. Количество страниц у них получилось одинаковым. Но один ученик изложил свои мысли, а второй заполнил все листы символом «*». Объем информации в этих двух сочинениях одинаков, а вот количество информации различно. Страницы, заполненные символом «*» не несут никакой информации.

Рассмотрим практический пример использования формулы Хартли.

Задача 1.

В корзине с фруктами лежит 8 яблок, 6 груш и 2 персикa. Какое количество информации содержит сообщение о том, что из корзины случайно взяли одно яблоко, либо одну грушу, либо один персик?

Решение.

Определим количество фруктов в корзине: N=8+6+2=16.

Для каждого из событий «взять яблоко», взять «грушу», взять «персик» определим его вероятность:

р₁=8/16 =1/2 - вероятность события «случайно взять яблоко»;

р₂=6/16=3/8 – случайно взять грушу;

р₃=2/16=1/8 – случайно взять персик.

Для решения задачи воспользуемся формулой: I=log(1/p). Подставим в формулу вероятности событий, получим:

I₁=-log₂(1/2)=1

I₂=-log₂(3/8)=1.415

I₃=-log₂(1/8)=3 .

Ответ: I₁=1 бит, I₂=1.415 бит, I₃= 3 бита.

Задача 2.

В коробке лежит 16 шариковых ручек. Ручки либо с синей пастой, либо с черной пастой. Сообщение о том, что вынули ручку с синей пастой, несет 2 бита информации. Определить, сколько в коробке ручек с синей пастой.

Дано: N=16;

Ic=2 бита.

Найти: количество ручек с синей пастой.

Решение.

Пусть х – искомое число синих ручек.

Определим вероятность того, что вынута синяя ручка: р=х/16.

Воспользовавшись формулой I=log₂(1/p), найдем х.

I=log2(1/p)  2=log₂(1/p)  2²=16/x x=4.

Ответ: в коробке 4 синих ручки.