Меры информации

Информацию можно рассматривать с нескольких сторон: синтаксической, семантической и прагматической. Информацию, рассматриваемую с синтаксических позиций, обычно называют данными, так как при этом не имеет значения смысловая сторона. На синтаксическом уровне учитываются формально-структурные характеристики информации. Семантический аспект предполагает учет смыслового содержания закодированных сообщений для формирования понятий и представлений. Прагматическая сторона информации отражает отношение информации и ее потребителя и характеризуется полезностью (ценностью) информации при достижении поставленной пользователем цели. ЭВМ оперирует с абстрактной информацией, поэтому интерес представляет синтаксический аспект информации. В качестве меры информации используют объем данных и количество информации.

Объем данных V_g измеряется количеством символов, разрядов в сообщении. В различных системах счисления один разряд имеет различный вес и, соответственно, меняется единица измерения данных:

• в десятичной системе счисления – дит;

• в двоичной системе счисления – бит (англ. bit – binary digit – двоичная цифра).

В качестве единицы информации Клод Шеннон предложил принять  один  бит. Бит – наименьшая единица измерения информации. На практике чаще применяется более крупная единица –  байт,  равная  восьми битам. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256 = 2⁸). Широко используются также более крупные производные единицы информации:

1 Килобайт (Кбайт) = 1024 байт = 2¹⁰ байт;

1 Мегабайт (Мбайт) = 1024 Кбайт = 2²⁰ байт;

1 Гигабайт (Гбайт) = 1024 Мбайт = 2³⁰ байт;

1 Терабайт (Тбайт) = 1024 Гбайт = 2⁴⁰ байт;

1 Петабайт (Пбайт) = 1024 Тбайт = 2⁵⁰ байт.

Получение информации всегда связано с уменьшением разнообразия или неопределенности. Поэтому для определения количества информации необходимо установить количественную меру снятой неопределенности. Американский инженер Р. Хартли в 1928 году процесс получения информации рассматривал как выбор одного сообщения из конечного наперед заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N. Формула Хартли имеет вид:

I = log₂N.

Эта формула удовлетворяет следующим естественным условиям:

• при N = 1 (нет неопределенности) количество информации I = 0;

• с увеличением возможностей выбора, то есть числа возможных сообщений N, мера информации I монотонно возрастает.

Исходя из этого понятия бит  – наименьшая единица измерения количества информации, равная количеству информации, содержащемуся в опыте, имеющем два равновероятных исхода.

Американский ученый Клод Шеннон предложил в 1948г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе событий. Формула Шеннона имеет вид:

I = – = – (p₁log₂p₁ + p₂log₂p₂ + . . . + p_Nlog₂p_N),

где p_i – вероятность того, что получено именно i-е сообщение в наборе из N сообщений. Меру неопределенности выбора сообщения из набора в N сообщений называют энтропией.

Если события равновероятны, то вероятности p₁, ..., p_N равны между собой и каждая из них равна . Подставив значение p в формулу Шеннона, получим:

I = – = .

Таким образом, если сообщения независимы и равновероятны, формула Шеннона преобразуется в формулу Хартли. На практике количество информации всегда меньше или равно объему данных.