Алфавитный подход

Основан на том, что всякое сообщение можно закодировать с помощью конечной последовательности символов некоторого алфавита. Носителями информации являются любые последовательности символов, которые хранятся, передаются и обрабатываются с помощью компьютера. Информативность последовательности символов не зависит от содержания сообщения, а определяется минимально необходимым количеством символов для ее кодирования. Алфавитный подход является объективным, т.е. он не зависит от субъекта, воспринимающего сообщение. Смысл сообщения учитывается на этапе выбора алфавита кодирования либо не учитывается вообще. На первый взгляд определения Шеннона и Колмогорова кажутся разными, тем не менее, они хорошо согласуются при выборе единиц измерения.

При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.

Применение алфавитного подхода удобно прежде всего при использовании технических средств работы с информацией. В этом случае теряют смысл понятия «новые – старые», «понятные – непонятные» сведения. Алфавитный подход является объективным способом измерения информации в отличие от субъективного содержательного подхода.

Обычно под алфавитом понимают только буквы, но в данной ситуации туда включают также знаки препинания, цифры, скобки и пробел, т.е. пропуск между словами.

Полное количество символов алфавита принято называть мощностью алфавита.

Пример

Посчитать количество информации на одной странице книги.

Пусть страница содержит 50 строк. В каждой строке – 60 символов. Значит, на странице умещается 50x60=3000 знаков. Тогда объем информации будет равен: 5,755 х 3000 = 17265 бит.

При алфавитном подходе к измерению информации количество информации зависит не от содержания, а от размера текста и мощности алфавита.

Вероятностный подход

Определяет количественную связь между вероятностью появления некоторого события (р) и количеством информации в сообщении о наступлении этого события, учитывающую возможную неодинаковую вероятность сообщений в наборе:

i = log₂(1/p).

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. следующую формулу определения количества информации:

I = – ( p₁log₂ p₁ + p₂ log₂ p₂ + . . . + p_N log₂ p_N),

где p_i – вероятность наступления i – го события из набора, в котором может быть N событий.

Стоит заметить, что при равных вероятностях p₁, ..., p_N, каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.

 

Пример

В коробке 50 шаров: 40 белых и 10 черных. Определить количество информации в сообщении о том, что при первой попытке выбран черный шар.

Вероятность попадания при выборе черного шара p = 10/50 = 0,2.

Количество информации

i = log₂(1/0,2) = log₂5=2,32.

Единицы измерения информации

Решая различные задачи, человек вынужден использовать информацию об окружающем нас мире. И чем более полно и подробно человеком изучены те или иные явления, тем подчас проще найти ответ на поставленный вопрос. Так, например, знание законов физики позволяет создавать сложные приборы, а для того, чтобы перевести текст на иностранный язык, нужно знать грамматические правила и помнить много слов.

 Количество информации зависит от новизны сведений об интересном для получателя информации явлении. Иными словами, неопределенность (т.е. неполнота знания) по интересующему нас вопросу с получением информации уменьшается. Если в результате получения сообщения будет достигнута полная ясность в данном вопросе (т.е. неопределенность исчезнет), говорят, что была получена исчерпывающая информация. Если после получения сообщения неопределенность осталась прежней (сообщаемые сведения или уже были известны, или не относятся к делу), значит, информации получено не было (нулевая информация).

Информационный объем сообщения (информационная емкость сообщения) – количество информации в сообщении, измеренное в битах, байтах или производных единицах (Кбайтах, Мбайтах и т.д.)

 В информатике часто используется величина, называемая байтом (byte) и равная 8 битам. И если бит позволяет выбрать один вариант из двух возможных, то байт, соответственно, 1 из 256 (2⁸). В большинстве современных ЭВМ при кодировании каждому символу соответствует своя последовательность из восьми нулей и единиц, т. е. байт. Соответствие байтов и символов задается с помощью таблицы, в которой для каждого кода указывается свой символ. Так, например, в широко распространенной кодировке Koi8-R буква "М" имеет код 11101101, буква "И" – код 11101001, а пробел – код 00100000.

 Наряду с байтами для измерения количества информации используются более крупные единицы:

1 Кбайт (один килобайт) = 2¹⁰ байт = 1024 байта;

1 Мбайт (один мегабайт) = 2¹⁰ Кбайт = 1024 Кбайта;

1 Гбайт (один гигабайт) = 2¹⁰ Мбайт = 1024 Мбайта.

В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:

1 Терабайт (Тб) = 1024 Гбайта = 2⁴⁰ байта,

1 Петабайт (Пб) = 1024 Тбайта = 2⁵⁰ байта.