Измерение информации. Математическое понятие информации

Информация, используемая человеком, очень часто нуждается в измерении, в определении ее количества. Так вот математическое понятие информации как раз и связано с ее измерением.

В теории информации принят энтропийный подход, который устанавливает ценность информации, содержащейся в сообщении для его получателя, и исходит из следующей модели. Получатель сообщения имеет представление о возможности наступления некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределенности, называемая энтропией, характеризуется некоторой математической зависимостью от совокупности этих вероятностей.

Количеством информации называют числовую характеристи­ку сигнала, отражающую ту степень неопределенности (неполно­ту знаний), которая исчезает после получения сообщения в виде данного сигнала. (Эта мера неопределенности в теории информа­ции и есть энтропия.) Если в результате получения сообщения достигается полная ясность в каком-то вопросе, говорят, что была получена полная или исчерпывающая информация и необходимо­сти в получении дополнительной информации нет. И, наоборот, если после получения сообщения неопределенность осталась преж­ней, значит, информации получено не было (нулевая информация).

Информация всегда имеет конкретное смысловое значение, ко­торое связано с ее потребителем (в том числе потенциальным). Другими словами, субъективные характеристики потребителя ин­формации определяют количество полезной (семантической) ин­формации, и в одном и том же сообщении для разных потребите­лей будет содержаться различное количество информации.

В то же время с точки зрения статистических характеристик информация имеет количественную меру, абстрагированную от ее смысла играющую важную роль при оценке (измерении) объемов инфор­мации в различных сферах ее применения.

С некоторой условностью единицы измерения информации мож­но разделить на две группы: немашинные и машинные.

Немашинные измерители позволяют представить количество информации с помощью, например, количества форм документов, количества показателей, количества слов и т.д.

Чтобы получить представление о количестве информации в кни­ге, переводимой с иностранного языка на русский, обычно подсчи­тывают общее количество знаков на одной странице. Для представ­ления объема информации, который приходится перерабатывать бухгалтеру, можно подсчитать количество документов, поступаю­щих к нему из цехов и отделов, и т.д.

Однако такие единицы количества информации не позволяют представить ее нам с позиций возможностей ЭВМ. Поэтому в технике часто используют более простой и грубый объемный способ измерения информации. Он основан на подсчете числа символов в сообщении, т.е. связан с длиной сообщения и не учитывает его содержания. Объемы информации, подлежащие обработке, оказывают значи­тельное влияние на выбор методов и технических средств обра­ботки, трудоемкость процесса перевода решения задач на ЭВМ. Забегая вперед, надо отметить, что и оперативная и внешняя память современ­ных компьютеров хотя и может достигать колоссальных размеров, имеет предел. Это зна­чит, что, обрабатывая на машине информацию, следует соизмерять ее объемы с объемами машинной памяти.

Сделать это позволяют машинные единицы измерения информации. Коли­чество информации в ЭВМ принято измерять в битах.

Бит – это минимальная единица количества информации в ЭВМ, принимающая значение 0 или 1(или равная одному двоич­ному разряду).

Определенное количество бит составляет размер других единиц.

Группа из 8 битов информации называется байтом. Если бит –минимальная единица информации, то байт – ее основная еди­ница. С помощью одного байта можно представить любую букву алфавита, цифру и специальный символ (.,:;+ –< > и т.д. ), т.е. в одном байте можно кодировать один символ из 256 возмож­ных на ЭВМ.

Для измерения количества информации используются и более крупные единицы:

1 машинное слово = 4 байт = 32 бит;

1 Кбайт (килобайт) = 2'°байт = 1024 байт;

1 Мбайт (мегабайт) =2'° Кбайт = 1024 Кбайт;

1 Гбайт (гигабайт) = 2¹⁰ Мбайт = 1024Мбайт. Эти единицы чаще всего используются для указания объема памяти компьютера.