1.2 Меры и единицы представления, измерения и хранения информации

Информацией называют сведения о тех или иных объектах, явлениях или процессах в окружающей среде. Любая форма человеческой деятельности связана с передачей и обработкой информации. Она необходима для правильного управления окружающей действительностью, достижения поставленных целей и в конечном счете - для существования человека. Любая система: социально-экономическая, техническая, или система в живой природе действует в постоянной взаимосвязи с внешней средой – другими системами более высокого и более низкого уровней. Взаимосвязь осуществляется посредством информации, которая передает как команды управления, так и сведения, необходимые для принятия правильных решений. Понятие информации как важнейшего элемента системы, охватывающего все стороны ее жизнедеятельности можно считать универсальным, применимым к любым системам.

Единого научного мнения о количественном смысле понятия "информация" не существует. Разные научные направления дают различные определения исходя из тех объектов и явлений, которые они изучают. Некоторые из них считают, что информация может быть выражена количественно, давая определения количества и объема информации (меры информации), другие ограничиваются качественными толкованиями.

рис. 1.2. Классификация меры информации

Синтаксическая мера информации

Синтаксическая мера информации используется для количественного выражения обезличенной информации, не выражающей смыслового отношения к объектам.

Объем данных V_д в сообщении измеряется количеством символов в нем. Обычно для указания объема данных считают количество двоичных символов. Двоичный символ может принимать только два различных значения: 1 и 0 (эквивалентно значениям "да" и "нет"). Двоичный символ носит название бит (от слов binary digit - двоичная цифра). Распространенность двоичной единицы измерения объема объясняется двоичной системой записи чисел, на которой основаны современные компьютеры. Традиционно применяется также байт (byte), равный 8 битам.

Предположим, получатель информации (наблюдатель) дважды принял одно и то же сообщение. Он получил двойной объем данных, но получил ли он двойное количество информации? Интуиция подсказывает, что нет - вторая копия не содержала новых сведений. Информацию, содержащуюся в сообщении, можно трактовать в аспекте того, насколько она была ранее неизвестна и, следовательно, является новой или неожиданной.

Количество информации I определяется через понятие неопределенности состояния (энтропию). Приобретение информации сопровождается уменьшением неопределенности, поэтому количество информации можно измерять количеством исчезнувшей неопределенности.

Пусть в сообщении наблюдателем получены сведения о некоторой части реальности (системе). До принятия сообщения получатель имел некоторые предварительные (априорные) сведения  о системе. Мерой его неосведомленности о системе является функция H(), которая в то же время служит и мерой неопределенности состояния системы.

После получения сообщения  получатель приобрел в нем информацию I_(), уменьшившую его неосведомленность (неопределенность состояния системы) так, что она стала равна H_(). Тогда количество информации I_() о системе, полученной в сообщении , определится как I_() = H() - H_() .

Таким образом, количество информации в сообщении измеряется изменением (уменьшением) неопределенности состояния системы после получения сообщения.

Если конечная неопределенность H_()обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации I_() = H(). Иными словами, энтропия системы H() может рассматриваться как мера информации.

Энтропия системы H(), имеющей N возможных состояний, согласно формуле Шеннона равна

,

где P_i - вероятность того, что система находится в i-м состоянии.

Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны ,

энтропия определяется соотношением

.

Часто информация кодируется числовыми кодами в той или иной системе счисления. Одно и то же количество цифр (символов) в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения

N = mⁿ ,

где N - число всевозможных отображаемых состояний;

m - основание системы счисления (разнообразие символов, применяемых в алфавите);

n - число символов в сообщении.

Приведем пример. По каналу связи передается n - символьное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций будет N = mⁿ , то при равной вероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет равно I = log N = n log m.

Эта формула известна как формула Хартли. Если в качестве основания логарифма принять m, то I = n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных I = V_д , полученных по каналу связи. Для неравновероятных состояний системы всегда I < V_д = n.

Наиболее часто логарифм берут по основанию 2. В этом случае количество информации измеряют в битах.

Коэффициент информативности сообщения определяется отношением количества информации к объему данных, т.е.

, причем 0 < Y < 1 .

C увеличением Y уменьшаются затраты на обработку информации. Поэтому обычно стремятся к повышению информативности.