Меры и единицы представления, измерения и хранения информации
Информацией называют сведения о тех или иных объектах, явлениях или процессах в окружающей среде. Любая форма человеческой деятельности и связана с передачей обработкой информации. Она необходима для правильного управления окружающей действительностью, достижения поставленных целей и, в конечном счете - для существования человека. Любая система: социально-экономическая, техническая, или система в живой природе действует в постоянной взаимосвязи с внешней средой – другими системами более высокого и более низкого уровней. Взаимосвязь осуществляется посредством информации, которая передает как команды управления, так и сведения, необходимые для принятия правильных решений. Понятие информации как важнейшего элемента системы, охватывающего все стороны ее жизнедеятельности можно считать универсальным, применимым к любым системам.
Единого научного мнения о количественном смысле понятия "информация" не существует. Разные научные направления дают различные определения исходя из тех объектов и явлений, которые они изучают. Некоторые из них считают, что информация может быть выражена количественно, давая определения количества и объема информации (меры информации), другие ограничиваются качественными толкованиями.
Синтаксическая мера информации
Синтаксическая мера информации используется для количественного выражения обезличенной информации, не выражающей смыслового отношения к объектам.
Объем данных Vд в сообщении измеряется количеством символов в нем. Обычно для указания объема данных считают количество двоичных символов. Двоичный символ может принимать только два различных значения: 1 и 0 (эквивалентно значениям "да" и "нет"). Двоичный символ носит название бит(от слов binarydigit- двоичная цифра). Распространенность двоичной единицы измерения объема объясняется двоичной системой записи чисел, на которой основаны современные компьютеры. Традиционно применяется также байт (byte), равный 8 битам.
Предположим, получатель информации (наблюдатель) дважды принял одно и то же сообщение. Он получил двойной объем данных, но получил ли он двойное количество информации? Интуиция подсказывает, что нет - вторая копия не содержала новых сведений. Информацию, содержащуюся в сообщении, можно трактовать в аспекте того, насколько она была ранее неизвестна и, следовательно, является новой или неожиданной.
Количество информации I определяется через понятие неопределенности состояния (энтропию). Приобретение информации сопровождается уменьшением неопределенности, поэтому количество информации можно измерять количеством исчезнувшей неопределенности.
Пусть в сообщении наблюдателем получены сведения о некоторой части реальности (системе). До принятия сообщения получатель имел некоторые предварительные (априорные) сведения о системе. Мерой его неосведомленности о системе является функция H(), которая в то же время служит и мерой неопределенности состояния системы.
После получения сообщения получатель приобрел в нем информацию I(), уменьшившую его неосведомленность (неопределенность состояния системы) так, что она стала равна H(). Тогда количество информации I() о системе, полученной в сообщении , определится как I() =H() -H() .
Таким образом, количество информации в сообщении измеряется изменением (уменьшением) неопределенности состояния системы после получения сообщения.
Если конечная неопределенность H() обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации I() =H(). Иными словами, энтропия системы H() может рассматриваться как мера информации.
Энтропия системы H(), имеющей N возможных состояний, согласно формуле Шеннона равна
,
где Pi - вероятность того, что система находится в i-м состоянии.
Для
случая, когда все состояния системы
равновероятны, т.е. их вероятности равны
,
энтропия определяется соотношением
.
Часто информация кодируется числовыми кодами в той или иной системе счисления. Одно и то же количество цифр (символов) в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения
N=mn,
где N- число всевозможных отображаемых состояний;
m- основание системы счисления (разнообразие символов, применяемых в алфавите);
n- число символов в сообщении.
Приведем пример. По каналу связи передается n- символьное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций будет N=mn, то при равной вероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет равно
I = log N = n log m.
Эта формула известна как формула Хартли. Если в качестве основания логарифма принять m, то I=n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных I=Vд , полученных по каналу связи. Для не равновероятных состояний системы всегда I<Vд=n.
Наиболее часто логарифм берут по основанию 2. В этом случае количество информации измеряют в битах.
Коэффициент информативности сообщения определяется отношением количества информации к объему данных, т.е.
,
причем 0 <Y< 1 .
C увеличением Y уменьшаются затраты на обработку информации. Поэтому обычно стремятся к повышению информативности.
Семантическая (смысловая) адекватность. Эта форма определяет степень соответствия образа объекта и самого объекта. Семантический аспект предполагает учет смыслового содержания информации. На этом уровне анализируются те сведения, которые отражает информация, рассматриваются смысловые связи. В информатике устанавливаются смысловые связи между кодами представления информации. Эта форма служит для формирования понятий и представлений, выявления смысла, содержания информации и ее обобщения.
Прагматическая (потребительская) адекватность отражает отношение информации и потребителя, соответствие информации цели управления, которая на ее основе реализуется. Прагматические свойства информации проявляются только при наличии единства информации (объекта), пользователя и цели управления. Прагматический аспект рассмотрения связан с ценностью, полезностью использования информации при выработке потребителем решения для достижения своей цели.