3)Количество информации. Единицы измерения информации.

Количество и единицы измерения информации.

Количеством информации называют числовую характеристику сигнала, отражающую ту степень неопределенности (неполноту знаний), которая исчезает после получения сообщения в виде данного сигнала. Эту меру неопределенности в теории информации называют энтропией. Если в результате получения сообщения достигается полная ясность в каком-то вопросе, говорят, что была получена полная или исчерпывающая информация и необходимости в получении дополнительной информации нет. И, наоборот, если после получения сообщения неопределенность осталась прежней, значит, информации получено не было (нулевая информация).

Приведенные рассуждения показывают, что между понятиями информация, неопределенность и возможность выбора существует тесная связь. Так, любая неопределенность предполагает возможность выбора, а любая информация, уменьшая неопределенность, уменьшает и возможность выбора. При полной информации выбора нет. Частичная информация уменьшает число вариантов выбора, сокращая тем самым неопределенность.

Определить понятие “количество информации” довольно сложно. В решении этой проблемы существуют два основных подхода. Исторически они возникли почти одновременно. В конце 40-х годов XX века один из основоположников кибернетики американский математик Клод Шеннон развил вероятностный подход к измерению количества информации, а работы по созданию ЭВМ привели к “объемному” подходу.

Вероятностный подход

Подход к информации как мере уменьшения неопределенности знаний позволяет количественно измерять информацию, что чрезвычайно важно для информатики. Рассмотрим вопрос об определении количества информации более подробно на конкретных примерах.

Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдет одно из двух возможных событий — монета окажется в одном из двух положений: «орел» или «решка».

Можно говорить, что события равновероятны, если при возрастающем числе опытов количества выпадений «орла» и «решки» постепенно сближаются. Например, если мы бросим монету 10 раз, то «орел» может выпасть 7 раз, а решка — 3 раза, если бросим монету 100 раз, то «орел» может выпасть 60 раз, а «решка» — 40 раз, если бросим монету 1000 раз, то «орел» может выпасть 520 раз, а «решка» — 480 и так далее.

В итоге при очень большой серии опытов количества выпадений «орла» и «решки» практически сравняются.

Перед броском существует неопределенность наших знаний (возможны два события), и, как упадет монета, предсказать невозможно. После броска наступает полная определенность, так как мы видим (получаем зрительное сообщение), что монета в данный момент находится в определенном положении (например, «орел»). Это сообщение приводит к уменьшению неопределенности наших знаний в два раза, так как до броска мы имели два вероятных события, а после броска — только одно, то есть в два раза меньше.

Объемный подход

В двоичной системе счисления знаки 0 и 1 будем называть битами (от английского выражения Binary digiTs – двоичные цифры). Создатели компьютеров отдают предпочтение именно двоичной системе счисления, потому что в техническом устройстве наиболее просто реализовать два противоположных физических состояния. Например: некоторый физический элемент, имеющий два различных состояния: намагниченность в двух противоположных направлениях; прибор, пропускающий или нет электрический ток; конденсатор, заряженный или незаряженный и т.п. В компьютере бит является наименьшей возможной единицей информации. Объем информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации, подсчитывается просто по количеству требуемых для такой записи двоичных символов. При этом, в частности, невозможно нецелое число битов (в отличие от вероятностного подхода).

Группа из 8 битов информации называется байтом. Если бит — минимальная единица информации, то байт ее основная единица. Существуют производные единицы информации: килобайт (кбайт, кб), мегабайт (Мбайт, Мб) и гигабайт (Гбайт, Гб).

1 кб = 1024 байта = 210 (1024) байтов. 1 Мб = 1024 кбайта = 220 (1024 х 1024) байтов.

1 Гб = 1024 Мбайта = 230 (1024 х 1024 х 1024) байтов.

Эти единицы чаще всего используют для указания объема памяти ЭВМ.

Между вероятностным и объемным количеством информации соотношение неоднозначное. Далеко не всякий текст, записанный двоичными символами, допускает измерение объема информации в кибернетическом смысле, но заведомо допускает его в объемном. Далее, если некоторое сообщение допускает измеримость количества информации в обоих смыслах, то они не обязательно совпадают, при этом кибернетическое количество информации не может быть больше объемного.

В компьютерной технике используется двоичная система счисления. Ее выбор определяется реализацией аппаратуры ЭВМ (электронными схемами), в основе которой лежит использование двоичного элемента хранения данных – триггера. Он имеет два устойчивых состояния (~ вкл., выкл.), условно обозначаемых как 0 и 1 и способен хранить минимальную порцию данных равную 1 биту. Бит выступает в качестве элементарной единицы количества или объема хранимой (передаваемой) информации безотносительно к ее содержательному смыслу. Если взять n триггеров, то количество всевозможных комбинаций нулей и единиц в них равно 2ⁿ. Формально появление 0 или 1 в ячейке можно рассматривать как равновероятные исходы событий, тогда, применив формулу Хартли I = log₂ 2ⁿ = n, можно сделать вывод, что в nтриггерах можно хранить n бит информации. Количество информации в 1 бит является слишком малой величиной, поэтому наряду с единицей измерения информации 1 бит, используется более крупная единица1 байт, 1байт =8 бит =2³ бит. В компьютерной технике наименьшей адресуемой единицей является 1 байт. В настоящее время в компьютерной технике при хранении и передаче информации используются в качестве единиц объема хранимой (или передаваемой) информации более крупные единицы: 1 килобайт (1 Кбайт) = 2¹⁰ байт = 1024 байт,  1 мегабайт (1 Мбайт) = 2¹⁰ Кбайт = 1024 Кбайт = 2²⁰ байт,  1 гигабайт (1 Гбайт) = 2¹⁰ Мбайт=1024 Мбайт = 2³⁰ байт,  1 терабайт (1 Тбайт) = 2¹⁰ Гбайт = 1024 Мбайт = 2⁴⁰ байт,  1 петабайт (1 Пбайт) = 2¹⁰ Тбайт = 1024 Тбайт = 2⁵⁰ байт. 1 экзабайт = 210 Пбайт =2⁶⁰ байт.  В битах, байтах, килобайтах, мегабайтах и т.д. измеряется также потенциальная информационная ёмкость оперативной памяти и запоминающих устройств, предназначенных для хранения данных (жесткие диски, дискеты, CD-ROM и т.д.).