1.4. Количество информации

Информация имеет вполне определенную количественную характеристику  число М состояний неопределенности, устраняемое сообщением.

В ЭВМ осуществляется двоичное кодирование информации т.е. каждому состоянию неопределенности ставится в соответствие двоичное число, передаваемое в сообщении. Количество М, чисел, включая ноль, которые можно записать в k разрядах двоичного числа равно

M = N ^k = 2 ^k (2)

М — это количество состояний неопределенности, которое можно закодировать, используя k разрядов. Например, в трех разрядах k = 3 двоичного числа может содержаться одно из следующих кодов чисел: S₂  [000, 001, 010, 011, 100, 101, 110, 111]. Здесь 8 кодов, так как по формуле (2) М = 2³ = 8.

Рассмотрим первый пример кодирования не числовой информации. Получатели сообщения - родители ждут сообщения от сына - поступил он в институт или нет. Цель этого сообщения - устранить неопределенность о поступлении или о непоступлении. В этом примере число состояний неопределенности равно двум (М = 2): поступил (кодируется нулем) или не поступил (кодируется единицей). Количество разрядов, требуемое для хранения двух состояний, определим по формуле (2). Так как 2 = 2¹, то k = 1.

Рассмотрим второй пример кодирования не числовой информации. Для ПК международным стандартом является система кодирования символов ASCII (American Standard Code for Information Interchange  американский стандартный код информационного обмена), созданная в 1963 году. В системе ASCII предусмотрено 128 различных символов букв английского алфавитов (заглавные и строчные), цифры, знаков препинания, математических и других символов. Еще 128 различных символов предусмотрено для кодирования символов других (не английских) национальностей. Для русского языка эти символы определены какой-либо одной из следующих кодовых таблиц: Windows 1251, КОИ-8, ISO, ГОСТ-альтернативная и другие (устаревшие). Таким образом, алфавит компьютера состоит из 256 различных символов. Получатель информации (центральный процессор) «не знает», какой символ из 256 возможных захочет ввести пользователь. Количество состояний неопределенности М = 256. Из формулы (2) следует, что требуемое число разрядов k = 8, так как 256 = 2⁸. Для кодирования К символов количество информации требуется К байт (К*8 бит).

Разработан и внедряется международный стандарт UNICODE, в соответствии с которым компьютер способен формировать 16536 различных символов. Для кодирования любого из 16538 символов требуется 16 бит, так как 16536 = 2¹⁶. Начиная с Microsoft Word 2000 возможен ввод символов, соответствующих всем перечисленным выше стандартам.

Из формулы ( 2 ) следует формула:

(3)

Из приведенных выше примеров кодирования информации и из формулы (3) видно, что чем большую неопределенность (энтропию) информации М устраняет сообщение, тем больше требуется бит k для его передачи. Поэтому число k, определяемое по формуле ( 3 ), является мерой количества информации. Один бит соответствует минимально-возможному числу состояний неопределенности (типа ДА - НЕТ; Поступил - не поступил;...).

Один бит является единицей измерения количества информации.

Из формулы (3) следует, что увеличение (уменьшение) количества информации k на один бит соответствует увеличению (уменьшению) числа состояний неопределенности М в два раза.

Определим, какое количество информации несет сообщение, написанное на русской пишущей машинке, имеющей 54 клавиши с буками и цифрами.

Здесь М = 54. Из формулы ( 3 ) следует: бит.

В этом примере количество информации выражается дробным числом. Это значит, что для передачи такого сообщения пяти разрядов двоичного числа мало, так как М = 2⁵ = 32 < 54 и нужно использовать шесть разрядов, хотя шестью разрядами можно было бы закодировать до М = 2⁶ = 64 состояний неопределенности.

Из последнего примера следует, что количество информации может выражаться как целым, так и дробным числом бит, а объем памяти  только целым числом бит (так как число разрядов целое). Объем памяти  это максимальное количество информации, которое в ней можно разместить. Так же как объем сосуда — это максимальное количество жидкости, которое в него может быть налито.

Формулу (3) получил американский инженер Хартли в 20-х годах прошлого века. Эта формула предполагает, что все М состояний неопределенности (сообщений в наборе) равновероятны. Формула определения количества информации, учитывающая возможную неодинаковую вероятность сообщений в наборе, определяется по формуле Шеннона. Из формулы Шеннона следует, что энтропия М максимальна, если события в наборе равновероятны.

Существуют более крупные единицы количества информации и объема памяти. Это: - байт: 1 байт = 2 ³ бит = 8 бит;

- килобайт: 1 Кбайт = 2¹⁰ байт = 1024 байт;

- мегабайт: 1 Мбайт = 2¹⁰ Кбайт = 1024 Кбайт;

- гигабайт: 1 Гбайт = 2¹⁰ Мбайт = 1024 Мбайт.

Один байт требуется для кодирования в системе ASCII одного символа ПЭВМ (см. второй пример кодирования информации). Поэтому, чтобы передать сообщение в виде текста из F символов потребуется F байт.

КОНТРОЛЬНЫЕ ВОПРОСЫ:

1. Меры информации

2. Количество информации

3. Системы счисления