1.3. Информация, измерение информации

Понятие информации является основополагающим понятием компьютерных наук.

Информация содержится везде и во всем. Любая деятельность человека представляет собой процесс сбора и переработки информации и принятие на ее основе решений. С появлением вычислительной техники информация стала выступать в качестве одного из важнейших ресурсов научно-технического прогресса.

С понятием информации связаны такие понятия, как сигнал, сообщение, данные.

Сигнал (от латинского словаsygnum –знак) представляет собой любой процесс, несущий информацию.

Сообщение– это информация, представленная в определенной форме и предназначенная для передачи.

Данные– это информация, представленная в формализованном виде и предназначенная для обработки ее техническими средствами, например, компьютера.

Понятие о количестве информации

Количеством информацииназывают числовую характеристику сигнала (процесса несущего информацию), отражающую тустепень неопределенности(неполноту знаний), которая исчезнет после получения сообщения в виде данного сигнала. Эту меру неопределенности в теории информации называютэнтропией.

Если в результате получения сообщения достигается полная ясность, в каком то вопросе, говорят, что была получена полная или исчерпывающая информация и необходимости в получении дополнительной информации нет. И наоборот, если после получения сообщения неопределенность осталась прежней, значит, информации получено не было (нулевая информация).

Эти рассуждения показывают, что между понятиями информация,неопределенностьивозможность выборасуществует тесная связь. Так любая неопределенность предполагает возможность выбора, а любая информация, уменьшающая неопределенность уменьшает возможность выбора. При полной информации выбора нет. Частичная информация уменьшает число вариантов выбора, сокращая тем самым неопределенность.

Пример 1.(Классический) Человек бросает монету и наблюдает, какой стороной она упадет. Так как обе стороны монеты равноправны и любая сторона может выпасть одинаково вероятно, то такой ситуации приписывается изначальнаянеопределенностьхарактеризуемая двумявозможностями. После того как монета упадет, достигается полная ясность, и неопределенность исчезает (становится равной нулю). Если сторонний человек, не знающий как упала монета, захочет узнать это, то ему потребуется задать всего один вопрос на который можно получить полный ответ. Этот пример относится к событиям, применительно к которым может быть поставлен вопрос типа «да - нет».

Количество информации, которое можно получить при ответе на вопрос типа «да - нет», называетсябитом (bit – binary digit – двоичная единица). Бит – минимальная единица количества информации, и получить информацию меньшую, чем 1 бит, невозможно. При полученииинформациив 1 битнеопределенностьуменьшается в 2 раза.

Пример 2.Имеется колода игральных карт для игры в преферанс (отсутствуют все шестерки), т.е. 32 карты. Задумывается одна из карт. Необходимо, задавая вопросы типа «да - нет» угадать задуманную карту.

Первый вопрос: «Задумана карта черной масти?»

Ответ: Например «Нет» уменьшил неопределенность ровно вдвое, и принес отгадывающему 1 битинформации.

Второй вопрос: «Задумана карта бубновой масти?»

Ответ: Например «Да» уменьшил неопределенность еще вдвое, т.е. исходная неопределенность уменьшилась уже в четыре раза, и принес отгадывающему еще 1 битинформации.

Третий вопрос: «Задумана карта - картинка?»

Ответ: Например «Да» уменьшил неопределенность еще вдвое, и принес отгадывающему еще 1 битинформации.

Четвертый вопрос: «Задумана дама или валет?»

Ответ: Например «Нет» уменьшил неопределенность еще вдвое, и принес отгадывающему еще 1 битинформации.

Пятый вопрос: «Задуман туз?»

Ответ: Например «Нет» уменьшил неопределенность еще вдвое, и принес отгадывающему еще 1 пятый битинформации.

Окончательный ответ - задуман король бубновой масти.

Следовательно, чтобы получить полную информацию о любой из задуманных карт, пришлось задать пять вопросов, и каждый ответ давал один бит информации, т.е. в сообщении о любой из задуманных карт будет содержаться пять бит информации.

Число возможных состояний системы, характеризующейся количеством информации в 1 бит, равно двум (орел – орешка).

Число возможных состояний системы, характеризующейся количеством информации в 5 бит, равно 32 (32 карты в колоде).

Связь между количеством информации в сообщении о системе и числом состояний системы (или числом равновероятных событий в системе) устанавливается формулой американского инженера Хартли, предложенной им еще в 28 году ХХ века:

n = log ₂ N или N=2ⁿ, (1)

где n– количество информации в битах;

N- Число возможных состояний системы;

Если все состояния системы равновероятны, то формула Хартли записывается иначе:

I = -log ₂ 1/N

или

I = -log ₂ p

где р – вероятность данного состояния равная 1/N.

И так информация, содержащаяся в сообщении, измеряется количеством бит в этом сообщении. Группа из 8 битов информации называется байтом.

Если бит – минимальная единица информации, то байт основная единица, применяемая в компьютере.

Так как компьютер оперирует информацией в виде данных, т. е. информацией, представленной в формализованном виде и предназначенной для обработки, то эти данные имеют определенный формат, который, конечно же, определяется еще в процессе ее проектирования. Так, например, персональный компьютер имеет определенный формат числовых данных, символьных, видеоизображений, цветовую гамму, звуковые данные.

Формат числовых данных это целые числа и вещественные. От количества байт (бит) информации которые, выделяются для числа, зависит какое максимальное число, мы можем обрабатывать в этом формате.

Так, например:

1 байт (8 бит) может содержать целые числа не более 255;

Из формулы (1) число возможных состояний системы величиной 8 бит (1 байт) N= 2ⁿ= 2⁸= 256. т. е. один байт может содержать числа от 0 до 255, всего 256 значений (состояний системы).

2 байта (16 бит) могут содержать целые числа не более 65535.

В общем случае максимальное целое число, которое может храниться в компьютере в определенном количестве бит определяется по простой формуле:

N = 2^n-1-1,

где N– целое число со знаком,

n– Количество бит, выделенных под число.

Несколько вопросов для самопроверки:

1. Сколько бит нужно выделить, чтобы задать цвет точки на экране дисплея.

2. Сколько бит необходимо для вывода цветной точки на определенное место экрана дисплея, при условии, что экран имеет размер 800х600 точек, цветовая гамма 16,8 млн. цветов.

3. Сколько бит необходимо для воспроизведения звука, слышимого человеческим ухом.