114

Вероятностный подход к определению количества информации

мации, называемую битом. Выбор единицы информации не случаен. Он связан с наиболее распространенным двоичным способом ее кодирования при передаче и обработке.

Известно, что количество информации зависит от вероятностей тех или иных исходов события. Если событие, как говорят ученые, имеет два равновероятных исхода, это означает, что вероятность каждого исхода равна 1/2. Такова вероятность выпадения «орла» или «решки» при бросании монеты. Если событие имеет три равновероятных исхода, то вероятность каждого равна 1/3. Следует отметить, что сумма вероятностей всех исходов всегда равна единице: ведь какой-нибудь из всех возможных исходов обязательно наступит.

Событие может иметь и неравновероятные исходы. Так, при футбольном матче между сильной и слабой командами вероятность победы сильной команды велика — например, 4/5. Вероятность ничьей намного меньше, например 3/20. Вероятность же поражения совсем мала.

Количество информации — это мера уменьшения неопределенности некоторой ситуации. Различные количества информации передаются по каналам связи, и количество проходящей информации не может быть больше его пропускной способности. Ее определяют по количеству информации за единицу времени.

21

Единицы измерения информации

Единицы измерения информации

В настоящее время наиболее известны следующие способы измерения информации: объемный, энтропийный, алгоритмический.

Объемный способ измерения информации является простым и грубым способом измерения информации. Соответствующую количественную оценку информации естественно назвать объемом информации.

Объем информации в сообщении — это количество символов в сообщении. Поскольку, например, одно и то же число может быть записано многими разными способами (с использованием разных алфавитов): «двадцать один»; 21; 11001; XXI, то этот способ чувствителен к форме представления (записи) сообщения.

Ввычислительной технике обрабатываемая и хранимая информация вне зависимости от ее природы (число, текст, отображение) представлена в двоичной форме (с использованием алфавита, состоящего всего из двух символов — 0 и 1). Такая стандартизация позволила ввести две стандартные единицы измерения: бит и байт. Байт — это восемь бит.

Втеории информации и кодирования принят энтропийный подход к измерению информации. Этот способ исходит из следующей модели. Получатель информации (сообщения) имеет определенные представления о возможных наступлениях некоторых событий. Эти представления

вобщем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределенности (энтропия) характеризуется некоторой математической зависимостью от совокупности этих вероятностей. Количество информации в сообщении определяется тем, насколько уменьшится эта мера после получения сообщения.

Валгоритмической теории информации (раздел теории алгоритмов) предлагается алгоритмический метод оценки информации в сообщении. Этот метод заключает-

22

Единицы измерения информации

ся в том, что любому сообщению можно приписать количественную характеристику, отражающую сложность (размер) программы, которая позволяет ее произвести.

Существует много разных вычислительных машин и разных языков программирования (разных способов задания алгоритма), и поэтому для определенности задаются некоторой конкретной вычислительной машиной. Предполагаемая количественная характеристика — сложность слова (сообщения) определяется как минимальное число внутренних состояний вычислительной машины, требующихся для его воспроизведения. В алгоритмической теории информации также используются и другие способы задания сложности.

23