19. Определение и сущность двоичной единицы изменения информации.
если n – число возможных сообщений, то неопределенность, приходящаяся на одно сообщение, определяется логарифмом общего числа возможных сообщений: H = log n;
если существуют два независимых источника, которые содержат n1 и n2 возможных сообщений, то общее число возможных сообщений n = n1 n2, а неопределенность сложного опыта , состоящего из двух независимых опытов и с количествами равновероятных исходов n1 и n2, измеряется величиной:
Н() = log (n1 n2) = log n1 + log n2 = Н() + Н().
В приведенных выражениях для определения количества информации логарифмирование можно производить по любому основанию, однако наиболее удобно (и в настоящее время общепринято) использовать логарифмы по основанию два. В дальнейшем изложении данное условие не будет специально оговариваться, и везде будут использоваться логарифмы двоичные.
При n = 2 приходим к единице измерения неопределенности H = log2 2 = 1, получившей название двоичной единицы или бит (bit) «binary unit» или в компьютерной интерпретации – «binary digit» – двоичный разряд. Иными словами, двоичная единица – есть единица измерения степени неопределенности, представляющая неопределенность, которая содержится в одном опыте, имеющем два равновероятных исхода.
Так как в двоичной системе счисления каждый разряд числа с равной вероятностью может принимать значения 0 или 1, то соответственно и количество информации, приходящееся на один двоичный разряд (двоичную цифру), оказывается равным 1 биту.
20. Единицы измерения информации
В качестве единицы информации условились принять один бит (англ. bit - binary, digit - двоичная цифра).
Бит в теории информации - количество информации, необходимое для различения двух равновероятных сообщений.
Одним битом могут быть выражены два понятия: 0 или 1 (да или нет, черное или белое, истина или ложь и т.п.).
Увеличивая на единицу количество разрядов в системе двоичного кодирования, мы увеличиваем в два раза количество значений, которое может быть выражено в данной системе, то есть общая формула имеет вид:
где N - количество независимых кодируемых значений; m - разрядность двоичного кодирования, принятая в данной системе.
Бит - слишком мелкая единица измерения. На практике чаще применяется более крупная единица - байт, равная восьми битам.
Широко используются также ещё более крупные производные единицы информации:
В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:
21. Условная и безусловная энтропия
Безусловная энтропия см. выше.
Пусть осуществляется два опыта и β, характеризующиеся следующими вероятностями исходов (табл. 2 и 3).
Таблица 2
Вероятности исходов опыта
Исходы опыта |
А1 |
А2 |
… |
Ai |
… |
An |
Вероятности исходов |
PA1 |
PA2 |
… |
PAi |
… |
PAn |
Таблица 3