, (7.1)

где — число состояний первой подсистемы; — число состояний второй подсистемы; —число состояний слож­ной системы.

Единственным решением полученного функционального уравнения является логарифмическая функция

,

которая определяет количество информации как логарифм числа состояний системы. Основание логарифма опреде­ляет единицу измерения количества информации. В зависи­мости от значенияединицы измерения называются двоич­ными (=2), троичными (=3) и в общем случае-ичными. В дальнейшем под символом будем понимать двоичный логарифм.

Каждое передаваемое слово из букв, записанное в ал­фавите, содержащемN букв, можно рассматривать как отдельное «укрупненное» состояние источника сообщений. Всего таких состояний (слов) будет

. (7.2)

Это информационная емкость, или количество информации в сообщении, характеризующая его потенциальное структурное разнообразие.

Структурная мера (мера Хартли) количества информации определяется

. (8.3)

Выбор основания логарифма несущественен, так как переход от одной системы логарифмов к другой сводится лишь к умножению логарифма с данным основанием на соответствующий множитель. Он равен 1,443 при переходе от натуральных логарифмов к двоичным и 3,32 при переходе от десятичных логарифмов к двоичным. При использовании десятичных логарифмов количество информации определяется в десятичных единицах - дитах. Дитами удобно пользоваться при анализе процессов в приборах, работающих в десятичной системе счисления. При использовании натуральных логарифмов единицей измерения является натуральная единица – нит. В случае использования двоичных логарифмов количество информации измеряется в двоичных единицах - битах.

При =2 за единицу информации принято количество информации, которое содержится в сообщении из одного элемента (=1), принимающего одно из двух равновероятных значений (N=2), т.е. . Эта единица измерения называется «БИТ» (сокращенно от английского термина «binary unit» - двоичная единица).

Итак, количество информации в рассматриваемом случае равно логарифму длиной :

, [бит].

Известно, что всякая информация получается потребителем после принятия сообщения, т.е. в результате опыта. Сообщение, получаемое на приемной стороне, несет полезную информацию лишь в том случае, если имеется неопределенность относительно состояния источника сообщений. Количественной мерой неопределенности ситуации является энтропия. Термин и понятие энтропии по-разному вводится и используется в физике (термодинамике ) и кибернетике (теории информации).

В теории информации энтропия рассматривается как мера неопределённости случайной величины. За количественную меру оценки неопределённости (Н) принимают среднее значение неопределённости появления каждого из возможных сообщений (состояний, событий). Математически отображается в следующем виде:

, бит/символ. (7.4)

При N=1, Н=0, т.е. количество информации в сообщении, элементы которого могут принимать лишь одно значение, равно нулю.

Необходимо отметить, что структурная мера (мера Хартли) количества информации не связана со смыслом передаваемого сообщения (семантикой) и тем влиянием, которое оно может оказать на получателя сообщения.

Пусть, например, информационная емкость некоторой системы равна тысяче: Q=10³, I=log₂10³=3log₂1010 [бит], это значит, что в двоичной системе данное число можно закодировать 10 разрядным числом, т.е. для его описания достаточно 10 бит.