2. Если система, имеет n равновероятных состояний, то очевидно, что с увеличением числа состояний энтропия возрастает, но гораздо медленнее, чем число состояний.

3. Если система а имеет n возможных состояний, то энтропия будет максимальной в том случае, когда все состояния равновероятны.

Во многих случаях требуется рассматривать сложную систему, состоящую из нескольких отдельных систем. Пусть система А может иметь n групп состояний (А₁,…А_n) с вероятностями Р(А₁), …, Р(А_n); соответственно система В имеет m групп состояний В₁,…В_m с вероятностями Р(В₁), …, Р(В_m). Объединенная система С=АВ – определяется сочетанием состояний систем А и В.

Система АВ может находиться в одном из следующих m·n возможных состояний:

n – количество строк, m –количество столбцов.

Состояние А_iB_j означает, что проведено соединение систем А и В, приведенная матрица отображает возможные сочетания состояний. Для вычисления энтропии системы АВ следует составить сумму произведений вероятностей состояний на их логарифмы:

(8)

Преобразование уравнения (8) показывает, что для сложной системы, объединяющей две статически независимые системы, общая энтропия равна сумме энтропий этих систем. Так как энтропия системы неотрицательная величина, то при объединении систем энтропия возрастает или остается неизменной.

или

Энтропия сложной системы, объединяющей две статистически зависимые системы равна сумме энтропий одной системы и условной энтропии другой системы относительно первой, это положение может быть представлено в виде выражения:

Условная энтропия характеризует статистическую связь систем А и В. Если она отсутствует, т.е. , то . В этом случае условная энтропия системы совпадает с ее независимой энтропией.

5. Измерение информации

Количество информации – есть разность неопределенностей (энтропий) системы до и после получения информации.

Если начальная энтропия системы равна H(A), а после получения информации она составляет H_*(A), то внесенная информация .

Зачастую информация относительно системы А получается с помощью наблюдения за другой, связанной с ней системой В. Обычно эта вторая система (система сигналов) дает информацию о состоянии основной системы. Среднюю величину этой информации, или информативность системы В относительно системы А, можно определить из равенства

(9)

В правой части соотношения (9) содержится разность первоначальной энтропии системы А и ее энтропии после того, как стало известным состояние системы сигналов В. Так как системы сигналов А и В являются связанными, то, в свою очередь, знание состояния системы А изменит априорную вероятность состояний системы В.

Средняя информация, содержащаяся в системе А относительно системы В:

(10)

Установлено, что для сложной системы, объединяющей две статистически зависимые системы, верно равенство .

В силу этого соотношения, для информации будет верно выражение:

(11)

Равенство (11) выражает важное свойство взаимности информации. В окончательном виде выражение для информации, которую несет система сигналов В относительно состояния системы А будет иметь вид:

(12)

Если системы А и В независимы, то и тогда из выражения (12) вытекает:

С физической точки зрения результат очевиден – наблюдение над одной из систем не может дать информации относительно другой, если между состояниями этих систем нет связи.

Величина представляет собой ожидаемое значение информации, содержащейся в системе В относительно всех состояний системы А. Если – средняя информация, содержащаяся в системе В относительно состояния А_i, то естественно считать, что:

(15)

Объединив выражения (13) и (15), можно записать:

(16)

Это выражение в эквивалентной форме будет иметь вид:

(17)

Более удобным для вычислений является выражение вида:

Так как системы А и В статистически зависимые, то знание состояний системы А дает информацию относительно системы В. Соответственно можно записать:

где - информация, которой обладает состояние А_i относительно системы В.

По аналогии следует . Легко проследить и другие подобные зависимости, вытекающие из свойства зависимости информации.