1.3.1 Объём первичного алфавита

Объём первичного алфавита – одна из основных его характеристик, главный параметр того первичного (естественного) алфавита источника информации, которые воспринимает посредник и в своих сообщениях обозначает условными знаками. вторичного (своего – первичного) алфавита. Количественной мерой этого параметра служит число N. Оно равно количеству различимых состояний реального источника информации, например, количеству различимых состояний в репертуаре обсуждавшейся выше материальной системы ({Si}, где i =1,2,.., N). Здесь N – объём алфавита.

Объём первичного естественного алфавита – важнейшая характеристика источника информации – не посредника, формирующего сообщение, а первичного источника информации. Этот параметр характе-ризует мощность первичного ансамбля и, выражая свойства источника, вынуждает посредника уметь воспроизвести (быть способным точно отобразить) всё их разнообразие на его (посредника) условном языке (его первичном алфавите источника сообщений).

Важность этого положения в статистической теории связи можно проиллюстрировать очень простыми примерами неспособности посредников воспроизвести разнообразие поведения (свойств) источника.

Пример 1. Источник информации. Посредник:

Многокрасочное и потому Черно-белая фотоплёнка

великолепное природное в фотоаппарате туриста.

явление под названием

закат над горами.

Пример 2. Источник информации. Посредник:

Стихи С. Есенина о Руси. Декламирующий эти стихи с

акцентом иностранец,

у которого ещё и дефект речи.

Несоответствие алфавитов очевидно.

Заключая параграф, сформулируем вытекающее из его основного содержания и примеров определение:

Количество N возможных событий (состояний) естественного ансамбля реального источника информации, что тождественно объёму N его (естественного) репертуара, в статистической теории информации называется объёмом естественного алфавита источника информации.

Из этого определения вытекает очевидное следствие:

для полного и достоверного отображения информации, содержащейся в источнике, объём первичного алфавита источника сообщений должен быть не меньше объёма первичного (естественного) алфавита (репертуара) источника информации.

1.3.2 Энтропия источника информации

Знание одного параметра N (объём алфавита, мощность ансамбля) не всегда достаточно для полной характеристики репертуара системы или какой-нибудь ситуации. Чтобы показать это, рассмотрим (психологические) состояния различных потребителей информации, которые ожидают сообщений от разных источников.

Первый из них ждет сообщения о бросании жребия с использованием монеты, второй – о результатах бросания игральной кости, третий – о результатах забега на ипподроме, в котором принимают участие 16 лучших рысаков конных заводов России. Они – все трое, находятся в состоянии ожидания, которое, как и всякое ожидание, угнетает своей неопределенностью. Каждый из них ожидает получить элементарное дискретное сообщение, то есть - сообщение в виде единичного символа соответствующего первичного алфавита. В этом смысле их ожидания, на первый взгляд, одинаковы. Но объемы алфавитов, из которых будут вы-браны эти символы, различны. Интуитивно представляется, что для каж-дого из этих троих субъектов мера гнетущей его неопределенности дол-жна быть разной. А порождается эта неопределённость каким-то реальным свойством соответствующей ситуации. Назовём это свойство неопределённостью ситуации и попытаемся сконструировать её количественную меру.

Неопределённость представленных выше трёх ситуаций, сообщений об исходе которых ожидают наши потребители информации, порождается множеством исходов и, на первый взгляд выглядит пропорциональной их (исходов) количеству (числу N), ибо это число и определяет для ожидающих разницу в степени (мере) неопределенности, которая (мера) характеризует напряжённость ожидания каждого из них. Отметим для себя это первое свойство исходной ситуации.

Для первого потребителя неопределенность характеризуется ожиданием одного из двух возможных исходов бросания жребия, для второго – ожиданием одного из шести исходов, для третьего – одного из шестнадцати. Очевидно, что неопределенность ожидания для первого – минимальна, а для третьего она наибольшая. Отметим себе второе свойство неопределённости: монотонное её возрастание с ростом объёма репертуара источников сообщений.

Неопределенность ожидания элементарного дискретного сообщения выглядит пропорциональной объему первичного алфавита, символ из состава которого является элементарным ожидаемым сообщением. Из этого следует, что неопределенность ожидания обусловлена реальным свойством источника информации – вполне определенным разнообразием его поведения, которое, на первый взгляд, может быть измерено количественно величиной, пропорциональной числу N , которое, в свою очередь, равно объему присущего этому источнику первичного алфавита. С изменением N неопределенность плавно и монотонно) возрастает

Посмотрим внимательней, что еще можно сказать о количественной мере неопределенности конкретного источника информации.

Во-первых, совершенно очевидно, что для единичного события, вероятность которого равна единице (его первичный алфавит состоит из единственного обозначающего это события символа, N =1), неопределенность равна нулю, то есть приход сообщения ничего не меняет – все ясно изначально. Это - третье свойство неопределённости.

Во-вторых. Представим себе, что один и тот же человек ожидает результатов жребия (N₁ =2) и результатов бросания игральной кости (N₂=6), как сообщения об одном сложном событии (выпадении на кости – пятёрки и, одновременно, «орла» – на монете). Ожидаемое событие состоит в одновременной реализации одного символа из алфавита с N₁ =2 и одного символа из другого алфавита - с N₂=6. Легко заметить, что неопределенность ожидания исхода такого события, которая обусловлена неопределенностью нового первичного алфавита с N_1,2 = 12 (именно таким будет количество отличающихся друг от друга сочетаний символов двух исходных алфавитов). Здесь мы обнаруживаем, что неопределенность сложной ситуации, создаваемой двумя независимыми источниками, будет пропорциональна не сумме объемов алфавитов этих источников N_1,2 = (N₁ +N₂), а их произведению N_1,2 = (N_1*N₂). Это – четвёртое свойство неопределённости исходной ситуации.

Итак, мы обнаружили и обсудили четыре свойства неопределенности, которыми должна обладать и количественная мера неопределенности, свойственной источнику информации, которую (меру) мы для начала обозначим символом Н:

- для источника в виде одиночного и достоверного события А (или параметра X), для которого по определению N =1 и =1 (или) неопределенность отсутствует (Н = 0);

• неопределенность источника пропорциональна объему его первичного алфавита (Н kN);

- неопределенность источника Н монотонно растет с ростом N,

- то неопределенность сложной ситуации, создаваемой двумя независимыми источниками с объемами алфавитов N₁ и N₂ , пропорциональна произведению объемов алфавитов первичных источников _1,2 Н_1,2 k(N_1*N₂).

Одним числом N все эти свойства источника информации описаны быть не могут, для каждой ситуации потребуется некая функция от параметра N то, есть:

Н = f(N)

В математике известна единственная функция, которая обладает всеми четырьмя перечисленными выше свойствами. Это – логарифм. Следовательно, количественной мерой неопределенности источника информации, первичный алфавит которого состоит из N символов, является логарифм от объема его естественного алфавита (репертуара), то есть величина

Н = log N . (I.2)

Действительно, Н = log(N=1) = 0; Н пропорциональна и плавно растет с ростом logN: а мера неопределенности ситуации при двух источниках

Н_1,2 = log(N_1*N₂) = logN₁ + logN₂ (I.3)

то, есть, действительно, равна сумме исходных неопределенностей отдельных источников. Следовательно, эта мера при таком ее определении (через логарифм от объёма алфавита) обладает всеми выявленными ранее свойствами неопределённости, включая последнее из них – свойство аддитивности.

Эта (логарифмическая) мера неопределенности была введена в науку об информации в 1928 году английским ученым Хартли и носит его имя – мера Хартли. По достаточно веским причинам, о которых ниже будет говориться подробно, в этом выражении в качестве основания логарифма принято число 2 .

Возвратимся теперь к ожидающим сообщений трем субъектам.

Мера неопределенности ожидания первого из них равна мере неопределенности поведения источника информации, мере неопределённости первичного алфавита, который состоит из двух символов, то есть Н₁ = log₂2 . Ансамбль из двух событий среди всех ансамблей обладает наименьшей неопределенностью. Поэтому его неопределенность, то есть величина Н₁ = log₂2 , выбрана в качестве единицы измерения лю-бой неопределенности. Н₁ = log₂2 = 1. . Эта единица называется битом. Здесь мы имеем неопределенность величиной в 1 бит.

Для субъекта, ожидающего сообщения о результатах скачек неопределенность ситуации, казалось бы, характеризуется величиной

Н₃ = log₂16 = 4 бита. Но …

Сейчас мы подошли к очень важному (центральному в теории информации) понятию и попробуем с ним разобраться.

Обратите внимание на очевидный факт. Как только первый из ожи-дающих субъектов получил сообщение (один из двух возможных в данной ситуации символов первичного алфавита), неопределенность его представлений о ситуации исчезла. В таких случаях говорят, что содержавшаяся в сообщении информация была достаточной, чтобы устранить (снять) всю имевшуюся в данной ситуации неопределенность ожидания. Значит, информацию можно измерять, и измерять её нужно тоже в битах, ибо имеет место ситуационное соотношение:

Н + I =0 (I.4)

которое читается так:

«исходная неопределённость (Н) ситуации полностью

снята сообщением, содержавшим I битов информации»,

Это не математическое, а ситуационное соотношение и означает, только что в полученном единичном сообщении содержалось

I = Н битов информации. (I.5)

Просто неопределенность ситуации исчезла с получением сообщения, а «минус», который математически «напрашивается» (из соотношения Н+I=0) перед Н означает отрицательность неопределённости которая уже заключена в приставке «не» обозначающего её слова. Всё это, в свою очередь, означает,

- что информацию можно измерять,

- что измерять её можно в тех же единицах, что и неопределенность (I =Н битов),

- что мера Хартли, будучи мерой неопределенности исходной ситуации, является в то же время мерой количества информации, содержавшейся в элементарном дискретном сообщении, которое эту неопределённость устраняет.

Не было сообщения – была неопределенность. Пришло сообщение, которое принесло определенное количество информации, – все стало ясно, – никакой неопределенности. Количество содержавшейся в элементарном дискретном сообщении информации, следовательно, здесь выражается простым соотношением:

I = log₂N . (I.6)

Количество содержавшейся, в элементарном дискретном сообщении информации численно равно неопределённости исходной ситуации. Здесь и далее везде отсутствующий у логарифма индекс, обозначающий число, принятое за основание логарифма, является двойкой. Если это где-нибудь будет не так не так – индекс будет проставлен особо.

Став сообщением, символ первичного алфавита, состоящего из двух символов, несет I₁ = log2 = 1 (один) бит информации.

Для, субъекта, ожидавшего сообщения о результатах скачек, элементарное дискретное сообщение – более содержательно и, казалось бы, содержит I₃ = log16 = 4 бита информации, для второго субъекта I₂ = log6=2,58496 бита.

Итак, мы выяснили, что

количество информации в элементарном дискретном сообщении, это – мера снятой (аннулированной) им (сообщением) не-определённости исходной ситуации.

Особо подчеркнем, что количество информации в единичном символе первичного алфавита, ставшего элементарным дискретным сообщением, выражается соотношением I = log N, независимо от того получил ли кто-нибудь это сообщение. Она содержится там объективно потому, что сообщение – это символ первичного алфавита источника, который является ансамблем символов, отображающим реальные состояния или ансамблем реальных событий. Сказанное позволяет уточнить только что приведенное выше определение:

количество информации в элементарном дискретном со-

общении – это ещё и мера неопределенности конкретной

исходной ситуации, которая потенциально может быть

снята, (аннулирована) этим сообщением.

В соотношении I = log N величина N – объем алфавита, и если он составлен из символов, вероятности реализации которых одинаковы (т. е. равны ) то соотношениеI = log N , будучи представленным математически в эквивалентной ему форме: I = – log, означает, что на базе мерыХартли можно ввести точную и более общую количественную меру информации.

Так как =р, где р, оказывается вероятностью появления (здесь любого из N возможных), единичного сообщения, то

I = – log р_i, (I.7)

Следовательно, можно утверждать:

количество информации, содержащееся в элементарном дискретном сообщении, равно минус логарифму от вероятности появления этого сообщения.

Применительно к конкретному источнику информации обсуждаемого здесь типа (когда все возможные единичные дискретные сообщения равновероятны, ибо р_{i =}) индекс «i» особого смысла не имеет, но мы сохраним его на будущее, имея здесь в виду тот факт, что и для любого другого источника р’_{i =}(штришок над символами как раз и означает другие источники). Для источников с малымN’ вероятности р’_i будут большими и – наоборот. Формула I = – log р_i остаётся в этих случаях справедливой. Она справедлива для разных алфавитов, алфавитов, отличающихся друг от друга объёмом N’, но состоящих из равновероятных символов.

Но (вспомните выше осталось: Н₃ = log₂16 = 4 бита. Но...) мера I = – log р_i остаётся верной и тогда, когда р_i отличаются друг от друга не потому, что обозначают вероятности символов разных алфавитов, а потому, что внутри некого алфавита эти вероятности (по природе его источника) различны.

Мы этот важный результат получили попутно, но от этого он не потерял своей значимости. Отныне в нашей теории информации, в статистической теории связи, за словом «информация» будет стоять понятие: «сущность, снимающая (вспомните Н+I =0) неопределённость», которая (эта сущность, то есть информация), в свою очередь, имеет количественную меру (Н). Следовательно, и информацию, благодаря соотношениям (I.6 и I.7), имеет меру и эту меру (количество информации в элементарном дискретном сообщении) всегда можно вычислить по формуле I_i = – log р_i , где р_i – вероятность этого сообщения. В новой формуле индекс «i» приобретает и символ «I». Разные сообщения содержат разное количество информации.

Если говорить точнее, то нужно говорить, что информация это знания, которые содержатся в полученном сообщении и снимают неопределённость с конкретной ситуации, проясняют её. Это длиннее, но точнее. Нам же здесь важно, что её (информацию) можно измерять. Ко-личество информации в единичном дискретном сообщении равно неопределённости исходной ситуации, а знания здесь не любые, а только те, которые проясняют данную ситуацию, снимают её неопределённость. Отсюда – неуклюжесть термина («сущность, снимающая неопределённость»), отражающая его сложность и только что отмеченные особенности его содержания.

В заключение этой темы отметим, что мера Хартли, послужившая основой для уточнения смысла слова «информация» и позволившая ввести меры для измерения количества информации, до сих пор широко и активно используется и в теории информации, и на практике. Между тем, это ее применение было и остается ограниченным потому, что введена она была (и остается справедливой) только применительно к тем ансамблям событий (и первичным алфавитам), внутри которых вероятности всех событий (и символов) одинаковы. В этом смысле, все суждения относительно субъектов, ожидавших сообщений о бросании монеты и игральной кости, безупречны.

Этого, однако, нельзя сказать в случае ожидания сообщения о результатах бегов (вспоминаем последний раз: Н₃ = log₂16 = 4 бита. Но..…). Здесь только дилетант предположит, что все шестнадцать участников забега до забега имели одинаковые шансы победить. Реально эти шансы различны, и не дилетанты ставят на фаворитов.

Для более подробных разговоров по этому поводу вспомним, что в теории вероятностей есть понятие «распределение вероятностей», которое, применительно к произвольному ансамблю из N событий (или к реальному первичному алфавиту объемом N), обозначает набор из N не обязательно одинаковых вероятностей – вероятностей реализации событий (или символов), образующих этот ансамбль (или алфавит). При этом условие нормировки вероятностей ( ) свою роль сохраняет. Но и в этом общем случае, нет никаких, оснований для сомнений в том, что количество информации, содержащееся в элементарном дискретном сообщении, равно логарифму от вероятности появления этого сообщения. Вот только каждое сообщение здесь несет разное количество информации, и поэтому соотношение I_i= – log в этом случае носит «индивидуальный» характер, то есть относится только к определённому (данному, конкретному с индексом «i») сообщению и никакого отношения к ситуации в целом не имеет (потому и обозначено индивидуальным индексом). И с соотношением Н = log N , которое характеризует специфический (с событиями равной вероятности) источник информации и ситуацию в целом, это количество информации связанным быть не может. Ситуация в целом и в этом случае остаётся неопределенной, но прояснить её в целом только одним дискретным сообщением уже невозможно.

Только после достаточно длительного наблюдения за источником информации можно понять, на сколько сложно его поведение и какова неопределенность этого поведения. Да и судить об этом можно потом только в среднем – через среднее значение количества информации на одно условное и поэтому обезличенное, например, непосредственно ожидаемое – очередное (из множества возможных) сообщение.

В теории вероятностей есть подходящая к данному случаю величина, которая записывается как М{Xi} и читается «среднее по совокупности значение случайной величины X , способной принимать значения Xi», и в чисто математическом смысле, называется математическим ожиданием

В нашем случае Xi = I_i = , следовательно, математическое ожидание будет выглядетьМ{} (символМ{ }означает, что для вычисления математического ожидания необходимы определенные математические процедуры).

Эта новая мера и должна заменить меру Хартли, если речь идет об измерении неопределенности ансамбля событий с разными вероятностями.

Эта новая мера имеет в теории статистической теории связи специальное обозначение Н = М{}(здесь символН не означает «функция от i, не Н = f», а просто символизирует тот факт, что речь идёт о параметре Н, который характеризует некое множество символов или значений {Xi}, а не {Yj}.

Введена эта новая мера в теорию информации и в науку, вообще, в 1948 году Шенноном, который назвал ее энтропией. Вычисляется эта мера, в соответствии с определением математического ожидания и упомянутыми выше математическими процедурами.

Выглядит это, в итоге, так: Н = (I.8)

(здесь P_i – вероятность реализации соответствующего значения из множества {Xi} поэтому и можно писать Н, а неН(х).

Более изящная запись этой формулы:

Н = –(I.9)

Обратите внимание на то, что перед знаком ∑ появился «минус» потому, что logP_i в точности равен «минус» ).

Энтропия является мерой разнообразия поведения материальной системы, в репертуаре которой имеется N различных состояний, реализующихся с разными вероятностями , такими, что.

Энтропия служит также мерой неопределенности первичных алфавитов, с объемом в N символов, вероятности появления которых (символов) в виде элементарных дискретных сообщений (или в виде очередного знака в составе длинных сообщений), удовлетворяют этому же условию нормировки вероятностей

.

Перечислим далее основные свойства энтропии, аналогичные свойствам меры Хартли.

1. Для источника в виде одиночного и достоверного события (как и для символа или параметра) X, для которого по определению N =1 и = 1, неопределенность отсутствует и Н = 0 , ибо .

2. Энтропия источника пропорциональна объему его первичного алфавита (Н(i)~ N),/

3. Энтропия источника монотонно растет с ростом N. Это так потому, что при этом пропорционально растет количество слагаемых под знаком суммы.

4. Неопределенность составного ансамбля (объединения) из двух независимых источников (одного с алфавитом объемомN_1, и другого с алфавитом - с объемом N₂) измеряется суммой энтропий образующих его ансамблей

Н= Н+Н. (I.10).

Это означает, что и энтропия обладает свойством аддитивности, что доказывается ниже простыми подстановками в очевидное соотношение (для энтропии составного ансамбля Н ) вероятностей реализации составных событий типа{}, то есть – вероятностей .

Н=– .

Если события, состояния или величины инезависимы, то =P_i P_j (вероятности независимых событий перемножаются)

и =+(логарифм произведения равен сумме логарифмов сомножителей). Следовательно:

Н =–=–{+ }

= – = Н+ H потому, что и,ибо это – условия нормировки вероятностей для символов двух исходных алфавитов, а обе оставшиеся суммы – суть энтропии соответствующих исходных независимых ансамблей:

Н = –,Н = – .

Далее опишем более тесную связь между энтропией и мерой Хартли, если таковая обнаружится.

Для этого составим «удобное» выражение-разность:

Н– logN (или Н(i) – Н) и займёмся его правой частью.

Для начала, умножим второй член на единицу, записанную в форме(ибо). После этого в развёрнутом виде она (правая часть) будет выглядеть так:– – log N =

= {– log N } = .

(знак «минус» здесь исчезает по уже объяснявшейся выше причине).

Здесь и сейчас, и часто впредь, нам потребуются известные в математике соотношения:

logA = loge х lnA (I.11)

и ln– 1 (I.12)

(заметим, что ln=– 1, только когда = 1).

Воспользуемся первым из этих соотношений:

полагая, что: A=, перепишем правую часть нашего соотношения в следующем виде:} = loge . А теперь, полагая=, воспользуемся вторым соотношением и получим:

loge{}loge–1} =

=loge–}=loge{1–1}= 0, ибо N раз по – это единица, как и . Таким образом,Н(i) – logN 0 , то есть Н(i) lоgN , почти всегда, кроме случая, когда P_i = logN, а P_i = , когда и Н(i) = Н(i)= logN (точное равенство). Все это вместе означает, что

Н = logN = Н_max Н_max(i) (I.13)

Этим самым мы показали, что мера Хартли для любого ансамбля (или алфавита) остается мерой его максимально возможной неопределенности, а энтропия – мерой текущей (действительной, реализованной на данный момент) неопределенности этого ансамбля (ансамбля состояний, событий, чисел и т.д.).

Помня, что I = log N является мерой количества информации в элементарном дискретном сообщении, а Н = log N – мерой неопределенности источников с равными вероятностями состояний, мы можем сказать, что энтропия, являясь мерой неопределенности источников информации, состояния которых не равновероятны, в то же время может служить мерой среднего количества информации в еще не выданном (очередном ожидаемом) элементарном дискретном сообщении.

Таким образом, всегда I_ср= Н (только в среднем!).

Это хорошо согласуется с пониманием энтропии, как меры неопределенности ожидания.

В заключение разговора о характеристиках источников информации, напомним, что соотношение (I.7), которое позволяет вычислить количество информации в конкретном элементарном дискретном сообщении, – одно из главных в теории информации соотношений, всегда остается справедливым, что, именно оно, должно быть применено при оценке количества информации в сообщении о результатах скачек, в сообщении о победе i^-го скакуна. Такое сообщение будет содержать тем больше информации, чем неожиданней будет победа, например, – победа скакуна, которого никто не считал фаворитом. Сообщение о победе всеобщего фаворита будет содержать очень мало информации. Что касается использованного ранее соотношения: I₃ = log16 = 4 бита, то оно к этому случаю применимо только при его рассмотрении в качестве учебного примера, в котором предполагается, например, что вероятности победы всех 16-ти скакунов одинаковы.

В ситуациях с ожиданием исхода родов сообщения о рождении пяти и более близнецов несут гораздо больше информации, чем сообщения о рождениях двойни и даже – тройни. Именно, поэтому сообщения о таких редких событиях ценятся в средствах массовой информации и носят характер сенсаций.

Энтропия источника выглядит показателем его потенциала, его возможностей, как источника сообщений. Источники с большей энтропией при функционировании «генерируют» последовательности состояний, которые отображаются более содержательными сообщениями.

Максимальной информативностью (при всех остальных равных условия, содержат наибольшее количество информации) обладают материальные систем (ансамбли событий, наборы параметров и т.п.) с максимальной энтропией.

Если источник информации характеризуется ансамблем определённой мощности (N), но обладает энтропией, меньшей, чем это возможно (существует разность (log N – Н= Н_max (i) – Н,то каждый из, кодирующих его состояния, кодовых символов в среднем привносит в сообщения меньше информации, чем это, в принципе, возможно. Сообщение об определённом отрезке истории источника информации оказывается длиннее, чем сообщение, составленное из равновероятных символов, каждый из которых максимально заполнен информацией. В этом случае можно говорить об избыточности символов в составе длинного сообщения, которая порождена каким-то определённым свойством источника информации. Такие свойства, действительно, существуют. Оба они обусловлены природой источника. Первое из них состоит в том, что состояния источника реализуются с разными вероятностями, а второе – тем, что в содержании (в составе, в сути) каждого последующего его состояния остаются признаки предыдущего состояния. Состояния кодируются (в составе сообщения обозначаются) разными символами, а несут в себе только частично разное содержание, ибо источник часто «помнит» о своём предыдущем состоянии. Отсюда – общая избыточность символов в составе сообщения в целом, ибо с каждым последующим символом в сообщение добавляется часть того, что уже есть в сообщении, (было частично привнесено в него предшествующими символами). Избыточным количество символов в таком сообщении выглядит в сравнении с сообщением, содержащим такое же количество информации, но «написанным» алфавитом с одинаковой вероятностью всех его символов (каждый из которых по этой причине максимально «наполнен» новым содержанием).

Очевидно, что показателем (мерой) этого свойства («памяти») источника, которое приводит к избыточности информации во всех поступающих от него (о нём) сообщениях, (мерой избыточности), может служить разность Н_max (i) – Н, которая так и называется абсолютная избыточность источника информации. Величина

k = {Н_max(i) – Н (i)}/Н_max (i) = {Н – Н (i)}/ Н (I.14)

называется относительной избыточностью. Можно показать, что она, в точности, равна отношению количества символов в сообщениях полученных от разных (в смысле избыточности) источников, но несущих одинаковое количество информации. В таком представлении эта мера показывает долю лишних символов – тех, которые могли бы не потребоваться при более высокой энтропии источника информации.

Об источниках сообщений, несущих избыточную информацию иногда говорят, как об источниках с памятью. В этом их названии отображено свойство репертуара, в котором последующее состояния немного похоже на предыдущее. Нет нужды подробно разъяснять, что это свойство присуще репертуарам подавляющего большинства реальных систем и событий потому, что в окружающем нас мире всё изменяется постепенно и плавно, иногда очень быстро, но, поскольку система остаётся собой (её можно узнать), в новом её состоянии некоторые её признаки почти всегда остаются неизменными.

Реальная материальная система (или процесс) называется стационарным эргодическим дискретным источником информации, если она представляется (выглядит) ансамблем (состояний, событий) с различными, но постоянными вероятностями реализации состояний (событий), а влияние (взаимная «похожесть») соседних состояний (событий) распространяется на конечное их количество q (достаточно далёкие состояния уже «не похожи» друг на друга).

Чтобы лучше разобраться с избыточностью и некоторыми другими свойствами сообщений, следует продолжить знакомство с понятиями, при помощи которых эти свойства объясняются короче и чётче. Некоторые из них представлены в следующем параграфе.