1.5 Структура сообщений

В этом параграфе мы возвращаемся к основному объёкту нашего в этой главе разговора – к сообщению.

В начале главы мы познакомились с внешним, функциональным аспект этого понятия (для чего сообщения служат), что это – актуальная форма существования информации, форма в которой информация обращается в обществе. Теперь, когда мы освоили несколько новых для Вас основных понятий статистической теории связи, мы сможем наполнить понятие «сообщение» новым конкретным содержанием, которое прояснит нам внутреннюю сущность и свойства сообщения. Собственно, выше по ходу мы уже многое в этом направлении узнали.

Коротко сформулируем всё это, помня при этом, что мы ведём речь пока только о дискретных сообщениях.

1. Сообщение – это не материальная система, а вторичный, идеальный продукт актуализации объективно существующей информации. Основная «техническая» процедура актуализации – кодирование состояний источника информации, которая заключается в обозначении состояний (событий, параметров), реальной материальной системы условными символами вторичного алфавита. В результате, кодирования функционирующего источника информации формируется дискретная последовательность, знаковая система, которая выглядит кодовым словом (фразой).

2. Структура сообщения (последовательности) определяется (диктуется) ограничениями, свойственнымиестественному коду и коду, который применён при кодировании источника. В связи с этим, сообщение (последовательность кодовых символов, кодовое слово) несёт в своей структуре не только информацию об источнике, но и не имеющие отношения к семантике последствия этих ограничений (например, вероятность появления очередного символа в составе последовательности будет определяться ещё и особенностями используемого кода).

3. Каждый очередной символ, который появляется в составе формирующегося сообщения, добавляет в него «порцию» информации, количественно равную вероятности состояния источника информации, обозначенного этим символом. Общее количество информации в сообщении оказывается пропорциональным его длине (общему количеству образовавших его кодовых символов).

4. Максимальное количество информации привносят в сообщение символы, обозначающие наиболее редкие состояния источника информации.

5. Сообщения определённой длинны, состоящие из равновероятных символов, несут в себе наибольшее количество информации.

Представленные выше формулировки относятся к внутренней структуре сообщений и дают о нём боле глубокое и чёткое представление, чем то, которое мы имели до сих пор. Это не означает, что в них 9в сложивсодержится всё, что нужно знать о сообщении. Поэтому мы продолжаем тему и следующий наш разговор будет о математическом описании сообщения, о его математической модели.

1.5.1 Дискретная числовая последовательность

Надо думать, что это словосочетание для Вас не ново, и нет необходимости много говорить о том, что оно обозначает. Просто надо вспомнить, что этим словосочетанием в теории вероятности обозначается один из объёктов её изучения – некая структура из чисел. Вообще говоря, – это простейшая конструкция из случайных чисел, математический объёкт, представляющий собой линейный ряд («череду») следующих друг за другом чисел, каждое из которых случайно, но принадлежит определённому табору таких чисел, который является ансамблем. Например, ряд: 2, 17, 4 ,6, 12, … и т.д. – это дискретная последовательность случайных чисел или просто числовая последовательность.

Возьмём теперь другой пример.

40,2; 38,6; 38,4; 38,3; 38,3; 37,5; 37,2; 36,6; 36,6 и 36,6.

Это – значения температуры тела доставленного в реанимационное отделение пострадавшего, полученные через равные промежутки времени в ходе проведения реанимационных мероприятий.

Это – тоже дискретная числовая последовательность, но, взглянув на неё, каждый мало-мальски соображающий понимает, что человека удалось спасти. Значит эта числовая последовательность ещё и дискретное сообщение о состоянии человека в чрезвычайной ситуации.

Пример показывает, что в данном случае дискретная числовая последовательность является идеальной математической моделью сообщения.

Такое утверждение очень близко к истине и в общем случае, а если вспомнить, что

- буквы в любом письменном сообщении, предварительно договорившись, можно заменять соответствующими числами, что

- каждому ожидаемому состоянию реальной материальной системы можно заранее присвоить порядковый номер и впредь различать состояния по этим номерам, что

- существуют системы цифрового представления речевых и музыкальных сообщений и цифровые фото- и телекамеры,

то убеждать в справедливости такого заключения не будет необходимости.

Таким образом,

математической моделью дискретного сообщения в статистической теории связи является дискретная последовательность случайных чисел, числовая дискретная последовательность, которая для краткости именуется просто дискретная последовательность.

Ниже нам остаётся рассмотреть, какие свойства таких последовательностей интересуют нас в первую очередь и в основном. Начнём с сообщений от источников с максимальной энтропией.

Пусть в начале это будут относительно короткие сообщения, в которые «ещё не успели попасть» все N символов, обозначающих свойственный источнику информации репертуар. При этом не исключено, что некоторые такие символы фигурируют в нём два и более раз.

Такие сообщения несут информацию об источнике, но не полностью характеризуют, не раскрывают его сути. Отдельные состояния и линии поведения (короткие последовательности состояний) системы остаются не представленными в сообщениях такого рода. Короткие сообщения, вообще, могут заронить подозрения о невозможности некоторых и очень большой вероятности других состояний системы, что противоречить первоначальному представленному распределению вероятностей внутри исходного ансамбля.

Из–за этого противоречия, вероятные на самом деле, но относительно короткие сообщения о поведении такого источника называются нетипичными (для данного источника) сообщениями. Отображающие их числовые последовательности (математические модели нетипичных сообщений) называются тоже нетипичными последовательностями.

Рассмотрим пример (учебный), который сделает это понятие доступнее и закрепит его смысл в Ваших представлениях.

Вы бросаете монету и записываете результат условным кодом (например, «орёл=X₁» – 1, «решка-X₂» – 0) .Проделываете это 10 раз. Получается сообщение: X₁^(s) X₂^(s) X₃^(s) X₄^(s)X₅^(s) X₆^(s) X₇^(s) X₈^(s) X₉^(s) X₁₀^(s) (вспомните, очередной символ X_k^(s), а здесь k =10 – количество Ваших попыток, а s в каждой из этих попыток с одинаковой и равной 0,5 вероятностью может оказаться либо, либо «орёл=X₁», либо «решка-X₂» . В итоге Вы получите сообщение из десяти символов (нулей и единиц), например: 0, 0, 1, 0, 1, 1, 0, 1, 1, 1. Это только одна из М возможных в данной ситуации последовательностей из десяти (n=10) нулей и единиц (два символа в алфавите, т. е. N=2).

Здесь мы приостановим попытки записать все возможные сообщение о десяти бросаниях монеты и отвлечёмся для специального рассмотрения очень важного вопроса, что дополнительно вооружит нас, и тогда мы этот мысленный эксперимент продолжим.

Отступление от основной темы.

Здесь мы поведём речь о количестве М(n) различных сообщений определённой (и одинаковой для всех) длинны (например, состоящих из n символов), которые можно получить от данного источника информации.

Если естественный первичный алфавит – ансамбль состояний источника информации с мощностью N, а первичный код источника сообщений не имеет ограничений (радиокомментатор, например, ведущий репортаж с хоккейного матча, не заикается) и потому способен однозначно отобразить весь репертуар источника информации, то вычислить это количество очень просто. Поясним это примерами.

Пример № 1.

Пусть мы имеем систему с репертуаром, который состоит из трёх состояний (N =3), которые мы обозначили символами А, В, и С. Подсчитаем, сколько двухбуквенных сообщений (n=2) можно составить в этом случае.

Составляем их: АА ВА СА

АВ ВВ СВ

АС ВС СС. Это всё, что здесь возможно!

Здесь М = 9. Девять - это 3² М(2) =3²= 9.

Похоже, что М(n) = Nⁿ.

Пример № 2.

Для записи чисел в широко распространённой современной системе счисления используются десять символов (N = 10), которые называются арабскими цифрами; 0,1, 2,.3, 4, 5, 6, 7, 8, и 9. Их можно применить, например, для составления сообщения о количестве наличных на вашем счёте в банке. Сколько разных вариантов сообщения можно ожидать, если сообщения составляются только из шести (n=6) любых цифр, взятых из такого алфавита?

Запишем такие сообщения: первый вариант – 000000,

второй вариант – 000001,

третий вариант – 000003,

…………………………..

и т. д. – до последнего (из возможных) варианта – 999999 , который будет миллионным. Других вариантов не существует. Но миллион – это 10⁶, опять М(n) = 10⁶ = Nⁿ.

Оставим конкретные примеры и далее будем рассуждать абстрактно (в самом общем виде).

Из N символов алфавита можно составить только N элементарных (однобуквенных, ибо n=1) дискретных сообщений.

М(n) = Nⁿ = N¹= N.

Пока это совпадает с тем, что мы получали в частных случаях

К каждому их N сформированных выше однобуквенных сообщений можно приставить ещё одну букву, и мы получим серию из N разных двухбуквенных (n=2) сообщений. В алфавите всего N символов, значит, проделать только что описанную операцию с приставлением, мы можем столько же раз (каждый символ алфавита побывает в сообщении вторым), и получить в итоге N разных серий по N разных двухбуквенных сообщений в каждой.

Следовательно, при n =2, М(2) =NхN = N². (М(n) = Nⁿ ).

Если к каждому из N² сконструированных выше сообщений дополнительно приставить ещё один символ, то мы получим серию из N² дискретных сообщений, состоящих из трёх символов (n =3). Таких серий, как и в предыдущем случае и по той же причине, окажется N. Следовательно, при n =3 М(3) = N²хN = N³ .

И снова М(n) = Nⁿ .

Продолжая аналогичные рассуждения до случая сообщений, составленных из (n–1) символов, легко убедиться, что соотношение

М(n) = Nⁿ (I. 15)

оказывается универсальным, справедливым в самом общем случае.

Формула М(n) = Nⁿ получена здесь для кода без ограничений и называется экспоненциальным законом увеличения количества различных сообщений при линейном увеличении длинны сообщений. Эта формула позволяет сделать важное для статистической теории связи обобщение. Но об этом – позже, а сейчас вернёмся к нашему примеру с десятикратным бросанием монет.

Там алфавит состоит из двух равновероятных символов (N=2) и не имеет ограничений, а n=10. Следовательно, M(n) = Nⁿ =2¹⁰=1024.Это – общее количество возможных различных сообщений об исходе серии бросаний монеты, среди которых есть совсем маловероятные варианты сообщений, состоящих из одних нулей или из одних единиц. Это уж, точно – нетипичные сообщения для источника с двумя равновероятными состояниями. Для данной ситуации типичными выглядят сообщения, в которых одинаковое количество нулей и единиц. Точное количество таких типичных последовательностей в нашем эксперименте может быть посчитано по известной в теории сочетаний формуле, которая для двух вариантов исхода единичного опыта имеет вид:

M ^э = k!/ k₁!x k₀!. Здесь k =10 – количество бросаний монеты.

В общем случае, когда у единичного эксперимента не два, а m исходов. Эта формула выглядит иначе: M = k!/ k₁!x k₂!x k₃!x _… x k_m!.

Она нам в своё время тоже понадобится.А сейчас продолжим.

Количество M таких сообщений выражается дробью, в числителе которой стоит факториал числа, равного количеству попыток (у нас это 10, а m=2), а в знаменателе – произведение факториалов, обозначающих количества возможных исходов (у нас факториалов двух равных чисел – «орёл» и «решка» выпали поровну – два : k₁= k₀ = 5).

M =10!/5₁!x5₀! = 1х2х3х4х5х6х7х8х9х10 /1х2х3х4х5х1х2х3х4х5=

=7х8х9х2 /4=7х2х9х2=14х18=252. В итоге 252/1024 ≈ 25%.

В приведённом выше другом конкретном варианте сообщения (одного из 1024 возможных) четыре нуля и шесть единиц. Это сообщение, очень близко к типичному. В нём символы появляются с частотой, которая приблизительно равна вероятности того состояния в репертуаре системы, которое этим символом обозначается.

Таким образом, всё множество сообщений о поведении некой идеализированной материальной системы может быть представлено двумя подмножествами последовательностей. В одном из них будет некоторое количество нетипичных последовательностей, в другом определенное количество – типичных для данного источника информации последовательностей. Такие типичные и близкие к ним последовательности имеют специальное название: эргодические дискретные последовательности (мы здесь пока только о дискретных сообщениях и говорим).

На этом частном примере, мы познакомились ещё с одним важным понятием: эргодическая последовательность, как математическая модель типичного, эргодического сообщения, т. е. – сообщения, типичного для данного эргодического источника информации.

Если Вы несколько раз проведете аналогичные вычисления, мысленно каждый раз удваивая количество бросаний монеты (и, соответственно, – длину итогового сообщения), то обнаружите, что, в полном соответствии с законом больших чисел, доля эргодических сообщений быстро растёт, приближаясь к 100 %. Легко сообразить, что при достаточном терпении можно дождаться столь длинных сообщений, что существованием среди них нетипичных для данного источника сообщений, в конце концов, можно пренебречь. Множество, состоящее из таких типичных сообщений, называется ансамблем сообщений от данного источника.

Это очень важный для теории информации результат – фундамент для очень многих практически полезных обобщений и рекомендаций и суть его коротко состоит в следующем:

при достаточно большом количестве сообщений от эргодического источника приблизительно все его сообщения можно считать эргодическими и они образуют ансамбль сообщений, исчерпывающим образом характеризующий этот источник.

Это положение тем точнее, чем большее количество сообщений от источника мы имеем.

Так обстоят дела с типичными и нетипичными сообщениями, которые записываются кодами без ограничений. В свете идеальности такой ситуации, этот же вопрос, применительно к кодам с разными (вероятностными и фиксированными) ограничениями, заслуживает отдельного рассмотрения. Для этого с частным примером с бросанием монет покончим навсегда и вернёмся ещё раз к нашему отступлению.

Предположим, что все символы в составе дискретного сообщения сменяются через равные промежутки времени t. Тогда сообщение будет сформировано за время T = nxt _. Выражая n из этого соотношения

(n = T / t), подставляем его в нашу формулу М(n) = Nⁿ.

Получаем: М(Т) = Nⁿ =N^(T/t) или короче: М(Т) = N^(T/t) (I. 16)

Полученное для нашего частного случая соотношение рискнём записать в обобщённом виде с использованием неких (пока непределённых) коэффициентов А и В.

М (Т) = АхN^ВхT (I. 17)

Это соотношение читается, так:

«количество возможных различных сообщений при увеличении времени формирования Т каждого из них (иначе: с увеличением длительности сообщений Т) возрастает по экспоненциальному (очень быстро!) закону.

Математически этот закон прост и почти очевиден, но в статистической теории связи он играет очень важную роль, являясь базой для построения относительно простых математических моделей передачи информации. Если представленную выше формулировку запомнить и осознать её суть, то изучение теории информации существенно упроститься.

В связи с отмеченной важностью закона экспоненциального роста количества сообщений определённой длинны (или продолжительности, длительности), рассмотрим, в рамках этого отступления количество различных дискретных сообщений в предположении, что они «записываются» символами различной длительности

Пусть имеется алфавит из N символов с длительностями t_i, где i = 1, 2, 3, …N.

Обозначим функцию, описывающую рост количества сообщений с увеличением их длительности Т (времени формирования сообщения), как M(Т). Тогда это количество будет содержать:

– M (Т– t₁) сообщений чуть меньшей (чем Т) длительности – сообщений без первого символа алфавита (без одного – потому, что он будучи очередным в сообщении в него не попал: его введение в состав таких сообщений сделало бы каждое из них длиннее (Т_с1  Т ) ;

– M (Т– t₂) сообщений чуть меньшей длительности – сообщений без второго символа (потому, что его введение в состав этих сообщений сделало бы каждое из них длиннее ( Т_с2  Т ) и т. д. до

– M (Т– t_N) сообщений чуть меньшей длительности – сообщений без последнего (из состава алфавита) символа (потому, что его введение в состав этих сообщений сделало бы каждое из них длиннее ( Т_N Т).

Искомое множество сообщений M (Т) оказывается состоящим из N подмножеств типа M (Т– t_i), где i =1,2,3, …N. Следовательно, M(Т)=

= M (Т– t₁) + M (Т– t₂) + M (Т– t₃) +…+ M (Т– t_N) =M (Т– t_i).

Мы получили известное в математике уравнение для нахождения неизвестной функции – уравнение в конечных разностях:

M (Т) = M (Т– t_i). (I. 18)

Методы решения таких уравнений подобны методам решения уравнений в частных производных с постоянными коэффициентами. В данном случае они приводят к решению вида М (Т) = АхN^ВхT, которое должно совпасть с тем, что мы получили выше, рассматривая код с символами в среднем одинаковой длительности. Здесь А и В – пока неопределённые коэффициенты, значения которых определяются характером и параметрами ограничений конкретного кода.

Далее закон экспоненциального роста количества сообщений мы будем рассматривать в форме М(Т) =АхN^ВхT=Ах(N^В)^T=АW^T, а W=N^В выглядит так только в этом рассмотренном выше частном случае.

Коэффициент А с ростом Т меняется медленно (ниже мы в этом убедимся) и он для нас сейчас и далее существенного значения не имеет, а вот к значению W – параметра в статистической теории связи очень важного и существенно зависящего от объёма, свойств и, особенно, ограничений конкретного кода, мы будем обращаться неоднократно. А сейчас вернёмся к уравнению M (Т) = M (Т– t_i) и убедимся в правильности нашего предположения М(Т) = АW^T (I.19)

При этом мы не будем углубляться в методы решения уравнений в конечных разностей, а, поверив во всеобщность закона М(Т) = АW^T, примем его за готовое решение и вычислим подходящее в данном случае значение W.

При подстановке имеем: АW^T = АW^(T–ti⁾,

АW^T –АW^{(T – t}i⁾ = 0

АW^T [1–W ^{(T -t}i⁾] = 0.

Последнее соотношение означает, что решение вида АW^T возможно, если правильно подобрать W . Правильность выбора заключается в том, что W должно, как того требует теория решения подобных уравнений, обращать в нуль выражение в квадратных скобках.

Следовательно, уравнение 1 – W ^{(-ti )} = 0, которое в данной ситуации называется характеристическим, и есть уравнение для нахождения W. В развёрнутой форме оно выглядит следующим образом:

1– W ^{- t1} – W ^{– t2} – W ^{– t3} – . . . – W ^{–t N} = 0. (I. 20)

Таким образом, мы научились находить W для кодов с различными длительностями t_i символов алфавита, но не имеющим никаких (ни вероятностных, ни фиксированных) ограничений.

Продолжим обучение и рассмотрим произвольный код с фиксированными ограничениями.

Пусть это будет тот же код с N символами, длительностью t_i (i =1,2,3, …N) каждый, но в ходе формирования сообщений из этих символов, время от времени возникают ситуации, когда следующим в составе сообщения символом может оказаться не любой символ алфавита, а – он же, но не из всего алфавита, из ограниченного их набора S_k (k =1,2,3, …m, где m – общее количество подобных ситуаций).

Нас по-прежнему интересует общее множество М(Т) сообщений длительностью Т. Искать мы его (множество) начнём с рассуждений, аналогичным тем, что мы провели в предыдущем случае. Приглядимся к одной из m упомянутых выше ситуаций, в которых по- разному проявляются свойственные нашему коду ограничения. Назовём её вспомогательным (облегчающим нашу задачу) состоянием k (k =1,2,3, …m) системы, порождающей сообщение.

В этом состоянии следующим в сообщении может быть один из символов алфавита, входящий в (привязанный к этому состоянию) ограниченный их набор S_k, а после его генерации система может оказаться в другой ситуаций – в состоянии с номером l (l=1,2,3, … т.) и c другим набором разрешённых символов – набором S_l. На такой переход из состояния k в состояние l потребуется время, равное длительности соответствующего символа – символа из разрешённого набора S_k. Обозначим это время t{kl,S_k }. В фигурных скобках – всего лишь набор индексов (вместо единственного индекса «i» при t_i в выражении M(Т- t_i)) обозначающих, что имеется в виду длительность очередного символа, который разрешен в состоянии k (взят из набора S_k) в качестве очередного символа в составе формируемого сообщения и переводит систему в состояние l.

Множество различных М_k(Т) сообщений длительностью Т, которые будут уже сформированы, когда система собирается, таким вот образом, покинуть состояние k, как и в предыдущем случае, состоит из нескольких подмножеств (выше мы их обозначали «типа M(Т- t_i)»), количество которых теперь определяется не объёмом алфавита, а только размерами разрешённой в данном состоянии его части – подмножеством S_k. Следовательно, это будут подмножества «типа M(Т- t{kl,S_k}», которые (для нахождения множества М_k(Т) ) следует сложить – просуммировать по разрешённым символам (S_k) и по возможным переходам (kl) в состояние l.

В совокупности это составит

М_l (Т) = M(Т- t{kl,S_k}) – более мощное, но всё еще подмножество сообщений длительностью Т, – ещё не множество М (Т) целиком. Дело в том, что система каждый раз уходит в состояние с номером l (l=1,2,3, … т) и все, здесь сказанное, относится к каждому из m состояний, а общее количество сообщений длительностью Т, которые формируются при всех (всего их т) ограничительных состояниях, будет состоять их т таких мощных подмножеств, каждое из которых мы сейчас видим отдельно:

М_l (Т) = M_k(Т- t{kl,S_k}), где l=1,2,3, … т и k=1,2,3, … т.

Вместо одного (при отсутствии ограничений) уравнения мы получили систему из т уравнений. Но особо задумываться над её решением, веря в общность закона экспоненциального возрастания количества сообщений, мы не будем. Мы снова подставляем в систему уравнений выражение

М_l (Т) = А_lW^T . Получаем: А_lW^T = А_kW^{(Т- t {kl,Sk}).}

Делим обе части равенства на W^T

А_l=А_kW ^{(-t {kl,Sk}).} Перенося всё вправо, мы смогли бы получить А_kW ^{(- t{kl,,Sk})} –А_l = 0 .

Это нам пока мало чем поможет. Но, если воспользоваться тем, что l и k - это номера одного множества состояний m, и поэтому в последнем выражении ничего не изменится, если его записать в виде

А_k [W ^{(- t{kl,Sk})} – δ_kl] = 0, где δ_kl = 1 при l = k и δ_kl = 0 при l k.

При такой записи, мы вправе рассматривать получившееся соотношение А_k [W ^{(- t{kl,Sk})} – δ_kl] = 0,

как систему из m линейных уравнений относительно неизвестных А_k, которые в соответствующих уравнениях имеют коэффициенты вида

[W ^{(- t{kl,Sk})} – δ_kl].

Линейная алгебра учит нас, что такая система уравнений имеет решение, если определитель, составленный из коэффициентов при неизвестныхравен нулю. Следовательно, мы сможем найти множество значений А_k, если решим уравнение: Δ{kl} = 0, где Δ{kl}a_kl – определитель, составленный из чисел a_kl = W ^{(- t{kl,Sk})} – δ_kl (коэффициенты представленного выше уравнения для нахождения А).

Находить множество значений А_k нам, как мы уже говорили выше, нет особой необходимости, но решить уравнение с подробно расписанным ниже определителем – придётся, ибо это решение даст нам интересующие нас значения W.

Приступим. a₁₁ =W ^{(- t{kl,Sk})} – δ₁₁ =W ^{(-t {1l,S1})} –1.

Остальные члены первой строки определителя имеют вид:

a_1k =W ^{(-t {kl,Sk})}, где (k = 2,3,..., m ).

Остальные члены первого столбца определителя имеют вид:

a_l1 =W ^{(-t {kl,Sk})}, где (l = 2,3,..., m ).

Самый последний член определителя имеет вид:

a_mm =W ^{(-t {mm,Sm})} – 1.

Запишем теперь, насколько это возможно на (см. следующмй лист) одном листе, определитель в целом. Этот, на первый взгляд громоздкий, но очень полезный математический объект позволяет найти W для любых кодов с фиксированными ограничениями.

При решении частных задач он выглядит не так громоздко и приводит к вполне решаемым уравнениям.

W^{- t{11,S1}} –1; W^{- t {21, S2}}; W^{- t {31, S3}}; … W^{- t {m1, Sm}}.

W^{- t {12,S1}} ; W^{- t {22,S2}} –1; W^{- t{31, S3}};… W^{- t{m2, Sm}}.

W^{- t {13, S1}} ; W^{- t {23, S2}}; W^{- t {33,S3}} –1; …W^{- t {m2, Sm}}. = 0

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

W^{- t {1m,S1}}; W^{- t {3m, S2}}; W^{- t {3m, S3}};… W^{- t{m,m,Sm}} –1.

(I.21)

Например, применительно к уже рассмотренному (см. лист 71) коду, состоящему из N символов и не имеющему других ограничений, можно рассуждать следующим образом.

Имеется единственное состояние Sk = S₁, в котором разрешены все символы алфавита с длительностями t_i (i =1,2,3, …N) .

Из всех членов нашего определителя, каждый из которых выражается соотношением a_kl = W ^-t{kl,Sk} W^-t, в соответствии с только что сформулированными особенностями конкретного кода, остаётся

a₁₁ = W ^{- t{11, S1}} – δ₁₁ – единственный член, который в привычных для этого случая обозначениях принимает вид: W ^{- ti} – 1

( i = 12,3, N), а уравнение для нахождения W будет выглядеть

W ^{- ti} –1 = 0 или 1– W^{- t1} – W^{– t 2} – W ^{– t3} – . . . – W^{- tN} = 0 .

Это уже знакомое нам (I. 18) характеристическое уравнение для W.

В другом знакомом нам частном случае, применительно к азбуке Морзе, общее выражение для членов определителя

a_kl = W ^{– t {11, S1}}– δ_kl упрощается при следующих рассуждениях.

Имеется всего два состояния S₁ и S₂. Значит, нужно «конструировать» определитель 2х2.

В первом состоянии разрешены все четыре символа алфавита, имеющие длительности в 2, 3, 4 и 6 малых временных интервалов. При этом два из них (длительностью 2 и 4) оставляют систему в этом же (первом) состоянии, а два других – переводят во второе. Следовательно, в первом столбце нашего определителя появляются два члена:

a₁₁ = W^-t{11,S1} = W^-2 + W^-4 – 1 и

a₁₂ = W^-t{l2,S1}= W^-3 + W^-6

Во втором состоянии нет символов, которые сохраняли бы это состояние. Следовательно, a₂₂ = – δ₂₂ = – 1.

Из второго состояния в первое система может быть возвращена двумя символами (точкой и тире, длительностью 2 и 4 интервала, соответственно). Поэтому

a₂₁ = W^-t{21,S2}= W^-2 + W^-4 . Окончательно имеем:

a _11; a_21. W^-2 + W^-4 – 1 ; W^-2 + W^-4 .

= = a₁₁a₂₂ – a₂₁a₁₂ = 0

a_12; a_22. W^-3 + W^-6 ; – 1 .

или 1 – W^-2 – W^-4 – W^-5 – W^-7 – W^-8 – W^-10 = 0

Решение этого уравнения (подбором, например) даёт W = 1,453.

Для завершения темы (рассмотрения методов отыскания W для разных кодов) нам остаётся выяснить, как это делается в случае использования кодов с вероятностными ограничениями.

В поисках ответа на этот вопрос проведём следующие рассуждения.

Представим, что мы имеем единственное и очень длинное (очень длинное означает, что n – большое число, в смысле закона больших чисел) сообщение, состоящее из n символов некоего алфавита с объёмом N и вероятностными ограничениями. Последнее означает, что каждый символ этого алфавита встречается в этом сообщении с определённоё частотой точно так же, как и их сочетания по два, по три и т. д. Наличие таких сочетаний может трактоваться, как взаимосвязь между стоящими рядом в составе сообщения символами выбранного алфавита. Очевидно, что такие сочетания повторяются в нашем сообщении тем реже, чем больше букв в такие сочетания входят, что может трактоваться, как ослабление взаимовлияния между символами по мере удаления их в составе сообщения друг от друга. Таким образом, можно считать, что два символа, между которыми в нашем сообщении расположены р (множество, размер которого обусловлен присущим выбранному коду исходными вероятностями) других символов, совершенно не зависят друг от друга.

Далее предположим, что мы мысленно разделили наше сообщение на относительно короткие отрезки по q символов в каждом. Всего таких коротких слов-сообщений в составе нашего длинного сообщения окажется r = n/q. Но таких, что отличаются друг от друга будет всего S = N^q . Этот набор можно рассматривать в качестве нового (расширен-ного) алфавита, которым мы переписали наше сообщение. В каждый символ нового алфавита входят q символов старого – алфавита с объёмом N. Следовательно, объём нового алфавита S = N^q, а его буквы L(q)_S (разные слова-сообщения длиной в q символов) будут повторяться в нашем единственном очень длинном сообщении (в общей череде из r новых символов) по k_S раз, соответственно.

Очевидно, что для нового алфавита существует определённый набор Р_S вероятностей появления его символов L(q)_S в сообщениях, которые будут, вообще, составляться из этого алфавита. При этом Р_S =1.

Кроме того, и в нашем единственном сообщении определяющими станут эти же вероятности Р_S, следовательно, каждое слово L(q)_S повторится k_S = r Р_S раз (это потому, что частота повторения каждого слова k_S/r – это и есть доля таких слов в общем их множестве r, вероятность их появления в составе длинного сообщения т. е. Р_S= k_S/r, откуда k_S = r Р_S).

Теперь – главное. Если предварительно выбрать q > р, то символы нового алфавита L(q)_S (короткие слова-сообщения) будут совершенно независимы друг от друга, а это значит, что наше единственное сообщение – один из возможных вариантов сообщений длинной в r символов, которые можно составить из символов нового алфавита и которые будут отличаться друг от друга различными наборами чисел k_S = r Р_S.

Благодаря независимости слов-сообщений количество таких различных наборов, каждый из которых являет собой большое сообщение, подобное рассматриваемому нами единственному сообщению, можно подсчитать по упоминавшейся выше (см. лист 67) формуле о количестве возможных сочетаний

M = k!/k₁!x k₂!x k₃!x _… x k_m!. В нашем случае k! = r!, а

k₁!x k₂!x k₃ x _… x k_m! ≡ k₁!x k₂!x k₃!x _… x k_s!

Наконец, в нашем случае M – это количество возможных различных сообщений, подобных нашему единственному сообщению, - сообщений состоящих из r новых символов или из n символов исходного алфавита, следовательно, M ≡ М(n) –количество сообщений, которое мы намеревались искать с самого начала.

Таким образом, М(n) = r!/k₁!xk₂!xk₃!x _… xk_s! ≡ r!/П_S(r Р_S)!

(в знаменателе – произведение из s штук факториалов).

Для приведения этого выражения к привычному для нас виду (I.19) М(Т) = АW^T воспользуемся формулой Стирлинга, для факториала большого (в смысле закона больших чисел) числа (например, числа r = n/q , которое - большое потому, что n большое, а q – не очень).

Для числа [М(n)] ≡ r!/ П_S(r Р_S)! имеем:

log[М(n)] = log (r!) – log (rР_S)!

Формула Стирлинга даёт: log(r!)=(r+) logr – r + log2π

Для большого числа (r Р_S)! – аналогично:

log (r Р_S)! =(r Р_S +) logr Р_S – r Р_S +log2π.

Развернём и упростим эти выражения.

Начнём с бывшего числителя нашего выражения.

log(r!) = r logr +logr – r +log2π

Для каждого слагаемого суммы, представляющей собой логарифм знаменателя, имеем: log(rР_S)! = (rР_S +) logrР_S – rР_S +log2π=

= rР_S logr + rР_S nР_S +logr +logР_S – rР_S +log2π.

Для суммы в целом log(r Р_S)! ≡

≡[r Р_S logr + rР_S logР_S +logr +logР_S – rР_S +log2π] =

= rlogrР_S+rР_SlogР_S –rР_S+logР_S+logr +log2π

(для последних двух слагаемых уже проведено суммирование по s ).

Множество вероятностей Р_S по своему статусу обязано подчиняться условию нормировки Р_S = 1, следовательно, первое третье слагаемые можно переписать без сомножителя Р_S .Что касается второго слагаемого, то оставим его пока без изменения, хотя Р_S logР_S определённо напоминает что-то знакомое. Итак:

log(r Р_S)! =rlogr+rР_SlogР_S –r+logr +logР_S+log2π .

Пришло время собрать всё воедино

log[М(n)] = log(r!) – log(rР_S)!. Далее получаем:

log[М(n)] = rlonr +logr– r +log2π – rlogr –

– rР_S logР_S + r –logr –logР_S–log2π .

После приведения подобных (подчёркнуты) в фигурных скобках , имеем: log[М(n) = {– rР_S logР_S + logА}.

Теперь выражение – rР_SlogР_S узнаваемо окончательно – это энтропия Н(s) источника при её записи в параметрах расширенного алфавита

Н(s) = – rР_SlogР_S

Далее здесь обозначено:

–logr –logР_S –log2π = logА, откуда видно, что число А оказывается дробью вида А={[2π]^(S-1/2) r^(S-1/2)П_S(Р_S)}^-1 – числом не очень большим и от n не зависящим).

Таким образом, мы получаем соотношение

log[М(n) = logА +{–rР_SlogР_S } logА + Н(s), которое можно использовать для нахождения (вычисления) множества М(n) различных эргодических сообщений, составленных из одинакового количеств n символов первичного алфавита, которое (соотношение) после некоторых очевидных преобразований, принимает привычный для нас вид:

М(n) = Ах2^Н(S)= Ах2^rН(S)/q=Ах2^nh(q), где, как мы знаем, r = n/q, а h(q) = Н(s)/q = h(q) h(n) = – Р_n logР_n обозначена, так в знак того, что выглядит энтропией источника, сообщения от которого кодируются словами-символами, составленными из q символов первичного алфавита.

Учтём также, что Т = nτ (где Т – время формирования сообщения из n символов, а τ – усреднённая длительность этих символов – символов первичного алфавита) и что h(q) h(n) – энтропия источника, выраженная через объём и вероятности первичного алфавита (количество информации на один старый первичный символ). При таком учёте

М (Т) = АW^Т, где W =2^[h(n)]/τ. (I. 22)

Это соотношение, которое получено при рассмотрении сообщений, составленных из символов первичного алфавита с вероятностными ограничениями, но оно имеет всеобщее значение – применимо всегда.

Действительно, и в случае использования кодов с фиксированными ограничениями в очень длинном сообщении всегда возможно выделение таких не очень коротких (размером в q₁ первичных символов) слов-сообщений, которые будут независимы друг от друга и смогут, как в проведённых нами выше рассуждениях, могут стать символами расширенного алфавита. В этом случае все проведённые выше рассуждения и вытекающие из них вводы сохраняют свой смысл.

Теперь, когда мы знаем, как искать W для любых кодов, которые возможны вообще, пришло время поговорить о том, зачем это нужно и почему это важно. Представим себе реальный источник информации – некую материальную систему с определённым репертуаром (это – ансамбль состояний S_i, который на языке статистической теории информации может называться первичным естественным алфавитом нашей системы). У этой системы – вполне определённая природа (например, это – стационарный дискретный эргодический источник) что позволяет ожидать от неё определённых линий поведения: цепочек состояний определённого характера, по которым узнаётся типичное поведение системы.

Если иметь в виду некоторый период Т в жизни системы, то ансамбль состояний S_i и природа нашей системы (ограничения на свободу её поведения) позволяют ожидать от неё множества М (Т) = АW_S^Т сценариев её поведения на таком временном промежутке. При больших Т (Т ) эти сценарии равновероятны. В таком случае множество М(Т) можно рассматривать в качестве «слов-символов» гигантского алфавита с объёмом N_г = АW_S^Т, и мы вправе записать, что разнообразие поведения нашей системы (её ценность, как источника информации) может быть охарактеризована мерой Хартли

H_г = logN_г= logМ (Т ) = log{АW_S^Т}=

= [logА + ТхlogW_S]

(здесь А меняется медленно, скоро оказывается (и остаётся) много меньшим второго слагаемого).

Окончательно имеем H_гиг  Тхlog W_{S .}

От некоторой неопределённости () и не очень приятной в практическом смысле бесконечности, возникающей с ростом Т, нас может избавить оценка темпов проявления такого разнообразия, путём вычисления величины С_и, которая называется информационной производительностью стационарного эргодического дискретного источника с памятью (limlogМ(Т )= limlog{АW_S^Т}=

={ lim logА+ lim ТLogW_S}= 0 + logW_S)

и измеряет скорость воспроизводства информации таким источником.

С_и= logW_S (I. 23

Производительность источников информации измеряется в единицах, которая называется «бит в секунду».

Только, что изложенный материал подтверждает неоднократно высказываемые выше соображения о важности параметра W и не существенности коэффициента А при рассмотрении источников информации.

Это же относится и к ситуациям, в которых рассматриваются не источники информации, а вторичные коды, в которых представляются рассказывающие о поведении источников сообщения. В таких ситуациях в вычислениях по только что представленной методике фигурирует не обусловленная природой реального источника константа W_S, а параметр W_кода, который обусловлен ограничениями, свойственными рассматриваемому коду, а результатом вычислений оказывается измеряемая в тех же единицах величина С_к, которую называют пропускной способностью кода С_к= Log W_кода. (I.24)

Позже мы убедимся, что, именно, код, используемый, в некоторой системе связи, и определяет её пропускную способность, следовательно, соотношение С_к = Log W_к. – описывает одно из основных свойств каналов связи и свойство это целиком обуславливается свойствами использующихся в них кодов. Именно поэтому, всё, что мы здесь с Вами узнали о способах исследования кодов в целях определения W_к – знания весьма полезные для инженера.