Детерминированная система без последствий

Детерминированная система без последствий - система состояние которой z(t) зависит только от z(t0) и не зависит от z(0) ... z(t0), т.е. z(t) зависит от z(t0) и не зависит от того каким способом система попала в состояние z(t0).

Для систем без последствия еее состояние можно описать как:

z(t)= H{t,t0,z(t0), (t, x_L]_t0^t},

где {(t, x_L]_t0^t} - множество всевозможных отрывков входных сообщений, соответствующих интервалу (t0, t]. H - оператор переходов системы.

tT, t0T, z(t0) Z, (t, x_L]_t0^t {(t, x_L]_t0^t}.

Формальная запись отображения:

T  T  {(t, x_L]_t0^t}  Z.

Начальные условия H{t0, t0, z(t0), (t, x_L]_t0^t0 } = z(t0).

Если (t, x_L1]_t0^t = (t, x_L2]_t0^t, то H{t0, t, z(t0), (t, x_L1]_t0^t } = H{t0, t, z(t0), (t, x_L2]_t0^t}

Если t0<t1<t2 и t0, t1, t2  T, то H{t0, t2, z(t0), (t, x_L]_t0^t2 } = H{t2, t1, z(t1), (t, x_L2]_t1^t2}, так как (t, x_L]_t0^t2 есть сочленение отрезков (t, x_L]_t0^t1 и (t, x_L]_t1^t2.

Оператор выходов системы G реализует отношение

{(t, t0)}  Z  (t, x_L)_T}  Y,

y(t) = G(t, t0, z(t0), (t, x_L2]_t0^t).

(x, y)  X  Y - расширенное состояние системы.

Динамическая система без последствий (динамическая система Кламана) -упорядоченное множество (T, X, Z, Y, {(t, x_L)_T, H, G), удовлетворяющие поставленным выше требованиям:

1. T является подмножеством действительных чисел.

2. {(t, x_L)_T}- множество отображений TX, удовлетворяющих сочленению отрезков.

3. Оператор переходов H реализует {(t, t0)}  Z  (t, x_L)_T}  Y.

4. Оператор выходов системы G задается видом y(t) = G(t, t0, z(t0), (t, x_L2]_t0^t).

Детерминированные системы без последствия с входными сигналами двух классов

Расширение понятие системы идет по трем путям:

1. учет специфики воздействий;

2. учет последствий;

3. учет случайных факторов.

Учет специфики воздействий

Вводится понятие управляющих сигналов u  U; u=M(t), или если сигнал u  U описывается набором характеристик. U = U₁  U₂  U_L.

Отличие от предыдущего случая, то что множество моментов времени t_u и t_x могут не совпадать.

Вводится расширенное множество X^*= X  U, таким образом состояние системы описывается вектором x = (x, u) = (x₁, x₂, .... , x_n, u₁, u₂, .... , u_L).

С учетом этого предыдущие формулы приобретают вид оператор переходов:

z(t)= H{t,t0,z(t0), (t, x_L, u_M]_t0^t}, или

z(t)= H{t,t0,z(t0), (t, x_L]_t0^t, (t, u_M]_t0^t }, что соответствует отображению

T  T  {(t, x_L]_T} {(t, u_M]_T}  Z.

Детерминированные системы с последствием

Большой класс систем характеризуется тем, что для представления их состояния необходимо знать состояние системы на некотором множестве моментов времени.

z(t)= H{t,(t_B0, z_)_t0, (t, x_L]_t0^t, (t, u_M]_t0^t },

{(t, t0)}  {(t_B0, z_)_t0}  Z  {(t, x_L]_T}  Z.

Где {(t_B0, z_)_t0} - семейство всевозможных состояний системы.

Стохастические системы

Системы функционирующие под воздействием случайных факторов, называются стохастическими. Для их описания вводится случайный оператор:

   - пространство элементарных событий с вероятностной мерой P(A).

Случайный оператор H₁, переводящий множество X в множество Z:

z = H₁(x, ), реализующий отображение множества  в множество {XZ }

Оператор переходов будет представлен соответственно:

z(t)= H₁{t,t0,z(t0, ₀), (t, x_L]_t0^t, `},

y(t) = G₁(t, z(t), `` ).

Где ₀, ’, ’’ - выбираются из  в соответствии с P₀(A), P_x(A), P_y(A).

При фиксированных ’, ’’ - система со случайными начальными состояниями.

При фиксированных ₀, ’’ - система со случайными переходами.

При фиксированных ₀, ’ - система со случайными выходами.

Агрегативное описание информационных систем. Кусочно-непрерывные и кусочно - линейные агрегаты.

Агрегат - унифицированная схема, получаемая наложением дополнительных ограничений на множества состояний, сигналов и сообщений и на операторы перехода, а так же выходов.

t  T - моменты времени; x  X - входные сигналы; u  U - управляющие сигналы; y  Y - выходные сигналы; z  Z - состояния, x(t), u(t), y(t), z(t) - функции времени.

Агрегат - объект определенный множествами T, X, U, Y, Z и операторами H и G реализующими функции z(t) и y(t). Структура операторов H и G является определяющей для понятия агрегата.

Вводится пространство параметров агрегата b=(b1, b2, ...,bn)  B.

Оператор выходов G реализуется как совокупность операторов G` и G``. Оператор G` выбирает очередные моменты выдачи выходных сигналов, а оператор G`` - содержание сигналов.

у=G``{t, z(t),u(t),b}.

В общем случае оператор G`` является случайным оператором, т.е. t, z(t), u(t) и b ставится в соответствие множество y с функцией распределения G``. Оператор G` определяет момент выдачи следующего выходного сигнала.

Операторы переходов агрегата. Рассмотрим состояние агрегата z(t) и z(t+0).

Оператор V реализуется в моменты времени t_n , поступления в агрегат сигналов x_n(t). Оператор V1 описывает изменение состояний агрегата между моментами поступления сигналов.

z(t’_n + 0) = V{ t’_n, z(t’_n), x(t’_n), b}.

z(t) = V1(t, t_n, z(t+0),b}.

Особенность описания некоторых реальных систем приводит к так называемым агрегатам с обрывающимся процессом функционирования. Для этих агрегатов характерно наличие переменной соответствующий времени оставшемуся до прекращения функционирования агрегата.

Все процессы функционирования реальных сложных систем по существу носят случайный характер, по этому в моменты поступления входных сигналов происходит регенерация случайного процесса. То есть развитие процессов в таких системах после поступления входных сигналов не зависит от предыстории.

Автономный агрегат - агрегат который не может воспринимать входных и управляющих сигналов.

Неавтономный агрегат - общий случай.

Частные случаи агрегата:

Кусочно-марковский агрегат - агрегат процессы в котором являются обрывающими марковскими процессами. Любой агрегат можно свести к марковскому.

Кусочно-непрерывный агрегат - в промежутках между подачей сигналов функционирует как автономный агрегат.

Кусочно-линейный агрегат. dz_v(t)/dt = F^(v)(z_v).

Представление реальных систем в виде агрегатов неоднозначно, в следствие неоднозначности выбора фазовых переменных.

Иерархические системы

Иерархический принцип построения модели как одно из определений структурной сложности. Иерархический и составной характер построения системы.

Вертикальная соподчиненность.

Право вмешательства. Обязательность действий вышестоящих подсистем.

Страты - уровни описания или абстрагирования. Система представляется комплексом моделей - технологические, информационные и т.п. со своими наборами переменных.

Слои - уровни сложности принимаемого решения:

1. срочное решение;

2. неопределенность или неоднозначность выбора.

Разбитие сложной проблемы на более простые: слой выбора способа действия, слой адаптации, слой самоорганизации.

Многоэшелонные системы. Состоит из четко выраженных подсистем, некоторые из них являются принимающими решения иерархия подсистем и принятия решений.

Декомпозиция на подсистемы - функционально-целевой принцип, декомпозиция по принципу сильных связей.

Количественное определение информации.

Уровни (описания систем. При создании и эксплуатации сложных систем требуется проводить многочисленные исследования и расчеты, связанные с:

• оценкой показателей, характеризующих различные свойства систем;

• выбором оптимальной структуры системы;

• выбором оптимальных значений ее параметров.

Выполнение таких исследований возможно лишь при наличии математического описания процесса функционирования системы, т. е. ее математической модели.

Сложность реальных систем не позволяет строить для них «абсолютно» адекватные модели. Математическая модель (ММ) описывает некоторый упрощенный процесс, в котором представлены лишь основные явления, входящие в реальный процесс, и лишь главные факторы, действующие на реальную систему.

Какие явления считать основными и какие факторы главными — существенно зависит от назначения модели, от того, какие исследования с ее помощью предполагается проводить. Поэтому процесс функционирования одного и того же реального объекта может получить различные математические описания в зависимости от поставленной задачи.

Так как ММ сложной системы может быть сколько угодно много и все они определяются принятым уровнем абстрагирования, то рассмотрение задач на каком-либо одном уровне абстракции позволяет дать ответы на определенную группу вопросов, а для получения ответов на другие вопросы необходимо провести исследование уже на другом уровне абстракции. Каждый из возможных уровней абстрагирования обладает ограниченными, присущими только данному уровню абстрагирования возможностями. Для достижения максимально возможной полноты сведений необходимо изучить одну и ту же систему на всех целей сообразных для данного случая уровнях абстракции.

Наиболее пригодными являются следующие уровни абстрактного описания систем:

• символический, или, иначе, лингвистический;

• теоретико-множественный;

• абстрактно-алгебраический;

• топологический;

• логико-математический;

• теоретико-информационный;

• динамический;

• эвристический.

Условно первые четыре уровня относятся к высшим уровням описания систем, а последние четыре — к низшим.

Энтропия и информационные характеристики дискретного источника (независимые сообщения).

Энтропия и информационные характеристики дискретного источника (зависимые сообщения).

До сих пор определялось количество информации, содержащееся в отдельных сообщениях. Вместе с тем во многих случаях, когда требуется согласовать канал с источником сообщений , таких сведений оказывается недостаточно. Возникает потребность в характеристиках, которые позволяли бы оценивать информационные свойства источника сообщений в целом. Одной из важных характеристик такого рода является среднее количество информации, приходящееся на одно сообщение. В простейшем случае, когда все сообщения равновероятны, количество информации в каждом из них одинаково и определяется выражением:

При этом среднее количество информации равно logm . Следовательно, при равновероятных независимых сообщениях информационные свойства источника зависят только от числа сообщений в ансамбле m.

Однако в реальных условиях сообщения, как правило, имеют разную вероятность. Так, буквы алфавита О, Е, А встречаются в тексте сравнительно часто, а буквы Щ, Ы, Ъ — редко. Поэтому знание числа сообщений m в ансамбле является недостаточным, необходимо иметь сведения о вероятности каждого сообщения: P(a1),P(a2),…, P(am).

Так как вероятности сообщений неодинаковы, то они несут различное количество информации: J(ai) = - logP(ai) Менее вероятные сообщения несут большее количество информации и наоборот. Среднее количество информации, приходящееся на одно сообщение источника, определяется как математическое ожиданиеJ(ai).

Величина Н(а) называется энтропией. Этот термин заимствован из термодинамики, где имеется аналогичное по своей форме выражение, характеризующее неопределенность состояния физической системы. В теории информации энтропия Н(а) также характеризует неопределенность ситуации до передачи сообщения, поскольку заранее неизвестно, какое из сообщений ансамбля источника будет передано. Для нас самым существенным является то, что чем больше энтропия, тем сильнее неопределенность и тем большую информацию в среднем несет одно сообщение источника.

В качестве примера вычислим энтропию источника сообщений, который характеризуется ансамблем, состоящим из двух сообщений a1 и а2 с вероятностями P(a1)=pи P(a2)=1-p. На основании (6.10) энтропия такого источника будет равна:

Зависимость Н(а) от р показана на рис 6.1.

Рис. 6.1. Зависимость энтропии от вероятности

Максимум энтропии имеет место при p=1/2, т. е. когда ситуация является наиболее неопределенной. При р = 1 или р = 0, что соответствует передаче одного из сообщений а1, или а2, неопределенности отсутствуют. В этих случаях энтропия Н(а) равна нулю.

Среднее количество информации, содержащееся в последовательности из n-сообщений, равно:

Отсюда следует, что количество передаваемой информации можно увеличить не только за счет числа сообщений, но и путем повышения энтропии источника, т. е. информационной емкости его сообщений.

Обобщая эти результаты, можно сформулировать основные свойства энтропии источника независимых сообщений (6.10):

• энтропия — величина всегда положительная, так как

• при равновероятных сообщениях, когда:

энтропия максимальна и равна:

• энтропия равняется нулю лишь в том случае, когда все вероятности P(at) равны нулю, за исключением одной, величина которой равна единице;

• энтропия нескольких независимых источников равна сумме энтропии этих источников: H(a,b,...,r)=H(a)+ (b) + + ... + Н(r).

Энтропия источника зависимых сообщений

Рассмотренные выше источники независимых сообщений являются простейшим типом источников. В реальных условиях картина значительно усложняется из-за наличия статистических связей между сообщениями. Примером может быть обычный текст, где появление той или иной буквы зависит от предыдущих буквенных сочетаний. Так, например, после сочетания ЧТ вероятность следования гласных букв О, Е, И больше, чем согласных.

Статистическая связь ожидаемого сообщения с предыдущим сообщением количественно оценивается совместной вероятностью P(ak,aL) или условной вероятностью P(aL/ak), которая выражает вероятность появления сообщения aL при условии, что известно предыдущее сообщение аk. Количество информации, содержащейся в сообщении при условии, что известно предыдущее сообщение аk согласно (6.1), будет равно:

Среднее количество информации при этом определяется условной энтропией H(aL/ak), которая вычисляется как математическое ожидание информации J(aL/ak), по всем возможным сообщениям aL и ak).

Важным свойством условной энтропии источника зависимых сообщений является то, что при неизменном количестве сообщений в ансамбле источника его энтропия уменьшается с увеличением числа сообщений, между которыми существует статистическая взаимосвязь. В соответствии с этим свойством, а также свойством энтропии источника независимых сообщений можно записать неравенства:

Таким образом, наличие статистических связей между сообщениями всегда приводит к уменьшению количества информации, приходящейся в среднем на одно сообщение.

Избыточность и статистические свойства источников сообщений.

Мера избыточности показывает, насколько полно (эффективно) используются знаки данного источника Избыточность источника - следствие физических свойств источника. Естественная избыточность источника устраняется, а в случае необходимости увеличения помехоустойчивости при передаче сообщений вводится так называемая рациональная избыточность, позволяющая обнаружить и устранить ошибки.

Производительность источника сообщений - количество информации, вырабатываемое источником в единицу времени (скорость создания сообщений, поток входной информации). Наибольшая производительность источника будет достигаться при максимальной энтропии.

Количество и скорость передачи информации по дискретному каналу без помех.

Передача информации происходит во времени, поэтому можно ввести понятие скорости передачи как количество информации, передаваемой в среднем за единицу времени. Для эргодических последовательностей сообщений, где до пускается усреднение во времени, скорость передачи равна:

Здесь J(aT) — количество информации, содержащейся в последовательности сообщений aT, общая длительность которых равна Т, причем предполагается, что все сообщения, входящие в последовательность , имеют определенную длительность.

Количество информации, создаваемое источником сообщений в среднем за единицу времени, называется производительностью источника Rи. Эту величину удобно выразить через энтропию источника Н(а). Действительно, при T→0 можно считать J(aT)=n*H(a) и , где n — число сообщений, а — средняя длительность одного сообщения. Тогда, подставляя в (6.18) значения J(aT) и T, получим:

Величина для независимых сообщений может быть вычислена как математическое ожидание:

где P(τi)=P(ai) — вероятность сообщения ai длительностью τi. Если длительность всех сообщений одинакова и равна τi, выражение (6.19) принимает вид:

Отсюда следует, что наибольшей производительностью обладает источник с максимальной энтропией H(a)max=logm (см. (6.12)), т. е.:

Выданная источником информация в виде отдельных сообщений поступает в канал связи, где осуществляются кодирование и ряд других преобразований, в результате которых информация переносится уже сигналами и, имеющими другую природу и в общем случае обладающими другими статистическими характеристиками.

Для сигналов также может быть найдена скорость передачи по каналу связи:

Высокая скорость передачи является одним из основных требований, предъявляемых к системам передачи информации. Однако в реальных условиях существует ряд причин, ведущих к ее ограничению. Остановимся на некоторых из них.

В реальном канал е число используемых сигналов всегда конечно, поэтому энтропия в соответствии с (6.12) есть величина ограниченная:

С другой стороны, уменьшение длительности сигналов приводит, как известно, к расширению спектра, что ограничивается полосой пропускания канала. Это в конечном счете ставит предел уменьшению и средней длительности τ. Таким образом, существуют, по крайней мере, две причины: конечное число сигналов и конечная длительность сигналов, которые не позволяют беспредельно повышать скорость передачи информации по каналу связи.

Максимально возможная скорость передачи информации по каналу связи при фиксированных ограничениях называется пропускной способностью канала:

Пропускная способность канала характеризует его предельные возможности в отношении передачи среднего количества информации за единицу времени. Максимум скорости R в выражении (6.25) ищется по всем возможным ансамблям сигналов u. Определим пропускную способность канала, в котором существуют два ограничения: число используемых сигналов не должно превышать m, а длительность их не может быть меньше τ.

Так как Н(u) и независимы, то, согласно выражению (6.25), следует искать максимум Н(u) и минимум .

Тогда:

Для двоичных сигналов m-2 и пропускная способность

т. е. совпадает со скоростью телеграфирования в бодах. При передаче информации простейшими двоичными сигналами — телеграфными посылками — необходимая полоса пропускания канала зависит от частоты манипуляции Fm=1/2τ, которая по определению равна частоте первой гармоники спектра сигнала, представляющего собой периодическую последовательность посылок и пауз. Очевидно, минимальная полоса пропускания канала, при которой еще возможна передача сигналов, F = Fm . Отсюда максимальная скорость передачи двоичных сигналов по каналу без помех равна:

С = V = 2Fm

(предел Найквиста).

Понятие пропускной способности применимо не только ко всему каналу в целом, но и к отдельным его звеньям. Существенным здесь является то, что пропускная способность C’ какого-нибудь звена не превышает пропускной способности C’’ второго звена, если оно расположено внутри первого. Соотношение C’≤C’’обусловлено возможностью дополнительных ограничений, накладываемых на участок канала при его расширении и снижающих пропускную способность.