Функции Ляпунова для основного кинетического уравнения

Для основного кинетического уравнения существует богатое семейство выпуклых функций Ляпунова — монотонно меняющихся со временем функций распределения вероятностей. Пусть  — выпуклая функция одного переменного. Для любого положительного распределения вероятностей ( ) определим функцию Моримото :

.

Производная по времени, если удовлетворяет основному кинетическому уравнению, есть

.

Последнее неравенство справедливо из-за выпуклости .

Примеры функций Моримото

• , ;

эта функция — расстояние от текущего распределения вероятностей до равновесного в -норме. Сдвиг по времени является сжатием пространства вероятностных распределений в этой норме. (О свойствах сжатий см. статью Теорема Банаха о неподвижной точке.)

• , ;

эта функция — (минус) энтропия Кульбака (см. Расстояние Кульбака — Лейблера). В физике она соответствует свободной энергии, деленной на (где  — постоянная Больцмана,  — абсолютная температура):

если (распределение Больцмана), то

.

• , ;

эта функция — аналог свободной энергии для энтропии Бурга, широко используемой в обработке сигналов:

• , ;

это квадратичное приближение для (минус) энтропии Кульбака вблизи точки равновесия. С точностью до постоянного во времени слагаемого эта функция совпадает с (минус) энтропией Фишера, которую даёт следующий выбор,

• , ;

это (минус) энтропия Фишера.

• , ;

это один из аналогов свободной энергии для энтропии Тсаллиса. Энтропия Тсаллиса (Tsallis entropy)

служит основой для статистической физики неэкстенсивных величин. При она стремится к классической энтропии Больцмана — Гиббса — Шеннона, а соответствующая функция Моримото — к (минус) энтропии Кульбака.

Цепи Маркова

Пусть { , , ..., } - множество состояний некоторой физической системы. В любой момент времени система может находиться в одном состоянии и меняет свое состояние только в моменты , , ..., , .... Для однородных цепей Маркова вероятность перехода системы из состояния в состояние за один шаг зависит только от того, из какого состояния в какое осуществлялся переход.

Вероятности перехода удобно располагать в виде матрицы. Обозначим ее

и будем называть матрицей перехода однородной цепи Маркова за один шаг. Матрица P обладает следующими свойствами:

а) б) ( = 1, 2, ..., ;

т.е. сумма элементов каждой строки матрицы перехода равна единице. Квадратные матрицы, для которых выполняются условия а) и б), называются стохастическими.

Вектор , где - вероятность появления состояния ( = 1, 2, ..., в начальном испытании, называется вектором начальных вероятностей.

Свойства однородных марковских цепей полностью определяются вектором начальных вероятностей и матрицей вероятностей перехода. В некоторых случаях вместо матрицы P используют ориентированный граф, вершинами которого являются состояния цепи, а стрелка, идущая от состояния в состояние с числом рядом с ней, показывает, что из состояния возможен переход в состояние с вероятностью . В том случае, когда 0, соответствующее ребро не проводится. В случае однородных цепей Маркова с вектором начальных вероятностей появляется еще начальная вершина графа, которая соединяется с состоянием ребром с числом рядом с ним.

Можно показать, что матрица перехода P за шагов находится как .

Если из состояния система может перейти в состояние с положительной вероятностью за конечное число шагов, то говорят, что достижимо из . Состояние называется существенным, если для каждого состояния , достижимого из достижимо из . В противном случае называется несущественным состоянием.

Понятие марковской цепи принадлежит русскому математику А.А. Маркову, чьи первые статьи по этому вопросу при решении лингвистических проблем были опубликованы в 1906-1908 гг.

Пример 51. Частица, находящаяся на прямой, движется по этой прямой под влиянием случайных толчков, происходящих в моменты , , , ...Частица может находиться в точках с целочисленными координатами 1, 2, 3, 4, 5; в точках 1 и 5 находятся отражающие стенки. Каждый толчок перемещает частицу вправо с вероятностью и влево с вероятностью , если частицы не находятся у стенки. Если же частица находится у стенки, то любой толчок переводит ее на единицу внутрь промежутка [1,5]. Найти матрицу перехода P и ей соответствующий граф.

Решение. Пусть , = 1, 2, 3, 4, 5. Тогда граф перехода выглядит следующим образом:

Рис. 33

а матрица перехода -

Пример 52. Вероятности перехода за один шаг в цепях Маркова задаются матрицей:

Требуется:

а) найти число состояний;

б) установить, сколько среди них существенных и несущественных;

в) построить граф, соответствующий матрице P.

Решение.

а) 4 состояния.

б) состояния , несущественны, поскольку остальные состояния достижимы из них, но недостижимо из , а недостижимо из ; состояния и являются существенными.

в)

Рис. 34

Пример 53 (задача о скрещивании). В близко родственном скрещивании две особи, и среди их прямых потомков случайным образом выбираются две особи разного пола. Они вновь скрещиваются, и процесс этот продолжается бесконечно. Каждый родительский ген может передаваться с вероятностью , и последовательные испытания независимые. Имея три генотипа AA, Aа, аа для каждого родителя, мы можем различать шесть комбинаций родителей, которые пометим следующим образом:

=AA AA, = AA Aа, = AA аа, = Aа Aа, = Aа аа, = аа аа. Найдите граф и матрицу перехода.

Решение. Рассмотрим, какое потомство и с какой вероятностью может быть у особей разного пола, если они выбираются из .

Пусть = { -й потомок}, = 1, 2 и , - разного пола, тогда варианты потомков и их вероятности можно найти по следующему графу:

Рис. 35

Получаем, что

Аналогично, находим и вероятности других переходов:

Тогда искомый граф перехода выглядит следующим образом:

Рис. 36

а матрица перехода -

Пример 54. Матрица вероятностей перехода цепи Маркова имеет вид:

Распределение по состояниям в момент времени = 0 определяется вектором . Найти распределения по состояниям в момент = 2.

Решение. Построим граф, соответствующий вектору начальных вероятностей и матрице перехода:

Рис. 37

По этому графу находим распределение по состояниям в момент = 2:

= (0,6 (0,2) + 0,6 0,3 0,5+0,6 0,5 0,6)+(0,1 0,5 0,2+0,1 0,2 0,5 +0,1 0,3 0,6)+(0,3 0,6 0,2+(0,3) 0,6)+(0,3 0,1 0,5)=0,437;

= (0,1 (0,2) +0,1 0,5 0,3+0,1 0,3 0,1)+0,6 0,3 0,2+0,6 0,2 0,3 +0,6 0,5 0,1)+(0,3 0,1 0,2+(0,3) 0,1+0,3 0,6 0,3)=0,193;

= 0,37.

Пример 55. Доказать, что P = P для двух состояний цепи Маркова.

Решение. Пусть цепь Маркова с двумя состояниями и задана своей матрицей перехода P:

Докажем утверждение методом математической индукции.

Пусть = 2. Тогда

Вероятности перехода за два шага удобно находить по графу перехода:

Рис. 38

Следовательно, P = P , и первый шаг метода математической индукции выполняется. Предположим далее, что при проверяемое утверждение истинно, т.е. P = P , тогда матрица перехода за +1 шаг P = P P = P P = P , что и требовалось доказать.

Вопросы для самоконтроля

1. Что такое цепь Маркова?

2. Какие цепи Маркова называются однородными?

3. Как задаются однородные цепи Маркова?

4. Какие матрицы называются стохастическими?

5. Граф перехода цепи Маркова.

6. Как находится матрица перехода за шагов?

7. Какое состояние системы называется существенным?

8. Вектор начальных вероятностей.

Задачи

I 101. Вероятности перехода задаются матрицей

Чему равно число состояний? Найти вероятности перехода из одного состояния в другое за два шага.

  102. Дана матрица вероятностей перехода

и вектор начальных вероятностей Найти распределение по состояниям в момент = 2.

  103. Система находится в одной из вершин правильного шестиугольника, причем в соседние вершины она переходит с вероятностью 1/6, а в противоположную - с вероятностью 2/3. Найти матрицу и граф перехода.

  104. Матрица вероятностей перехода цепи Маркова имеет вид

Вектор начальных вероятностей Найти вероятность того, что через два шага система будет находиться в состоянии .

  105. Частица находится в одном их трех состояний , , , которые выбираются в начальный момент с вероятностями 1/2, 1/3, 1/6 соответственно. Под воздействием случайных толчков система переходит в другое состояние с вероятностью 1/4 и остается на месте с вероятностью 1/2. Найти вероятность того, что через два толчка система будет находиться в состоянии .

  106. Вероятности перехода за один шаг в цепи Маркова задаются матрицей

Найти число состояний и определить среди них существенные и несущественные. Построить граф, соответствующий матрице P.

II 107. Бросаем игральную кость и условимся, что в момент система находится в состоянии E , если - наибольшее из чисел, выпавших в первых бросаниях. Найти матрицу перехода P и ей соответствующий граф.

  108. Рассмотрим последовательность испытаний Бернулли и определим, что в момент времени наблюдается состояние , если испытания с номерами привели к результату YY. Аналогично , , означают переходы YH, HY, HH. Найти матрицу перехода P и все ее степени.

III 109. Доказать, что для однородной цепи Маркова с матрицей вероятностей перехода P = (p имеют место следующие соотношения:

а)

б) P = P .

  110. В двух отделениях ящика находятся четыре шара. Каждую минуту случайным образом выбирается отделение и из него перекладывается в другое отделение один шар. В качестве состояний марковской цепи рассматривается число шаров в первом отделении. Найти матрицу перехода из состояния в состояние за один шаг.

Из множества видов исследованных ныне случайных процессов важное место занимают марковские процессы, которые характеризуются свойством отсутствия последействия. Это свойство проявляется в том, что для предсказания вероятностного характера в будущем достаточно знать состояние процесса в настоящий момент независимо от того, когда и как процесс перевел в это (настоящее) состояние. Различают марковские процессы с дискретным и непрерывным временем. Цепью Маркова с дискретным временем называют цепь, изменение состояний которой происходит в определенные дискретные моменты времени, а в цепи Маркова с непрерывным временем изменения состояний могут происходить в любые случайные моменты. Рассмотрим систему, состоящую из трех измерительных комплектов (Ж), контролирующих параметры технологического процесса. Результаты измерений подаются в центральный управляющий вычислительный комплекс АСУ через фиксированные интервалы времени Т. В момент передачи измерительных сигналов система может находиться в различных состояниях, характеризующихся количеством неисправных ИК (рис. 2. 15). Состояние Е₀ соответствует исправному состоянию всех трех ПК. За время Т система может остаться в этом состоянии с вероятностью P₀₀ или же перейти в другие состояния Е_i, (i =1, 2, 3), при которых неисправны i измерительных комплектов с соответствующими вероятностями Р_0i. При нахождении системы в состоянии е_i она может перейти в другое состояние с вероятностью P_ij или остаться в прежнем состоянии с вероятностью P_ij. Система считается работоспособной, если исправны не менее двух приборов. В этом случае из трех потоков сигналов методом выбора по большинству выбираются идентичные сигналы, которые принимаются за истинные. При наличии хотя бы двух исправных ПК измерительные сигналы с их выходов будут идентичными. Сигналы третьего ИК при этом в расчет приниматься не будут. Такая система является реализацией так называемого метода мажоритарного резервирования, применяемого для повышения надежности работы системы. Очевидно, состояния Е₀, Е₁ будут соответствовать случаю, когда система работоспособна, а состояния Е₂, Е₃— случаю отказа системы. Описанный процесс является марковским с дискретным временем переходов из одного состояния в другое. Следует иметь в виду относительную условность такого рассмотрения. Отказы в отдельных ИК могут наступать в любые случайные непрерывные моменты времени. Если эту систему рассматривать с точки зрения организации ремонтных работ, то она должна рассматриваться как цепь Маркова с непрерывным временем, когда сразу же после возникновения неисправности необходимо приступать к восстановлению отказавшего комплекта. В рассматриваемом же случае нас интересуют лишь состояния системы в фиксированные моменты времени, когда надо передавать результаты измерений. Промежуточные состояния и переходы системы внутри интервала t _i  t _i + 1 (t _i + 1 – t _i = Т), нас не интересуют. С этой точки зрения рассматриваемая система относится к цепи Маркова с дискретным временем. Таким образом, рассматривае мая система, в зависимости от методов ее анализа, может рассматриваться как цепь Маркова с непрерывным или дискретным временем. Для определения марковской цепи необходимо знать совокупность начальных состояний Р _i, соответствующих нахождению системы в начальный момент времени в состоянии Е_i. Кроме того, для установления зависимостей, связывающих каждую пару состояний (Е_i , Е_j), составляется матрица вероятностей переходов:

P =	Р11	Р12	...	Р1n
	Р21	Р22	...	Р2n
	...	...	...	...	,
	Рn1	Рn2	...	Рnn

где для каждого фиксированного значения I, так как каждая строка матрицы состоит из вероятностей, составляющих полную группу событий переходов из состояния i в любое возможное состояние j, включая j = n. Данная матрица называется стохастической. Если характеристики установившегося режима не зависят от начальных вероятностей Р_i (0), то такая марковская цепь называется эргодической. Процесс моделирования рассмотренной цепи Маркова состоит в получении последовательности состояний Е₁ , Е₂ ... Е_n в соответствии с заданной матрицей переходов. Алгоритм моделирования будет основан на определении марковской цепи, а именно на том, что исход каждого последующего перехода зависит только от результата предыдущего. При моделировании необходимо взять (n+1) участков (0, 1). Первый участок разбивается на отрезки в соответствии с вероятностями начальных состояний системы P_i (0), Остальные участки разбиваются на отрезки в соответствии с переходными вероятностями, соответствующими строкам матрицы P_1i , P_2i , ... , P_ni (рис. 2.16). При моделировании вначале определяется начальное состояние системы. Для этого разыгрывается случайное число r , равномерно распределенное на участке (0, 1), Затем, согласно вышеописанной процедуре моделирования дискретной случайной величины, определяется состояние S_k , исходя из условия р_к (0) < r < P_k+1 (0) для первого участка. Вновь разыгрывается следующее случайное число и сравнивается с вероятностями К, строки матрицы Р_ki . Состояние системы не изменится при условии Р_к,к < r < Р_к,к+1 или осуществится переход в следующее состояние при условии p_kj < r < p_{kj + i} . Дальнейшие шаги моделирования идентичны. При большом числе испытаний N система L_k раз будет находиться в К состоянии. Отношение L_k /N будет соответствовать вероятности К состояния (P(S_k) = L_k /N). Коэффициент готовности системы для рассматриваемого примера будет определяться суммой вероятностей К_r = Р (S₀) + Р ( S₁ ). Таким образом, путем статистического моделирования можно определить вероятности отдельных состояний дискретной цепи Маркова, а на основе этих вероятностей — необходимые характеристики системы.

1 Таке нормування необхідне для того, щоб спростити процедуру випробувань. Усі сучасні мови моделювання та програмування загального призначення мають вбудовані засоби генерування рівномірно розподілених незалежних випадкових величин у інтервалі [0, 1].

2 Коефіцієнт варіації С — це відношення стандартного відхилення до математичного сподівання випадкової величини.