4.2. Відтворимо алгоритм в пакеті Mathcad.

Функція підраховує частоти різних станів в траєкторіях ланцюга Маркова, кожна з яких містить кроків. Рядки відповідають станам, а стовпці – номеру кроку. На їх перетині стоїть частота даного стану на цьому кроці.

Наступні функції проводять аналітичний розрахунок ланцюга Маркова (рис. 3.3). Стаціонарні ймовірності станів ергодичного ланцюга Маркова, який має матрицю ймовірностей переходу – , вираховується функцією , згідно формулам (3.02), (3.03). Структура виданої матриці така ж, як і для попередньої функції.

Група функцій використовується для аналізу поглинаючих цілей Маркова. Функція вираховується по формулі (3.04) середнє число візитів в неповоротні стани аж до виходу ланцюга Маркова з множини неповоротних станів. Тут – матриця перехідних ймовірностей, представлена у вигляді (3.05), – число поворотних станів . Нагадаємо, що на початку нумеруються поворотні стани, так що перші рядків і стовпців матриці зв’язані з поворотними станами. Останні рядки і стовпці описують ймовірності переходів між неповоротними станами, число яких , де – загальне число станів ланцюга. Їм відповідає квадратична матриця розмірності . Вищезазначене число знаходиться за допомогою функції , яка описується нижче.

Функція розраховує ймовірності поглинання в різні поворотні стани, якщо на початковому кроці ланцюг Маркова знаходиться у визначеному неповоротному стані (3.06). У функції використовується матриця , що є під матрицею . Стовпці матриці відповідають поворотним, а рядки – неповоротним станам ланцюга Маркова, так що ця матриця дає ймовірності переходів за крок з кожного неповоротного в поворотний стан. Результатом роботи функції є матриця, стовпці якої відповідають поворотний станам, а рядки – неповоротний станам. На їх перетині стоїть ймовірність того , що для ланцюга Маркова, вихідного із розглянутого неповоротного стану, першим поворотним буде даний стан.

Заключні дві функції дозволяють визначать замкнуті класи поворотних і клас неповоротних станів ланцюга Маркова. Функція обчислює матрицю досяжності для станів згідно методу, наведеному в рис.3.3[9.229(8.5)]. Рядки і стовпці цієї матриці відповідають станам ланцюга Маркова. На перетині -го рядка і -го стовпця стоїть , якщо стан досяжно із стану , та – інакше.

Функція для кожного стану визначає номер замкнутого класу, до якого стан належить. Виключенням тут є стани, яким відповідає нульовий номер класу: ці стани є неповоротними. Нульовий рядок виведеної матриці містить номера станів, а наступний рядок – номера класів, до яких належать ці стани.