Основні поняття і терміни.

Марковський процес з дискретними станами – випадковий процес із скінченною або зліченною множиною станів, для якого за будь-якого моменту часу ймовірність кожного стану в майбутньому залежить тільки від стану процесу в теперішньому і не залежить від його поведінки в минулому.

Ланцюг Маркова – марковський процес з дискретними станами та дискретним часом.

Ймовірність переходу ланцюга Маркова – умовна ймовірність того, що після деякого кроку система виявиться в даному стані за умови, що після попереднього кроку вона перебувала в деякому іншому стані.

Однорідний ланцюг Маркова – ланцюг Маркова, для якого перехідні ймовірності не залежать від номера кроку.

Стохастична матриця – квадратна матриця, всі елементи якої невід’ємні і сума елементів будь-якого її рядка дорівнює одиниці.

Абсолютна ймовірність стану ланцюга Маркова – ймовірність того, що система після даного кроку до наступного буде перебувати в цьому стані.

Ймовірність переходу однорідного ланцюга Маркова за декілька кроків – умовна ймовірність того, що після деякого кроку система виявиться в даному стані за умови, що на початковому кроці вона перебувала в деякому іншому стані.

Ймовірність першого досягнення стану ланцюгом Маркова – ймовірність того, що починаючи з деякого стану ланцюг Маркова вперше досягне даний стан після певного числа кроків.

Ймовірність повернення ланцюга Маркова в заданий стан – ймовірність того, що вийшовши із заданого стану на початковому кроці система коли-небудь повернеться в цей самий стан.

Зворотний стан ланцюга Маркова – стан, ймовірність повернення для якого дорівнює одиниці.

Незворотний стан ланцюга Маркова – стан, ймовірність повернення для якого менша від одиниці.

Поглинаюча множина станів ланцюга Маркова – підмножина множини всіх станів ланцюга, така, що кожний стан, який не входить у цю підмножину, є недосяжний з жодного стану, який належить цій підмножині.

Періодичний стан ланцюга Маркова – стан, коли система не може повернутися в нього за число кроків, яке відмінне від числа, кратного деякому цілому числу, більшого від одиниці.

Ергодичний стан ланцюга Маркова – стан, який є зворотний і неперіодичний.

Незвідний ланцюг Маркова – марковський ланцюг, який не містить замкнених множин станів, відмінних від множин всіх його станів.

Ергодичний ланцюг Маркова – ланцюг Маркова, який є незвідний і всі його стани ергодичні.

Поглинаючий ланцюг Маркова – ланцюг Маркова, який складається з поглинаючих та незворотних станів.

Стаціонарний режим ланцюга Маркова – властивість ланцюга Маркова, коли ймовірності станів системи після великого числа кроків вже практично не залежать ні від номера кроку, ні від початкового розподілу ймовірностей.

Правильні відповіді до тестів Розділ 1

1.1

№ завдання	1а	1б	1в	2.1	2.2	2.3	2.4	2.5	2.6	3.1	3.2	3.3	3.4
Коди відповідей	1	3	2	2	2	1	2	1	1	3	1	2	1

3.5	3.6	3.7	4.1	4.2	5а	5б	6а	6б	7а	7б	8а	8б	8в	9
3	2	1	2	3	1	2	2	3	2	3	2	1	3	3

10	11	12	13	14	15
2	3	2	2	2	1

1.2

№ завдання	1а	1б	2а	2б	2в	3а	3б	4а	4б	5а	5б
Коди відповідей	4	1	1	2	3	1	2	2	1	3	3

6	7а	7б	8	9	10
2	1	3	1	3	2

1.3

№ завдання	1	2	3	4	5	6	7	8	9	10
Коди відповідей	1	4	2	3	2	3	1	2	2	3