1.4. Контрольные вопросы

1. Что называют дискретным источником сообщений?

2. Какие дискретные источники сообщений называют источниками без памяти?

3. Как между собой связаны вероятность единичного события и количество информации, получаемое от осуществления этого события?

4. Что характеризует энтропия дискретного источника сообщений?

5. Каким образом энтропия может быть определена для дискретного источника сообщений?

6. В каком случае энтропия дискретного источника сообщений принимает максимальное значение?

7. Как можно найти количество информации, содержащееся в дискретном сообщении?

8. В каком случае формула Хартли применима для определения количества информации в сообщении?

9. Что называют кодированием и декодированием информации?

10. Что понимают под кодом и кодовым словом?

11. В чем заключается различие между равномерными и неравномерными кодами?

12. Какие коды называют префиксными?

2. Моделирование и расчет характеристик дискретных источников сообщений

2.1. Цель работы

Цель работы – приобрести умение моделировать дискретные источники сообщений с памятью, а также определять условную энтропию, энтропию объединения, информационную избыточность и взаимную информацию для дискретных источников сообщений.

Работа рассчитана на 4 часа.

2.2. Основные теоретические сведения

2.2.1. Понятие о цепях Маркова. Марковские источники сообщений. Избыточность источника сообщений

Понятие о цепях Маркова.

Во многих случаях источник сообщений без памяти (с нулевой памятью) является грубой моделью реальных источников информации. Текущее состояние многих систем зависит от того, в каких состояниях эти системы находились ранее.

Дискретный источник сообщений называется источником с памятью n-го порядка, если вероятность его перехода в определенное состояние зависит от того, через какие n состояний этот источник последовательно прошел в предшествующие моменты времени.

В теории информации наиболее изученными дискретными источниками сообщений с памятью являются марковские источники. Математическое описание марковских источников основывается на использовании такого класса случайных процессов, как марковские процессы с дискретными состояниями (цепи Маркова)¹.

Марковским процессом с дискретными состояниями (цепью Маркова) называется случайный процесс, протекающий в системе с множеством состояний S = {s₁, s₂, … , s_m} и обладающий следующим свойством:

• Для каждого момента времени t₀ вероятность любого состояния системы в будущем (t > t₀) зависит только от ее состояния в настоящем (t = t₀) и не зависит от того когда и каким образом система пришла в это состояние. То есть в марковском процессе будущее состояние зависит только от настоящего состояния и не зависит от «предыстории» процесса.

Для анализа марковских процессов с дискретными состояниями используют ориентированные графы, называемые графами состояний (рис. 2.1). Вершинами такого графа являются состояния системы, а дугами – возможные переходы из одного состояния в другое.

Рис. 2.1. Графы состояния марковских процессов: а) – эргодического; б) – неэргодического

Каждой дуге (s_i, s_j) графа состояний приписывается условная вероятность p_ij = p(s_j | s_i) того, что система система перейдет в состояние s_j при условии, что ее текущим состоянием является s_i. Указанная вероятность p_ij называется переходной вероятностью.

Состояние s_i марковкого процесса называется возвратным, если вероятность возвращения в него равна 1, и невозвратным, если эта вероятность меньше 1.

Для теории информации практический интерес представляют только такие марковские процессы, которые являются эргодическими (обладают свойством эргодичности).

Марковский процесс называется эргодическим, если система, в которой он протекает, может из каждого своего состояния перейти в любое другое состояние (непосредственно или через определенное число промежуточных состояний) (рис. 2.1 а). В эргодическом марковском процессе не могут присутствовать невозвратные состояния. Марковские процессы, не обладающие таким свойством, называются неэргодическими (рис. 2.1 б).

Для эргодического марковского процесса с течением времени (спустя большое число переходов k) система приходит к предельному стационарному распределению p*(s₁), p*(s₂), … , p*(s_m), не зависящему от начального состояния:

; i, j = 1, 2, … , m;

где p_k(s_j | s_i) – вероятность перехода системы из состояния s_j в s_i за k шагов.