5. Вероятностное определение количества информации по Шеннону

5. Количественная оценка информации.

До получения информации об объекте у наблюдателя существует полная неопределенность о нем. По мере получения информации неопределенность уменьшается.

Количество информации – это мера уменьшения неопределенности об объекте в результате получения сведений о нем.

Подходы к измерению количества информации:

1. Комбинаторное определение количества информации по Хартли.

Объект может принимать любое состояние. Все возможные состояния – алфавит. Нам известен m_x – объем алфавита.

Предположение Хартли:

- если источник имеет одно единственное состояние, то его появление принесет количество информации равное нулю.

I(1)=0

- количество информации должно быть монотонно возрастающей функцией от количества состояний источника.

m₁ > m₂ => I(m₁) > I(m₂) – аддитивность количества информации.

x ->m_x

y ->m_y

I(m_x * m_y)=I(m_x)+I(m_y)

I= log_a m_x

а –единица измерения количества информации.

a=2 I[бит] 1бит = log₂2 (1 состояние из 2х возможных)

a=e I[нит]

a=10 I[дит, Хартли]

2. Вероятностное определение количества информации по Шеннону.

Определение Хартли не учитывало фактор неожиданности появления конкретного состояния источника.

- I(x_i) = f(p(x_i))-ф-ия вероятности появления события

- если неопределенность открывается по этапам, то она должна быть равна взвешенной сумме неопределенностей, устраняемых на каждом этапе.

I(x_i) = - log₁p(x_i) количество собственной информации x_i

Свойства:

1. I(x_i) ≥0

2. I(x_i) = - log_a(1\m_x) = log_a m_x – когда не учитывается степень возможности.

3. Свойство аддитивности

p(x_i) * p(y_i) = p(x_i*y_i)

- log p(x_i*y_i) = -log p(x_i) – log p(y_i)

I(x_i*y_i) = I(x_i)+I(y_i)

p(a₂) = (1-p₁)*p₂ ;p₂ – условная вероятность.

p(a₂) = p(b)*p(a₂/b)

- количество информации содержащейся в сообщении не должно зависеть от смыслового содержания сообщения.

3. Алгоритмическое определение количества информации по Колмогорову: В качестве количества информации используется минимальная длина программы, которая позволяет описать свойства источника информации.

6. Случайный процесс, как модель источника сообщений.

При изучении источников, как правило, отвлекаются от их природы, заменяя их моделями. Модель – способ описания объекта, отражающий существенный с точки зрения решаемой задачи факторы. Случайная величина – величина, которая в результате опытов принимает одно из возможных значений, причем заранее неизвестно, какое.

На практике интересуются не отдельными состояниями, а непрерывными либо дискретными последовательностями этих состояний, реализуемых источниками за определенный промежуток времени.

Случайный процесс – случ. Функция времени, которая в результате опыта может принять тот или иной вид, причем заранее неизвестно, какой.

Конкретный вид Случ функции наз реализацией случ процесса.

X (t)-случайный процесс

x­₁(t), x₂(t)…-ансамбль реализаций

Классификация (критерии):

1) Пространство состояний – определяет диапазон возможных значений случ. проц.

2) Временные параметры –как измененяется сл. вел. во времени.

3) Статистические зависимости между сл. вел. в различные моменты времени.

Классификация по 1, 2 критериям: дискретная, непрерывная, комбинированная.

	-Непрерывная случ. последовательность – непрерывна по значениям, дискретна по времени.
	-Дискретный случайный процесс.
	-Дискретная случ. последовательность – дискретны время и значения.