1 Лекция 1. Сигнал, информация и сообщение.

Цель лекции: ознакомление с основными понятиями информации, сообщении, сигналов и энтропией информации.

Содержание:

а) сообщение как случайный процесс;

б) формы представления детерминированных сигналов;

в) мера Хартли. Количественная оценка информации;

г) энтропия как мера неопределенности выбора;

д) связь энтропии Шеннона с энтропией Больцмана.

1.1 Сообщение как случайный процесс

Главное отличие случайных сигналов от детерминированных состоит в том, что после наблюдения их на конечном отрезке времени t_н нельзя предсказать их будущее. Все случайные сигналы являются непредсказуемыми. Таким образом, для случайных сигналов нельзя подобрать математическую формулу, по которому можно было бы рассчитать их мгновенные значения. Изменением основных закономерностей случайных сигналов занимается теория вероятностей, нахождение таких характеристик случайных явлений, которые были бы неслучайными и позволяли проводить математические расчеты случайных явлений. Исследование осуществляется статистическими методами.

Случайный процесс Х(t)- это такая функция времени t, значение которой при любом фиксированном значении аргумента t является случайной величиной. Из этого определения следует, что если будет производиться наблюдение изменения во времени любой случайной величины Х, то это уже будет случайный процесс Х(t). Гармонический сигнал ,у которого хотя бы один из параметров -случайная величина, также является случайным процессом.

Пусть ξ(t) есть случайный процесс. В некоторый фиксированный момент времени t₁ различные реализации процесса будут иметь различные значения ξ₁(t₁), ξ₂(t₁),…, ξ_n(t₁). Значение ξ(t₁) является случайной величиной.

Одномерная плотность вероятности случайного процесса {ξ_k(t)} для

t= t₁: . (1.1)

Двумерная плотность вероятности случайного процесса:

. (1.2)

Произведение выражает вероятность того, что в момент времени t₁ функция ξ(t) находится в интервале между х₁ и , а в момент времени t₂ - в интервале между х₂ и . Аналогично определяются трехмерный, четырехмерный и т.д. законы распределения. Наиболее полной характеристикой случайного процесса является n – мерный закон распределения, т.е. распределение значения ξ(t) для n произвольно выбранных моментов времени.

. (1.3)

1.2. Формы представления детерминированных сигналов.

1.2.1. Временная форма

В зависимости от структуры информационных параметров, сигналы могут быть:

- непрерывные (аналоговые)

- дискретные

- дискретные-непрерывные

.

1.3 Мера Хартли. Количественная оценка информации

Энтропия как мера неопределенности выбора

Дискретный источник – в некоторый момент времени случайным образом может принять одно из конечного множества возможных состояний U₁,…,U_n, т.к. одни состояния могут быть чаще, а другие реже, то информация характеризуется ансамблем U, т.е. полной совокупностью:

причем (1.4)

Необходимо ввести меру выбора.

Условия ввода меры:

1) монотонность возрастания с увеличением возможностей выбора

можно было бы взять число состояний. – Нельзя! т.к. при N=1  выбора нет. - не удовлетворяет требованиям аддитивности.

2) аддитивность: информация содержащаяся в 2-х источниках должна быть равна сумме информации в каждом из них: I_=I₁+I_{2 ,}

с другой стороны: I_=f(MN) т.е. f(MN) = f(M) + f(N).

Эти условия можно выполнить, если

Логарифмическая мера информации была предложена американским ученым Хартли в 1928 г. Если основание log=log₂, то имеем единицу информации – бит (binary digit).

К сожалению, мера Хартли не учитывает вероятностные характеристики информации. Допустим: - источник  p₁=1, p₂=0

- источник  p₁=p₂=0,5

В 1-ом случае нет - вероятности и исход – заранее известен. т.о. получение сообщения от 1-го источника информации не прибавляет.

Во 2-ом случае – исход заранее неизвестен. Поэтому информация полученная от 2-го источника  max, т.е. вероятностная мера информации должна удовлетворять следующим условиям:

- быть непрерывной функцией вероятности состояния источника p₁, p₂,…, p_N (p_i=1);

- max ее (меры) значения должен достигаться при равенстве вероятностей;

- мера информации должна зависеть только от функции распределения СВ и не зависеть от ее конкретных значений.

Вероятностная мера информации как мера неограниченности выбора состояния из ансамбля была предложена Клодом Шенноном:

- энтропия (1.5)

В данной системе с=1 , тогда:

( 1.6) 1.4 Связь энтропии Шеннона с энтропией Больцмана.

Рассмотрим взаимосвязь меры Шеннона с мерой Хартли. Если в ИС имеется N состояний и они p вероятны, то

. (1.7)

В случае разности вероятностных состояний информация по Шеннону < информации по Хартли. Так для двух равновероятных событий по Хартли:

I=log 2 = 1 бит.

по Шеннону: H=-(p₁log₂p₁+p₂log p₂) H=1 бит Max достигается при p₁=p₂=0,5

Рис 1.1.