• Раскроем неопределенность вида 0∙∞ по правилу Лопиталя.

•Следовательно, для детерминированного источника hi= 0 для всех i. С другой стороны, если ни одна p(ai)≠1, то ни одно слагаемое hi не обращается в 0. Что и требовалось доказать.

2.Энтропия - величина неотрицательная и ограниченная.

•Если каждое слагаемое hi=-p(ai)•log2p(ai) неотрицательно и ограниченно, то и их сумма также будет неотрицательна и ограниченна.

•Докажем неотрицательность:

•p(a) ≥ 0; p(a) ≤ 1 следовательно log p(a) ≤ 0 и (- p(a) log p(a)) ≥ 0.

•Докажем ограниченность, продифференцировав по p:

•Следовательно, величина hi имеет экстремум (можно доказать, что это максимум), а значит это величина ограниченная (см. рис.2).

h

i

pi

Рис. 2. К свойству ограниченности энтропии.

3.Энтропия системы, имеющей m равновероятных состояний, максимальна и равна log2m.

•Докажем максимальность

•Пусть m=2, тогда p1+p2=1

•H = -p1∙logp1 - p2∙logp2 = -p1∙logp1-(1-p1)∙log(1-p1). Чтобы найти максимум энтропии, определим и приравняем нулю частную производную.

•-log p1 + log(1-p1) = 0

•p1= ½ = p2

•Следовательно, при двух символах в алфавите максимум энтропии достигается в случае равновероятных символов. То же можно доказать и для большего числа символов в алфавите.

•Найдем значение максимальной энтропии. Пусть все символы равновероятны: pi = 1/m.

• Q.e.d.

4.Совместная энтропия независимых источников сообщений равна сумме энтропий.

•Пусть источник А порождает ансамбль Na сообщений (a1, a2,…, aNa), источник B порождает ансамбль Nb сообщений (b1, b2,…, bNb) и источники независимы. Общий алфавит источников представляет собой множество пар вида (ai, bj), общая мощность алфавита равна

•Na ×Nb.

•Совместная энтропия композиции двух источников равна

Na Nb

H(A,B) P(ai ,bj )log P(ai ,bj )

i 1 j 1

•Поскольку A и B независимы, то P(ai,bj) = P(ai)∙P(bj), a log P(ai,bj) = log P(ai) + log P(bj). Отсюда вытекает:

•

•Вывод можно распространить и на большее количество независимых источников

Заключение

1.Информация – свойство материи, состоящее в том, что в результате взаимодействия объектов между их состояниями устанавливается определенное соответствие.

2.Предложены 3 количественные меры информации. Наиболее общий подход на основе теории вероятности используется в 3-й (шенноновской) мере.

3.Энтропия – мера неопределенности случайного состояния некоторой системы, определяется как математическое ожидание количества информации в сообщении.

4.Энтропия - величина неотрицательная и ограниченная, равна 0 только в случае детерминированности системы.

5.Энтропия системы, имеющей m равновероятных состояний, максимальна и равна log2m.

Вопросы и задачи для самостоятельной работы

1.В студенческой группе 24 человека: 21 юношей и 3 девушки. Определить количество информации, содержащееся в сообщении, что староста группы – девушка.

–Pешение. Вероятность того, что староста группы – девушка, равна P = 3/24 = 1/8 (считаем, что решение о назначении старосты не зависит от пола студента). По

формуле (4) количество информации в таком сообщении равно

log2P = log21/8 = 3 (бита).

2.В лотерее N билетов, из них k выигрышных. Студент купил M билетов и после розыгрыша сообщил вам, что выиграл (но, возможно, и не на один билет). Какое количество информации вы получили?