19. Применение теории информации в телемеханике. Энтропия. Избыточность источника сообщений.

Из математики известно, что информация- есть функция отношения числа возможных ответов до получения сообщения и числа ответов после получения сообщения. Наиболее удобно для характеристики информации логарифмическая функция. При равновероятных ответах имеет место следующая функция: I=Log(n/ nc), где n- первоначальное число равновесных ответов до получения сообщения, nc- число ответов после получения сообщения.

Т.к. n> nc – количество информации всегда положительное. Основание логарифма определяет единицу измерения количества информации. Наиболее удобное основание 2. При этом количество информации измеряют в двоичных единицах или битах. При n=2 и nc=1 имеем: I=Log2(2/1)=1(дв.един.бит) Т.О. информация в 1 бит-это информация о состоянии объекта имеющего 2 возможных состояния. Часто для уяснения состояния объекта необходимо получить 1 сообщение из n равномерных сообщений, тогда кол-во информации I=Log2n. Поскольку событие равновероятное p=1/n, I=Log1/p=-Log(p)

Логарифмическая функция обладает св-вом аддитивности, а именно LogA+LogB=Log (A*B)

При неравновероятных событиях выражения для определения кол-во информация усложняется, поскольку необх. учитывать вер-ть выбора того или иного сообщения

Пусть для образования сообщения используются импульсы, имеющие признаки k1 и k2(например логический “0” и “1”). Вероятность появления импульса p1 с признаком k1, а вероятность появления импульса p2 с признаком k2. При числе импульсов N, любая кодовая комбинация будет содержать имп-ов p1*N штук с признаком к1 и p2*N штук с признаком k2. Все возможные импульсные кодовые комб-ции, будут иметь одинаковый состав символов и будут отличаться порядком следования символов с различным признаком. Вероятность появления конкретных кодов комбинации определ-ся произв-ем вер-ти появления всех символов: 1 0 1 1 1 0 0 1 0…..

p1 p2 p1 p2 p1 p2 ……..

Вероятность того, что импульсы с признаком к1 займут конкретное положение=p1*p1*…*p1=p1(p1*N)Вероятность того,что импульсы с признаком к2 займут конкретное положение будет=p2*p2*…*p2=p2(p2*N) Вероятность появления любой кодовой комбинации р= p1(p1*N) *p2(p2*N)Поскольку данное выражение характерезует вероятность появления любой -ой кодов. комбин-ции. то все эти комб-ции равновероятны. Отсюда можно определить число этих кодовых комбинаций 1/р=M. Получение одной такой кодов комбинации несет в себе следующее кол-во информации I=LogM. На практике предст-ет интерес кол-во информ-ции, приход-ся на 1 импульс: H=Log(M)/N= -Log(p1(p1*N) *p2(p2*N))/N= -(p1+p2)Log(p1*p2)= бит/имп.

При использовании для передачи сообщения nимпульсов с различными признаками выражение будет иметь вид: бит/имп.

Величина H характеризует неопределенность до получения сообщения или импульса. После получения сообщения неопред-ть исчезает, т.к мы получили опред. кол-во информации Чем>была первонач. неопределенность, тем>кол-во информ. мы получаем. Т.о. среднее кол-во информ. H годится для оценки кол-ва полученной информ. Вел-на H носит название энтропия-способность отдачи инфомации источникам сообщения. Пусть n=2(т.е. 2 события)Вероятность появления 1-го сообщ-я p, другого q. Энтропия такого ист-ка сообщ-я будет равняться: H= -(pLogp+qLogq)

p

1

В общем случае, когда имеется n возможных исходов энтропия будет max-на, в случае когда событие равновероятно. При не равновероятных событиях и исходах H<Hmax, - избыточность источника сообщений, -коэф-т сжатия,

Для общепринятых языков: русский и англ. Энтропия<max-го значения, r>0,5

Снижение избыточности достигают путем оптимального кодирования. Двоичный код будет оптимальным, если среднее число двоичных знаков, приходящееся на одно сообщение, будет=энтропии источника сообщений.