46 Статистическая мера инф-ии количество инф-ии по Шеннону.

во многих ситуациях вероятности состояний источника неодинаковы и бывают, известны приёмнику сообщ-ий. И наличие априорной инф-ии, имеющейся у приемника в виде вероятностей состояний источника, позволяет изменить условия выбора, поиска, идентификации определённого состояния сообщ-ия. Все отличающиеся сообщ-ия ДБ поранжированы в порядке убывания частот появления сообщ-ий. Прога поиска может также осуществляться методом послед-ого деления выбранного множества на 2 подмножества с последующим выбором одного из них. Каждое из 2х подмножеств надо формировать так , чтобы суммарные частоты их появления до возМсти были одинаковы. = 1 Ji= log₂ 1/Pi = - log₂Pi h(p) = log₂ 1/P = - log₂P функция неожиданности математические ожидание где Н - средняя неожиданность сообщ-ия , J - средняя длина программы и среднее количество инф-ии для идентификации отдельного сообщ-ия. Кол-во инф-ии по шеннону

47. Подсчет описательных информаций

Т. Число инф-ий D ,описывающих 1го сообщ-ие в ИЦ, состоящей из n различных сообщ-ий, равно числу этих сообщ-ий. Док-во основано на обстоятельстве, что для полного описания любого j-го сообщ-ия ИЦ, состоящей из n сообщ-ий, надо связать это сообщ-ие с (n - 1) остальными сообщ-иями этой цепи с пом такого же числа описательных инф-ии и ещё одна - исходная ИНФ-ИЯ - требуется для связи данного сообщ-ия с исходным сообщ-ием, т.о. D_j = n.

Т. Для описания 1го сообщ-ия ИЦ, содержащей основную инфу и состоящей из произвольного числа n сообщ-ий достаточно двух описательных инф-ии, т.е. D₁ =D₂ = . . . =D_j = . . . = D_n = D = 2 Док-ся тем, что для определения любого сообщ-ия из n сообщ-ий требуется (n - 1) - кратное применение одной и той же осн-ой инф-ии J и применения одной исходной инф-ии J_01. Т 3.3. If в ИЦ из n сообщ-ий, имеется m классов, состоящих соответственно из n_а, n_b, …, n_m одинак сообщ-ий, то среднее число описательных инф-ии М определить следующим выражением

г де n/ni – редкость сообщ-ия

д ок-во: на каждый класс приходится число описательных инф-ий равное Di=n/n_i . Среднее число описательных информаций определяется как ср. геометрическое средних чисел информаций, описывающих все сообщ .

преобразуем Ур-ние к виду

Обозначив где n_ср – среднее (геометрическое) число сообщ-ий 1го класса, и подставляя эту величину в знаменатель, получим D=n/n _cp. В частном случае, когда все сообщ-ия ИЦ различны, т.е. когда каждый класс представлен всего одним сообщ-ием и m = n, из (3. 20) имеем D = n.

48. Подсчет числа идентифицирующих информаций.

ИЦ состоит из четырёх сообщ-ий: x₁, x₂, x₃, x₄, из кот под надо выделять сообщ-ие х₂ . По теореме для описания произвольного сообщ-я, этой ИЦ требуются 4 описательные инф-ии, кот связывают данные сообщ-я с исходным сообщ-ем х₀. При идентификации исходным сообщ-ем берётся искомое сообщ-ие, его эталон (х_{0 =} x₂.) При этом одна из рассмотренных инф-ий будет тривиальной J₂₁ ≠ J⁰, J₂₂ = J⁰,J₂₃ ≠ J⁰,J₂₄ ≠ J⁰. В худшем случае тривиалная инф-ция мб найдена после 3го вопроса.

Т. Число описательных инф-ий, необходимых для идентификации сообщ-я, однозначно определено только в информационной цепи из двух сообщ-ий; при этом

Н₂= 1. Н₂ -Число идентифицирующих информаций.

Т. Число инф-ий, идентифицирующих 1 сообщ-е в информационной цепи, содержащей n различных сообщ-ий, мб определено как двоичный логарифм этого числа сообщ-ий. Докажем теорему. Есть ИЦ из n сообщ-й, являющаяся половиной инф-й цепи из 2n сообщ. Числа инф-ий, описывающих 1о сообщ-е в этих ИЦ равны: Dn= n, D2n = 2n, => D2n = 2*Dn Пусть число инф-ий, идентифицирующих 1о сообщ-ие в ИЦ из n сообщ-ий, равно Hn. для идентификации цепи, как составляющей информационную цепь из 2n сообщ-ий, необходима одна идентифицирующая инф-ия. Поэтому общее число инф-ии, идентифицирующих данное сообщ-ие в информационной цепи из 2n сообщ-ий, равно H_2n=H_n+1. прологарифмировав D2n=2*Dn, получим

На основании сравнения найдена зависимость H=log2D.

Т. If в ИЦ из n сообщ-ий имеется m классов, каждый состоит из na, nb,…,nm одинак сообщ-й, то среднее число идентифицирующих инф-ии М выразить соотношением

Докажем: для идентификации любого сообщ-ия, принадлежащего классу а, потребуется меньше идентифицирующих инф-ии на величину Н_na , т.е.

Среднее количество инф-ии, идентифицирующих отдельное сообщ-ие, М определить средним значением (математическим ожиданием) чисел идентифицирующих инф-ии сообщ-ий всех классов

в компактном виде получаем

Теорема. Среднее число идентифицирующих информаций равно двоичному логарифму среднего числа описательных инф-ии.

При большом числе сообщ-ий в информационной цепи, когда n→ ∞, частоты появления сообщ-ий разных классов М заменить вероятностями этих сообщ-ийПосле подстановки (3.34) в (3.20) выражение для среднего количества описательных инф-ии примет вид или , где i - номер класса сообщ-ия, m - число классов.

Выражение (3.32) для среднего количества идентифицирующих информаций после аналогичной подстановки преобразуется к виду