4. Структурные меры информации. Кванты. Биты

Струк-е меры учитыв-т только дискрет-е строение данного инфор-го комплекса, в данном случ-е кол-во содержащ-ся инфор-ии определяется, связями м/у ней или комбинациями. Информац-й элемент - неделимые частицы-кванты инфор-ии. В струк-й теории различ-т: геометрическую, комбинат-ю и аддит-е меры (мера Хартли) инфор-ии. Ед-ца измер-я кол-ва инфор-ии в данном случ-е –биты. Геометр-е меры сводится к измер-ю длины, площ-ди, или объема геометрии модели данного инфор-го комплекса. Геометр-м методом опред. потенциал-я энергия, т.е. максим-но возмож-е кол-во инф-ции задан-е в структур-х габаритах. Кол-вом инф-ии будем наз-ть инф-ую емкость исслед-ой информац-й сис-мы.

m_X=X/ΔX; m_Y=Y/ΔY; m_Z=Z/ΔZ;

m- кол-во инф-ии в квантах. Если дискрет-е отсчеты по X, Y и Z осущ-ся ч/з интервалы ΔX, ΔY, ΔZ, то непрер-е координаты распад-ся на элем-ты, т.е. кванты M=m_Xm_Ym_Z – общее кол-во Инф-ии.

К комбинаторной мере целесообразно прибегать тогда, когда треб-ся оценить возм-ть передачи инфор-ии при помощи разл-х комбин-й и элем-в, образование комбинац-й будет одной из форм кодир-я инфор-ии. Кол-во инфор-ии вычисляется как кол-во комбинаций элемен-в, т.о. оценке подвергается комбинатор-е свойство потенциал-го структ-го разнообр-я.

Аддитивная мера – см 5 вопр!!!

Квантование сигнала - преобразование сигнала в последовательность импульсов (квантование сигнала по времени) или в сигнал со ступенчатым изменением амплитуды (квантование сигнала по уровню), а также одновременно и по времени, и по уровню.

БИТ (англ. bit, от binary — двоичный и digit — знак), двоичная единица, в теории информации единица количества информации. Бит в вычислительной технике — двоичная цифра, двоичный разряд. Число бит памяти ЭВМ определяет максимальное количество двоичных цифр, вмещаемых ею; число бит данных есть количество двоичных разрядов, в которых они записаны.

5.Аддитивная мера (Хартли).

В теории инф-ии важн-ю роль играет комбинаторика чисел и кодов. L-длина числа, кол-во разрядов. H - глубина числа, основание кода - кол-во различ-х элем-в (знаков) содер-ся в принятом алфавите. Глубина числа соответствует основаниям сис-мы счисления и кодирования. Один полный алфавит занимает одно числовое гнездо, глубина которого h.

I-кол-во числовых гнезд, т.е. кол-во повторений алфавита. Некоторое кол-во чисел и представл-ся числовым полем. Q=H^L (кол-во чисел, кот-е можно представить в этом поле).

В следствии показ-го з-на зав-ти Q(L) число Q явл-ся неудоб-й мерой для оценки информационной емкости, поэтому вводят вторую аддит-ю логарифмическую меру, позвол-щую вычислять количественную инфор-ию, в двоич-х ед-цах-битах.

I(кол-во инфор-ии)=log₂Q=log₂H^L=L*log₂H{бит}

6. Статистические меры информации. Вероятность и информация

Энтропия-мера неопределенности пол-го сообщения. Чем меньше вер-ть, тем больше энтропия. При вероятностном подходе событие рассм-ся как сообщение о случ. событие, так и реализация случ-й величин. Кол-во инф-ии ставится в зависимость от априорных вероятностей совершения этих событий. Вер-ть сообщения P(x);g=1-P(x)-вер-ть против. события. События и антисобытия в совокупности образуют однопредметное событие. Сущ-ут 2-х предметное событе, когда нужно сделать выбор. В орпед-ый момент времени присутствует только одно событие. P=q=0.5

События м. рассматриваться как исходы некоторого опыта, причем все возможные исходы составляют ансамбль или полная группа событий. Сумма всех вер-ей равна 1.

P

Вер-ти могут изменяться во времени. Процессы наз-ся нестационарными.

1+P2+Pk=1.Схема ансамбля:

Исход опыта	A1	A2	Ak
Значение величины	X1	X2	Xk
Вер-ть исхода	P1	P2	Pk

В инф-ке энтропия хар-ет способность ист-ка отдавать инф-ию.

, N-общее кол-во молекул; ni- кол-во молекул, обладающих скоростью. ni/N=Pi, , ,