4. Синтаксическая мера информации. Единицы измерения объемов данных.

Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. На синтаксическом уровне учитываются тип носителя и способ представления информации, скорость передачи и обработки, размеры кодов представления информации.

Объём данных (V_Д) понимается в техническом смысле этого слова как информационный объём сообщения или как объём памяти, необходимый для хранения сообщения без каких-либо изменений.

Информационный объём сообщения измеряется в битах и равен количеству двоичных цифр (“0” и “1”), которыми закодировано сообщение.

В компьютерной практике слово “бит” используется также как единица измерения объёма памяти. Ячейка памяти размером в 1 бит может находиться в двух состояниях (“включено” и “выключено”) и в неё может быть записана одна двоичная цифра (0 или 1). Понятно, что бит — слишком маленькая единица измерения информации, поэтому пользуются кратными ей величинами. Основной единицей измерения информации является байт. 1 байт равен 8 битам. В ячейку размером в 1 байт можно поместить 8 двоичных цифр, то есть в одном байте можно хранить 256 = 2⁸ различных чисел. Для измерения ещё бóльших объёмов информации используются такие величины:

1 Килобайт =	210 байт =	1024 байт
1 Мегабайт =	210 Килобайт =	1024 Килобайт
1 Гигабайт =	210 Мегабайт =	1024 Мегабайт
1 Терабайт =	210 Гигабайт =	1024 Гигабайт

5. Энтропийная мера информации.

Энтропийная (статистическая) мера количества информации, содержащегося в элементе х_i, предложена К.Э.Шенноном. Энтропия дискретной случайной вел-ы х

M

H (x) = - ∑ p(хi)·log₂ p(хi) = I(x) бит/элемент. Это М.О.(среднее значение)

i =1 (1.2)

дискретной случайной функции Ii = -log₂ p(х_i). Энтропия источника H(x) – количество информации, приносимое в среднем одним элементом xi источника. Она измеряет абсолютным образом степень случайности значения рассматриваемой (дискретной) случайной величины. Но величина энтропии Н (х) не зависит от значений случайной величины х, а зависит только от вероятностей p(хi). Энтропию можно истолковать как количественную меру неопределённости о сообщении до его приёма, т.е. как то количество информации, которое д.б. в среднем получено для опознания любого сообщения из множества Х.

Свойства энтропии:

H=0 тогда и только тогда, когда все вероятности pi, кроме одной, равны нулю, а эта единственная – единице. То есть H равна нулю только в случае полной определенности исхода опыта. Иначе H>0.

При заданном числе возможных сообщений (исходов) n H максимальна и равна log(n), когда все pi равны (pi=1/n). Следствие – неопределенность возрастает с возрастанием числа возможных исходов.

Неопределённость совместного исхода независимых событий (p(i,j) = p(i)·p(j)) равна сумме неопределённостей отдельных случайных величин (или событий) - аддитивное свойство энтропии: H(x,y) = H(x) + H(y), что следует из соотношений:

; ;

Σ p(i,j) = 1, Σ p_j (i) = 1, Σp_i (j) = 1, Σ p(i,j) = Σ p(i)·p_i (j) = p(i)·Σ p_i (j) = p(i) , Σ p(i,j) = p(j).

i,j i j j j j i

4) Всякое изменение вероятностей pi в сторону их выравнивания увеличивает H. В более общем виде, если над вероятностями pi произвести операцию осреднения вида pi = Σ pj · aij, где Σ aij = Σ aij = 1 и все aij ≥ 0 , то Н увеличивается.

5) Пусть имеются два случайных события x и y. Условная вероятность . Определим среднюю условную энтропию . Подставив в нее значение p_i(j), получим: Н(x, y) = H(x) + H_x (y); p(i,j) = p(i)· p_i (j). Неопределённость (или энтропия) совместного исхода (события) (x,y) равна неопределённости события x плюс неопределённость события y, когда x известно.

6) Неопределённость опыта может лишь уменьшиться при знании результатов другого опыта. С учётом cв. 3 и 5 имеем Н(x) + H(y) ≥ H(x,y) =H(x) + H_x (y) = H(y) + H_y (x). Отсюда H(y) ≥ H_x (y).

7) Cовместная энтропия трёх случайных величин ( или событий)

H(x,y,z) = H(x) + H_x (y) + H_x,y (z) и т.д.