Литература

1. Мышев А.В. Основы прикладной теории кодирования

информации. Учеб. пособие по курсу «Теории кодирования информации». – Обнинск, ИАТЭ, 1999, - 77с.

2. Самсонов Б.Б. и др. Теория информации и кодирования.

– Ростов-на-Дону, Феникс, 2002, - 288с.

3. Электронные копии лекций, методичек и др. на накопи-

телях сервера кафедры.

Приложение 1

Основные понятия и определения

Бит – базовая единица измерения информации в каналах хранения и передачи, имеющая в них соответственно логические и физические прототипы.

Логическим прототипом бита является символическое обозначение его образа, т.е. множество символов базового алфавита, в физической среде информационного канала. Например, для булевой логики – это ноль и единица, символические образы которых определяются символами 0 и 1.

Физическими прототипами бита в каналах хранения являются физические состояния элементов среды хранения, а в каналах передачи - сигналы определенной длительности и уровня. Например, в полупроводниковом ОЗУ физическим прототипом бита будет триггер, состояние которого (напряжение на выходе) будут соответствовать его логическим прототипам 0 и 1; в НМД (накопитель на магнитном диске) это область на поверхности диска, намагниченность которой будет соответствовать логическим прототипам 0 и 1. Аналогично и на других накопителях информации с другой физической средой.

Бинарное информационное множество – это множество элементов базового алфавита, образующих логическую структуру в виде сегмента памяти в физической среде канала хранения или поток логически и функционально связанных данных в канале передачи.

В каналах передачи и хранения любой информационный объект (файлы и другие логические структуры) рассматриваются как бинарные информационные множества, на которых определяются информационные пространства, задаваемые в виде кортежа <Х,N_m>, где Х - множество символьных цепочек алфавита N_m, который представляет собой множество бинарных цепочек длиной m битов.

Информационное пространство в виде кортежа <Х,N_m> является математической моделью информационного объекта, определенного как бинарное множество. Тогда вероятностно-статистической характеристикой информационного объекта (IO) в <Х,N_m> для заданного алфавита N_m будет таблица информационной насыщенности IO, которая представляет собой дискретное распределение вероятностей букв N_m в IO.

В качестве количественной меры информации IO используем следующие оценки. Во-первых, шенноновское определение энтропии, которое задается в виде выражения

I_n = - , (1.1)

где p_i – это вероятность появления i-ой буквы алфавита N_m в информационном объекте IO, |М| - мощность алфавита N_{m .}

Во-вторых, В – энтропия, которая в отличии от шенноновской определена на метрическом вероятностном пространстве и задается следующим выражением:

(1.2)

0 ρ_ij 1 - рандомизированная мера на метрическом вероятностном пространстве, которая определяется выражением (хотя можно использовать множество и других)

ρ_ij = | p_ij- p_j | (1.3)

Количественная характеристика информации на основе В – энтропии отражает степень насыщенности IO буквами N_m с учетом их близости по вероятности, т.е. она позволяет оценить «информационную геометрию» IO.

Под количественной мерой неопределенности представления информационного объекта IO фиксированной длины, определенного на <Х,N_m>, понимается ансамбль, порождаемый IO на <Х,N_m>. Ансамбль в этом случае представляет собой дискретное распределение вероятностей возможного представления IO элементами его таблицы информационной насыщенности. В качестве выражений для получения оценок количественной меры неопределенности используются также выражения (1.1) и (1.2), в которых p_i -вероятность i-го представления IO в таблице возможных представлений, а М – это множество возможных представлений IO или объем таблицы представления. Поясним это на следующем примере.

Пусть задан IO из трех букв {abc}. Тогда таблица информационной насыщенности будет иметь следующий вид:

Буквы	pi
а	1/3
b	1/3
c	1/3

Количественные оценки информации имеют следующие значения (основание log₃):

I_u=1; B_u=0 .

Таблица возможных представлений IO

Возможные представления	pi
abc	1/6
bac	1/6
cab	1/6
bca	1/6
acb	1/6
cba	1/6

Количественные оценки меры неопределенности представления будут иметь следующие значения (основание log₃).

I_н=0,7746; B_н=0 .

Определение 1. Кодовым бинарным словом длины m называется цепочка из m битов.

Определение 2. Кодом называется множество кодовых слов.

Определение 3. Кодовое расстояние (C_i,C_i+1) по Хеммингу между кодовыми словами C_i и C_i+1 определяется как количество позиций, в которых значения битов не совпадают.

Тогда в качестве интегральной характеристики IO можно использовать геометрическую информационную размерность, которая определяется следующим выражением:

d_f = (1.4)

где = d(C_i, C_i+1) - кодовое расстояние между соседними словами С_i и С_i+1 , а - минимальное расстояние между парами соседних кодовых слов в IO.

Приложение 2