4. Информационный уровень конкретизации систем – у6

Информация связана с процессами преобразования и пере­дачи систем знаков. Знакаминазывают системы конкретных или абстрактныхобъектов, c каждым из которых определенным обра­зом сопоставлено некоторое значение.

Например, СМО типаG/G/3/3. Значение определяется как позиционная система кодирования поКендалу [68].

Значение может быть реальным физическим объектом или абстрактным понятием.

Примеры знаковых систем:

- языки общения (естественные и искусственные); системы исчислений (арабская, двоичная, высказываний, предикатов); системы сигнализации(азбука Морзе, флажковая ... ); системы состояний; системы знаков в музыке; любые устройства и их элементы; живые организмы и их элементы; коллективы и организации...

Таким образом, объект любой природыс информационной точки зрения является своеобразным знаком длясубъекта.

Семиотика изучает свойства информационных знаковых систем. Семиотика (с греческого) переводится как "знак". Различают три составляющих семиотики:синтактику, се­мантику и прагматику.

Топологическое описание информационных систем строит­ся на мерах Клода Шеннона: на количестве информации (I), эн­тропии(H), скорости передачи информации[2;32].

4.1. Информация как степень неопределенности

Информация в общем случае передается словами разной длины. Количество информации определяется не по ее смысловой ценности, а по длине слова.

Пусть из алфавита A = {a₁;a₂;…;a_m} формируются слова из n букв (x₁;x₂;…;x_n), которые передаются по каналу сообщения.

Ясно, что из m символов можно образовать N слов длиной в n букв: N=mⁿ- это число перестановок с неограниченными повторениями.

Пусть любое из них равновероятно, т.е. p = 1/N.

Тогда неопределенность получения заданного слова растет с ростом N и тем больше информации должно содержаться в конкретном исходе.

Число N является мерой информации. Эта мера не обладает свойствами аддитивности, что неудобно при конструировании формальных систем с поведением.

Если перейти к логарифмической шкале отсчета, то свойство аддитивности выполняется (логарифмическая линеаризация):

J = log N при N = mⁿимеем J = n*log m.

Удельная информация, содержащаяся в одном символе. определяется как H = J/n = log m.

Если m= 2, то каждый символ будет передаваться как система кодов в виде цепочки символов, состоящей из нулей и единиц.

Каждый разряд несет log₂2 =ld2 = 1 одну единицу информации, называемуюбитом или двоичной единицей информации.

При m= 10 единица информации называетсядитом:

1 дит = lg10 =ld2^x= 3.32 бит.

Примеры

1. Для трафарета 5 7 определить число бит информации, содержащейся при высвечивании одного символа.

Так как число ячеек 35, каждая из которых несет один бит информации, то получаем в сумме 35 бит информации.

2. Для телевизионного кадра имеем 625 строк, в строке 600 точек, в каждой точке 8 градаций черного; имеем:

I= 625*600*ld8 = 625*600*3 = 1.125*10⁶бит.

Если вероятности передачи сигналов произвольны, то переходим к формулам К. Шеннона.

Информативность передачи одного символа определяется как математическое ожидание логарифмических составляющих:

h = = M[log P_i] = P_i * log(1/P_i),

т.е как среднее значение частных энтропий. Величина P_i[0,1]. Чем меньше P_i, тем больше частная энтропияh_i. ПриP_i=1 частная энтропия равна 0.

О характере функции h_i=f(P_i) =P_i*ld(1/P_i) можно судить по следующему дискретному ряду ее значений:

Pi	0	0.1	0.2	0.3	0.4	0.5	0.6	0.7	0.8	0.9	1.0
hi	0	0.332	0.47	0.52	0.52	0.5	0.44	0.35	0.25	0.13	0.00

В случае бинарных сообщений из частных энтропий h_iобщая энтропия определяется из соотношения:

H = h(p₁) + h(p₂) при p₁ + p₂ = 1,

т.е. H = -p₁*ld p₁– (1-p₁)*ld (1-p).

Кривая Hсимметрична относительно точкиp₁= 0.5.

p1	0	0.1	0.2	0.3	0.4	0.5	0.6	…	1
H	0	0.48	0.72	0.87	0.96	1	0.96	…	0

Графики составляющих функций Hприведены на рис. П.2.1.

Упражнение

1. В табл. П.2.1. приведены данные x_ср, определяющие код последовательного эксперимента по учету посещения занятий студентом;x_сропределяет относительную степень посещаемостиx_ср[0;1]. Определить характер кривойH=f(x_ср). Предложить интерпретацию получаемого результата для данной задачи.

2. В табл. П.2.1 имеется оценка априорных знаний студента, определяемая по его зачетке: y_ср [3;5].

Требуется нормировать значение y_срна [0;1] и оценить, подобноx_ср , характер изменения энтропийной меры в этом случае.