AlgStr / Библиотека / ЛЕКЦИИ / PZ00 / Орзова Аня

Понятие информации

Понятие "информация" (от лат. informatio - сведения, разъяснения, изложение) многозначно и поэтому строго определено быть не может. В широком смысле информация - это отражение реального (материального, предметного) мира, выражаемое в виде сигналов и знаков. То есть это сведения об окружающем мире, которые могут воспринимать устройства. Информация характеризуется такими свойствами как достоверность, полнота, актуальность, полезность, понятность.

Люди всегда изыскивали возможность сделать хранилища информации более компактными, что позволяло делать необходимую информацию транспортабельной, более удобной для хранения, а также ограничивало доступ к ней нежелательных лиц. Поэтому и появились глиняные таблички, бумага … и магнитные носители, а вместе с ними и книгопечатание, почта … и устройства переработки информации (компьютер).

Современные средства передачи информации используют классическую схему Шеннона:

Объем информации измеряется в единицах информации. Наиболее надежной является BIT(Binary dIgiT), это связано с каналом связи. Информация передается от источника к приемнику в виде сообщения. Чем более маловероятным является событие, тем большее количество информации это сообщение несет. То есть количество информации это мера уменьшения неопределенности множества событий. Сообщение информативно, если оно уменьшает неопределенность. Наименее информативное сообщение 0/1. Пусть С={С₁, С₂, С₃, …, С_n} множество вариантов исхода некоторого события, тогда информативное сообщение это один из n вариантов исхода. Log₂N служит для измерения количества информации. Если N степень двойки, то для определения исхода достаточно задать Log₂N двоичных вопросов, иначе [Log₂N]+1.

Пример:

1)Минимальное количество двоичных цифр, необходимое для того, чтобы закодировать любое число из диапазона 0, 1, …, N, равняется [Log₂N]+1.

2)Пусть дано С={С₁, С₂, С₃, С₄}. События из этого множества имеют разную вероятность:

p₁=1/2, p₂=1/4, p₃=1/8, p₄=1/8

1. Произошло ли С₁? 0/1 - С₁

2. Произошло ли с₂? 00/01 - С₂

3. Произошло ли С₃? 000/001 - С₃ (С₄ - 000)

или: С₁=00, С₂=01, С₃=10, С₄=11

В первом случае длина 200 сообщений = 100*1+50*2+25*3+25*3=350, то есть средняя длинна сообщения 1,75. Во втором случае это 2.

Мера неопределенности множества событий С={С₁, С₂, С₃, …, С_n} называется энтропией и вычисляется по формуле:

По смыслу количество информации противоположно энтропии: I(C)=-H(C), H(C)<0

Пример:

В первом случае ,

Во втором:

Теорема Величина I(c) максимальна в случае, когда события равновероятны, и равна Log₂N, если N степень двойки, и равна[Log₂N]+1 в противном случае.