3. Элементы теории информации. Понятие меры. Основные направления определения меры информации. Виды сообщений.

Важнейшим вопросом теории инф-ции явл. установ-е меры кол-ва и кач-ва инфор-ции.

Меры отвечают 3-м основным направ-ям: структ-му, статич-му и сематич-му.

Дискретные сообщения слогаются из счетного мн-ва элементов, создаваемых источником последовательно во времени.

Набор элементов наз. алфавитом источника, элементы - буквами. Число букв в алфавите – объем алфавита.

Струк-я теория – рассматр-т диркет-е строение массивов инф-ции и их измерение простым подсчетом информац-х э-тов или комбинаторным методом предлаг-ет простейшее кодир-е массивов инф-ии. Под сооб-ем понимают совок-сть знаков или первичных сигналов содержащих инф-ию. Иначе говоря, сообщение - это информация представленная в какой-либо форме.

Статичес-я теория оперирует понятием энтропия, как мера неопред-ти учит-я вероят-ть появления, а след-но информатив-ть тех или иных сообщен.

Сематическая теория – учит-т целесообр-ть, цен-ность, полез-ть или сущест-ть инф-ции. Источ-ки инф-ции и создаваемые ими сообщения раздел-ся на дискретные и непрерывные.

Дискр-е – складыв-ся из множ-ва элем-в создаваемого источником послед-го во времени. Дискрет-й источник в конечное время созд-т конеч-е множ-во сообщен.(текст, послед-ть и т.д.)

Непрер-е – отражен-е какой-либо физ.вел. измен-ся в зад-ом интервале времени, получ-е коенеч-го множ-ва сообщен. за конеч-й промеж-к времени достиг-ся путем дискретиз-и во времени и квантованием по уровню.

4. Структурные меры информации. Кванты. Биты

Струк-е меры учитыв-т только дискрет-е строение данного инфор-го комплекса, в данном случ-е кол-во содержащ-ся инфор-ии определяется, связями м/у ней или комбинациями. Информац-й элемент - неделимые частицы-кванты инфор-ии. В струк-й теории различ-т:геометрическую, комбинат-ю и аддит-е меры (мера Хартли) инфор-ии. Ед-ца измер-я кол-ва инфор-ии в данном случ-е –биты. Геометр-е меры сводится к измер-ю длины, площ-ди, или объема геометрии модели данного инфор-го комплекса. Геометр-м методом опред. потенциал-я энергия, т.е. максим-но возмож-е кол-во инф-ции задан-е в структур-х габаритах. Кол-вом инф-ии будем наз-ть инф-ую емкость исслед-ой информац-й сис-мы.

m_X=X/ΔX; m_Y=Y/ΔY; m_Z=Z/ΔZ;

m- кол-во инф-ии в квантах. Если дискрет-е отсчеты по X, Y и Z осущ-ся ч/з интервалы ΔX, ΔY, ΔZ, то непрер-е координаты распад-ся на элем-ты, т.е. кванты M=m_Xm_Ym_Z – общее кол-во Инф-ии.

К комбинаторной мере целесообразно прибегать тогда, когда треб-ся оценить возм-ть передачи инфор-ии при помощи разл-х комбин-й и элем-в, образование комбинац-й будет одной из форм кодир-я инфор-ии. Кол-во инфор-ии вычисляется как кол-во комбинаций элемен-в, т.о. оценке подвергается комбинатор-е свойство потенциал-го структ-го разнообр-я.

Аддитивная мера – см 5 вопр!!!

Квантование сигнала - преобразование сигнала в последовательность импульсов (квантование сигнала по времени) или в сигнал со ступенчатым изменением амплитуды (квантование сигнала по уровню), а также одновременно и по времени, и по уровню.

БИТ (англ. bit, от binary — двоичный и digit — знак), двоичная единица, в теории информации единица количества информации. Бит в вычислительной технике — двоичная цифра, двоичный разряд. Число бит памяти ЭВМ определяет максимальное количество двоичных цифр, вмещаемых ею; число бит данных есть количество двоичных разрядов, в которых они записаны.