19.Теория информации (понятие энтропии, энтропия и информация, информация и алфавит)

Теория информации основывается на теории вероятности и понятии энтропии.

Степень неопределенности различна для разных ситуаций. Например если опыт состоит в определении возраста случайно выбранного студента 1-го курса дневного отделения ВУЗа, то с большей долей уверенности можно утверждать что ему меньше 30 лет, хотя по положению на дневном отделении могут учится лица в возрасте до 35 лет. Гораздо меньшую определенность имеет аналогичный опыт, если проверятся: будет ли возраст произвольно выбранного студента меньше 18 лет.

Для практики очень важно иметь возможность произвести численную оценку неопределенностей разных опытов. Попробуем ввести такую количественную меру неопределенности. Начнем с простого опыта. Когда опыт имеет n равновероятных исходов, то неопределенность каждого из них является функцией числа исходов. За меру неопределенности опыта с n равновероятными исходами принимается число logN. Выбор основания log в данном случае не имеет значения, т.к. по формуле преобразований: log_bN=log_ba*log_aN, видно, что переход заключается в постоянном множителе, что равносильно изменению масштаба измерения неопределенности. Имеется возможность выбрать удобное основание log, таким основанием выбрано число 2. В этом случае за единицу измерения неопределенности принимается неопределенность, содержащаяся в опыте, имеющем лишь 2 равновероятных исхода, которые можно обозначить как истина и ложь.

Единица измерения неопределенности, при двух возможных равновероятных исходах опыта называется бит.

Т.о. установлен явный вид функции, описывающей меру неопределенности опыта, имеющего n равновероятных исходов.

f(N)=log₂N- эта величина получила название энтропии (Н).

Энтропия является мерой неопределенности опыта, в котором проявляются случайные события и равна средней неопределенности всех возможных его исходов.

Энтропия и информация

Энтропия=информации относительно опыта, которая содержится в нем самом, или энтропия опыта=той информации, которую получаем в результате его осуществления.

Информация опыта=среднему значению количества информации, содержащейся в каждом его исходе.

Математическая запись: I= -∑ P(A_i)*log₂P(A_i)

Количество информации численно равно числу вопросов с равновероятными бинарными вариантами ответов, которые необходимо задать, чтобы полностью снять неопределенность задачи.

В 1928г американский инженер Р. Хартли вывел формулу, которая связывает количество информации сообщений с количеством равновероятных состояний n.

Формула Хартли: I=log₂N

Смысл формулы заключается в том, что если некоторое множество содержит n элементов и х принадлежит данному множеству, то для выделения (однозначной идентификации) элемента х требуется количество информации равное log₂N.

Частным случаем применения формулы Хартли является ситуация, когда n=2^k, I= к бит.

Информация и алфавит:

При передаче дискретных сообщений возникает проблема распознавания знаков в этом сообщении, т.е. проблема как по полученным знакам (сигналам) восстановить исходную информацию.

Появление конкретного знака (буквы) в конкретном месте сообщения- событие случайное, следовательно, для узнавание знака требуется некоторая порция информации. Можно связать эту информацию с самим знаком и считать, что знак несет в себе некоторое количество информации. Вероятность появления различных букв в тексте различна.

Например: для знаков русского алфавита:

Буква	пробел	0	А
Вероятность (относительная частота)	0,175	0,09	0,062

Т.о. для оценки информации, связанной с выбором одного знака алфавита, используется формула К. Шеннона, которая была получена в 1948г.: I= -∑ p_ilog₂P_i

Данная формула определяет среднее количество информации, приходящейся на один знак.

P_i – вероятность появления знака.

n- общее количество знаков.

Сообщения, в которых вероятность появления каждого отдельного знака не меняется со временем называется Шенновскими, а порождающий их отправитель- Шенновским источником.

Если вероятность появления любого символа алфавита в сообщениях одинаковая, то для английского алфавита: I_o=4,755 бит (для равновероятных событий)

Если учесть вероятность появления одного символа, то I₁=4,04 бит, если учесть влияние пар символов на вероятность появления символов, то I₂=3,32 бит.

Для английского языка Шеннон вывел: I∞=1,4÷1,5

Шеннон вывел формулу: R=1-l∞/l₀

R-относительная избыточность языка (для англ примерно 0,68, для остальных 0,6÷0,7)

Эта величина( R) определяет долю информации, которую содержат тексты данного языка. Это означает, что возможно почти трехкратное сокращение текста без ущерба для его содержания. Т.о. избыточность языка позволяет легко восстановить текст, даже если он содержит большое число ошибок. С другой стороны текст можно сжать в 3 раза без ущерба для его содержания. Это является теоретической базой для шифрования.

20.Системы счисления (группы систем счисления, перевод из одной позиционной системы счисления в другую позиционную систему счисления, выполнение арифметических операция в различных позиционных системах счисления)

Любое число имеет значение и форму представления. Способ представления числа определяется системой счисления.

СИСТЕМА СЧИСЛЕНИЯ- это правила записи чисел с помощью заданного набора специальных знаков- цифр.

Группы систем счисления:

1) Унарная – это система счисления, в которой для записи числа используется только один знак (палочка |); |||-3, |||||-5.

2) Непозиционная- самая популярная римская система счисления. Применяются заглавные латинские буквы. (I-1, V-5, X-10, L-50,C-100,D-500, M-1000)

Все другие числа строятся комбинацией базовых по следущим правилам:

• если цифра меньшего значения стоит справа от большей цифры, то их значение суммируется, а если слева, то меньшее значение вычитается из большего

• цифры I, X, C, M могут следовать подряд не более трех раз каждая

• цифры V, L, D могут использоваться в записи числа не более одного раза

Недостатки: запись числа в ней громоздка и неудобна: неудобно выполнять даже самые простые арифметические операции; отсутствие 0 и знаков больше М не позволяют записать любое число, даже натуральное.

Поэтому данная система сейчас применяется только для нумерации

3)Позиционная- это та система счисления, в которой значение каждой цифры изображения числа определяется ее положением (позицией) в ряду других цифр.

Наиболее распространенной СС является десятичная СС.

Количество цифр, которые применяются для построения чисел в любой позиционной СС ровняется основанию СС. Минимальное основание в позиционной СС=2. Десятичная СС- самая распространенная, двоичная СС- применяется на компьютерах, очень удобно для технической реализации.

Все рассмотренные СС подразделяются на 2 типа:

1)аддитивные(унарная и непозиционная)- значение числа определяется операциями сложения и вычитания базисных цифр

2) аддитивно-мультипликативные (позиционные)- значение числа определяется операциями умножения и сложения.

Главной особенностью позиционных систем является то, что у них с помощью ограниченного набора знаков (цифр)обозначен знака, числа, разделит десятичных разрядов можно записать неограниченным количеством различных цифр.

Кроме этого в этих системах гораздо легче, чем в аддитивных выполняются операции умножения и деления, поэтому позиционные СС применяются в обработке чисел как человеком, так и компьютером.

z-число

р-основание системы