2.4 Методы измерения информации

Как и любое физическое вещество информация имеет свои количественные характеристики. В современной информатике приняты следующие методы измерения информации:

объемный;

энтропийный;

алгоритмический.

Объемный метод измерения характеризуется количеством символов, содержащихся в конкретном сообщении. В вычислительной технике вся информация, независимо от ее природы (текст, число, изображение и т.д.), представляется в двоичной форме записи, т.е. состоящей из различных комбинаций двух символов 0 и 1. Один такой символ в вычислительной технике называется битом, совокупность восьми таких символов называется байтом, а большое количество символов, которыми оперирует ЭВМ, называется словом.

Энтропийный метод измерения информации используется в теории информации и кодирования. Он основывается на мере неопределенности появления некоторой совокупности событий и выражается вероятностью появления этих событий. Количество информации в сообщении при энтропийном методе оценки определяется тем, насколько уменьшается эта мера после получения сообщения. В теории информации используется следующая количественная мера:

Э = log₂ m,

где Э – энтропия;

m – число возможных равновероятных событий.

В случае, когда энтропия зависит не только от числа равновероятных событий выбора, но и от вероятности возможного выбора элемента информации К. Шеннон предложил следующую форму оценки энтропии:

Э = log₂ (1/Р_i) = - log₂ Р_i ,

где Р_i – вероятность возможного выбора i-го элемента информации.

Тогда среднее количество информации при m числе выборке с вероятностью Рi каждой выборки определится выражением:

Алгоритмическая оценка информации характеризуется сложностью (размером) алгоритма (программы), которая позволяет ее произвести. На разных машинах и разных языках программирования такая оценка может быть разной. Поэтому задаются некоторой вычислительной машиной (например, элементарной машиной Тьюринга), а предлагаемая количественная оценка информации определяется сложностью слова, как минимальное число внутренних состояний машины, требуемой для его воспроизведения.

Структурная схема машины Тьюринга приведена на рисунке 2.2.

Рисунок 2.2 – Структурная схема машины Тьюринга

На рисунке 2.2 обозначено:

УУ – управляющее устройство;

СГ – считывающая головка;

Лента – источник информации бесконечная лента.

Управляющее устройство УУ определяет положение считывающей головки СГ {q_i}. В каждой ячейке ленты записан символ {a_i}. Таким образом, состояние машины {s_i} определится выражением:

S_i = q_i × a_i

Следующее перемещение ленты задается параметром {p_i}. Тогда новое состояние машины определится следующим образом:

S_i+1 = q_i × a_i ×p_i .

Таким образом, полное состояние машины Тьюринга можно задать, определив множества Q{qi}, A{ai}, P{pi}. Алгоритм определения состояния машины Тьюринга является единицей алгоритмического метода оценки информации.

Лекция 3 Системы счисления

3.1 Основные понятия

3.2 Двоичная система счисления

3.3 Смешанные системы счисления

3.4 Перевод чисел в системах счисления

3.1 Основные понятия

Системой счисления называется совокупность приемов наименования и записи чисел.

При этом в любой системе счисления для представления чисел выбираются некоторые символы, которые называются базисными символами, а все остальные числа получаются в результате операций над базисными символами.

В современном мире широко распространена десятичная система счисления, которая представлена десятью базисными символами:

0,1,2,3,4,5,6.7,8,9.

Получение любых других чисел обеспечивается за счет различного позиционного сочетания базовых символов, например, число 1604 представлено всего четырьмя базисными символами, расположенными в соответствующих местах:

1 6 0 4

В римской системе счисления базисными символами являются числа 1, 5, 10, 50, 100, 500, 1000 с соответствующими знаковыми обозначениями:

I, V, X, L, C, D, M.

При этом другие числа получаются сложением или вычитанием базисного символа по следующему алгоритму:

если цифра справа меньше или равна цифре слева, то эти цифры складываются;

если цифра слева меньше, чем цифра справа то левая цифра вычитается из правой цифры.

Так, например, число 14610 десятичной системы счисления в римской системе счисления имеет вид:

CXLVI,

где С – 100₁₀, XL - 40₁₀, VI – 6₁₀.

Системы счисления, в которых любое число получается путем сложения или вычитания базисных символов называются аддитивными. Например, римская система счислений.

Системы счисления, в которых любое число представляется только позиционным весом базовой цифры, называются позиционными. Например, десятичная система, в которой значение цифры (ее вес) изменяется в зависимости от ее положения (позиции) в последовательности цифр, обозначающих число. При этом, система счислений основывается на том, что десять единиц каждого разряда объединяются в одну единицу соседнего старшего разряда, а каждый разряд имеет вес равный степени 10.

Для числа 525,3510 цифра 5 повторена три раза, но каждый раз она означает различное число, а рассмотренное число можно представить следующим образом:

525, 35 =

Таким образом, десятичная система записи любого числа Х₁₀ в виде последовательности цифр имеет вид:

и основывается на представлении этого числа в виде полинома

,

где каждый коэффициент может быть одним из базисных чисел.

Определение. Число К единиц какого-либо разряда, объединенных в единицу старшего разряда называется основанием позиционной системы. Так, например, для десятичной системы объединением цифр 1 и 0 образуется старший разряд, т.е. основанием системы является число 10.

Для двоичной системы К = 2,

для троичной системы К=3,

для восьмеричной системы К=8 и т. д.