Свойства энтропии
Энтропия всегда неотрицательна.
Энтропия есть величина ограниченная при любых значениях вероятности pi.
Энтропия может быть равна нулю но лишь в том случае, когда одно из состояний объекта есть событие достоверное, то есть соответствующая вероятность равна единице. Последнее естественно предполагает, что вероятности остальных событий равны нулю.
Энтропия максимальна, когда все состояния объекта равновероятны.
Энтропия на символ бинарного сообщения изменяется от нуля до единицы.
Все вышесказанное относится к случаю, когда состояния объекта или процесса или символы, из которых состоит сообщение, независимы. При зависимости символов используется аппарат цепей Маркова.
Представление информации.Двоичная арифметика.
Представление информации в цифровом автомате.
Для рассмотрения работы вычислительных машин или цифровых автоматов необходимо связать понятие элемента данных с цепочкой двоичных разрядов, которой он представлен в памяти машины. Это означает, что мы должны ввести набор правил, в соответствии с которыми цепочка двоичных разрядов может быть интерпретирована либо как последовательность символов из некоторого алфавита, либо как целое число, либо как вещественное число. либо как команда.
Заметим, что с точки зрения машины элементы информации, находящиеся в памяти, никак не структурированы и определены лишь адресом, длиной и записанной по этому адресу комбинацией нулей и единиц. Как этот элемент будет интерпретироваться программой, зависит исключительно от тех операций, которые будут выполняться над этим элементом.
Модель информационных объектов
Для того, чтобы произвольную цепочки двоичных разрядов можно было считать символом некоторого алфавита, нужно установить взаимно однозначное соответствие между всеми возможными цепочками фиксированной длины и всеми символами этого алфавита. Иначе говоря, нужно определить способ кодирования символов. С другой стороны, чтобы ту же самую цепочку можно было рассматривать как целое число со знаком, нужно ввести правило представления целых чисел. Совершенно аналогично, для выполнения операций над вещественными числами необходимо иметь правило представления вещественных чисел (определение кодера и декодера).
Основные
данные, представляемые цифровым автоматом
Деление числовых данных на целые и вещественные связано с ограниченным количеством двоичных разрядов, отводимых в памяти машины для хранения любой информации. Арифметика вещественных чисел является приближенной и гарантирует лишь конечное количество верных знаков, зависящее от принятого способа из машинного представления. Наоборот, целые числа по своей природе требуют их точного представления и способы реализации арифметических операций не должны вносить никаких погрешностей. Для понимания представления данных в цифровых автоматах необходимо рассмотреть вопрос о принципах представления количественные величин, то есть о системах счисления.
Системы счисления
Системы счисления - метод, способ представления количественных величин. Для того, чтобы иметь возможность записать (представить) любую количественную величину, необходимо:
Ввести систему символов (цифр), имеющих количественное значение.
Ввести систему правил, как из этих цифр набрать число.
Первые системы счисления появились у египтян и вавилонян. У ряда народов (греки, римляне, финикицы, русские до XVI в.) в качестве цифр использовались буквы алфавита. Такие системы счисления были непозиционными. Числа записывались в виде комбинации цифр и представлялись в виду суммы.