Расчет энтропии. Количество информации. (?)
Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений
Рассмотренный выше подход к информации как мере уменьшения неопределенности знания позволяет количественно измерять информацию. Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение:
N = 2i
За единицу количества информации принимается такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица названа битом
Энтропия
(H) – мера неопределенности, выраженная
в битах. Так же энтропию можно рассматривать
как меру равномерности распределения
случайной величины. Рассчитывается по
формуле:
,
где pi - вероятность события.
Представление данных о эвм
Современные ЭВМ реализованы на электронных элементах (триггерах), имеющих два устойчивых состояния (типа включен/выключен). Эти состояния кодируются – одно обозначается “0”(ноль), другое – “1” (единица). Таким образом, язык ЭВМ содержит как и азбука Морзе (телеграфная азбука) только два символа. Это в свою очередь, вынуждает для представления данных в ЭВМ использовать специальные коды. Данные по типу можно разделить на четыре группы.
СИМВОЛЬНЫЕ – используются для обозначения понятий, объектов и формирования ТЕКСТОВ по правилам того или иного языка сообщений.
ЧИСЛОВЫЕ – используются для обозначения КОЛИЧЕСТВ в различных формах и различных системах счисления (двоичной, восьмеричной, десятичной и шестнадцатеричной)
ДАТА - используется для представления ДАТ в различных формах (американской, германской, европейской и других)
ЛОГИЧЕСКИЕ – используются для обозначения НАЛИЧИЯ или отсутствия какого-либо признака (ЕСТЬ/НЕТ) и имеют только два значения:
ИСТИНА – обозначается либо .T., либо Y
ЛОЖЬ – обозначается либо .F., либо N
Основным элементом кодированного представления данных в ЭВМ является БАЙТ. Это код из восьми позиций, в каждой из которых может находиться либо 0, либо 1. Например: 01001000или 01000101 и т.п. Каждая позиция называется разрядом или битом. В зависимости от того, какой тип данных представляет байт, его содержимое интерпретируется по-разному.
При представлении СИМВОЛЬНЫХ данных один байт представляет собой кодированное представление одного символа, например:
01001110 - Код буквы n, 01000101 - код буквы е
Байтом можно представить 256 различных символов. Для такого представления используется стандартная таблица ASCII (читается аски). В этой таблице первые 128 кодовых комбинаций являются общими для всех стран, а последние 128 кодов символов используются в различных языках, в частности русском. Каждому символу таблицы ASCII соответствует свой и только свой код.
При представлении ЧИСЛОВЫХ данных один байт интерпретируется как целое число в пределах от -127 до 128. Поскольку это очень узкий диапазон, то для представления любого как дробного, так и целого числа используется несколько байт (чаще всего четыре байта). Таким образом, если рассматривать коды букв N и E как числовые данные, то это 78 и 69 соответственно. Если же рассматривать оба байта как одно число 0100111001000101, то оно соответствует 12037. В настоящее время принят следующий стандарт:
ЦЕЛОЕ ЧИСЛО - два байта, ДРОБНОЕ ЧИСЛО - четыре байта.
Данные типа ДАТА представляются всегда восьмью байтами. При представлении ЛОГИЧЕСКИХ данных для одного значения достаточно 1 бита (0 - .F., 1 - .T.), однако чаще для представления одного значения используется 1 байт.