15. Количественная оценка информации и данных.

Для теоретической информатики информация играет такую же роль, как и вещество в физике. И подобно тому, как веществу можно приписывать довольно большое количество различных характеристик: массу, заряд, объем и т. д., так и для информации имеется набор некоторых характеристик. Как и для характеристик вещества, так и для характеристик информации имеются единицы измерения, что позволяет некоторой порции информации приписывать числа – количественные характеристики информации.

На сегодняшний день наиболее известны следующие способы измерения информации:

1. Объемный;

2. Энтропийный;

3. Алгоритмический.

Объемный способ является самым простым и грубым способом измерения информации. Соответствующую количественную оценку информации при этом называют объемом информации.

Объем информации в сообщении представляет собой количество символов в этом сообщении.

В вычислительной технике вся обрабатываемая и хранимая информация вне зависимости от ее природы (числа, текст, изображение) представляется в двоичной форме (с использованием алфавита, состоящего всего из двух символов – 0 или 1). Поэтому для измерения объема информации введена единица измерения – бит (сокращенно от binary digit – двоичная цифра). Один бит информации – это один двоичный символ (0 или 1). Единицами измерения большего объема информации являются:

• байт = 8 бит;

• Кбайт = 2¹⁰ байт = 1024 байт;

• Мбайт = 2²⁰ байт = 1024 Кбайт.

В теории информации и кодирования принят энтропийный подход к измерению информации. Этот способ измерения исходит из следующей модели. Получатель сообщения имеет определенные представления о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны (т.е., как правило, не совпадают с реальным положением дел) и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределенности (энтропия) характеризуется некоторой математической зависимостью от совокупности этих вероятностей. Количество информации в сообщении определяется тем, насколько уменьшится энтропия после получения сообщения.

При энтропийном подходе количество информации (энтропия источника информации (сообщения)) определяется по формуле

H = log₂m, где m – число возможных равновероятных выборов.

При алгоритмическом методе оценки информации исходят из того, что любому сообщению можно приписать количественную характеристику, отражающую сложность (размер) программы, которая позволяет его обработать. Поскольку имеется много различных по производительности ЭВМ и много разных языков программирования, то для определенности задаются некоторой конкретной вычислительной машиной, например машиной Тьюринга, а предполагаемая количественная характеристика – сложность слова (сообщения) определяется как минимальное число внутренних состояний машины Тьюринга, требующихся для его воспроизведения.

16. Системы счисления и способы перевода чисел из одной системы счисления в другую.

Системой исчисления (исчислением, нумерацией) называют систему приемов и правил, которые позволяют установить взаимно однозначное соответствие между любым числом и его представлением в виде совокупности конечного числа символов. Множества символов, которые используются для такого представления, называют цифрами. Каждой цифре отвечает определенное количество, которое выражается этой цифрой и называется численным значением или количественным эквивалентом данной цифры.

Различают 2 большие группы систем счислений:

1. Непозиционные. В непозиционных системах значение цифры не зависит от ее расположения в числе. Один из примеров — унарная система, где число представлено повторением одного символа. Например, число 4 представлено как 1111. Также к этой категории относится римская, где каждый символ имеет фиксированное значение независимо от своего местоположения в представленном числе.

2. П озиционные. Тут значение каждой цифры определяется её местоположением. Рассмотрим число 254 на примере десятичной системы: оно означает 2 сотни, 5 десятков и 4 единицы. Данный метод является наиболее универсальным и используется в повседневной жизни. 

Системы счисления:

1. Десятичная система счисления, известная также как система с основанием 10, является наиболее широко используемой в мире. Это позиционная система, которая использует десять символов для представления чисел: от 0 до 9. Каждый разряд в числе имеет значение, которое определяется его позицией и умножается на степень числа 10, соответствующей этой позиции.

Принцип ее работы легко понять на примере числа 2357:

• Цифра 7 стоит на позиции единиц и представляет собой 7 единиц (7×10^0),

• Цифра 5 стоит на позиции десятков и представляет собой 50 (5×10^1),

• Цифра 3 стоит на позиции сотен и представляет собой 300 (3×10^2),

• Цифра 2 стоит на позиции тысяч и представляет собой 2000 (2×10^3).

Сумма этих значений дает общее число 2357. Эта система проста и интуитивно понятна, что делает её идеальной для повседневного использования в финансах, образовании и торговле.

2. Двоичная система счисления. Основанием двоичной системы счисления является 2. Это основание выбрано не случайно, так как вся информация в компьютере представляется в виде битов — наименьших единиц данных, которые могут принимать одно из двух состояний: 0 или 1. Данный метод характеризуется использованием всего двух символов: 0 и 1. В контексте памяти компьютера:

• 0 обозначает отсутствие заряда или сигнала;

• 1 обозначает наличие заряда или сигнала.

3. Восьмеричная система счисления. Хотя восьмеричная система используется реже, она имеет применение в некоторых областях программирования. Основание — 8, что позволяет ей представлять более крупные блоки двоичных чисел более компактно. Восьмеричные числа легко конвертировать из двоичных, так как каждая восьмеричная цифра соответствует трем двоичным.

Пример: число 63 тут записывается как 77, что представляет собой восемь восьмерок и семь единиц.

4. Шестнадцатеричная система часто используется при кодировании цветов в формате RGB. Основание — 16, что включает стандартные цифры от 0 до 9 и буквы от A до F для обозначения чисел от 10 до 15. Ее широко применяют в программировании и дизайне.

Перевод чисел из двоичной системы счисления в восьмеричную и шестнадцатеричную и обратно

1. Для того, чтобы перевести число из 2-ичной системы в 8-ричную, необходимо, двигаясь от запятой влево и вправо, разбить двоичное число на группы по 3 разряда, дополняя при необходимости нулями крайние левую и правую группы. Затем каждую триаду заменить соответствующей восьмеричной цифрой

2. Для того, чтобы перевести число из 2-ичной системы в 16-ричную, необходимо, двигаясь от запятой влево и вправо, разбить двоичное число на группы по 4 разряда, дополняя при необходимости нулями крайние левую и правую группы. Затем каждую тетраду заменить соответствующей шестнадцатеричной цифрой

3. Для перевода числа из 8-ричной в 2-ичную достаточно заменить каждую цифру этого числа соответствующим трёхразрядным двоичным числом. При этом отбрасывают незначащие нули в старших и младших (после запятой) разрядах

4. Для перевода числа из 16-ричной в 2-ичную достаточно заменить каждую цифру этого числа соответствующим четырёхразрядным двоичным числом. При этом отбрасывают незначащие нули в старших и младших (после запятой) разрядах