4. Меры и единицы количества и объема информации

Имеется несколько подходов, которые устанавливают количество информации в сообщении, при этом учитываются синтаксические и семантические характеристики информации.

1. Комбинаторный подход

Количество информации в комбинаторной мере – это число возможных комбинаций информационных элементов.

Размещениями из n элементов по m называются такие их соединения, которые различаются друг от друга самими элементами и их порядком. Например, размещения их трех элементов А, В, С по 2: АВ, АС, ВС, ВА, СА, АС. Число всех размещений из n различных элементов по m равняется: .

Перестановками из n элементов называются их соединения, отличающиеся друг от друга только порядком входящих в них элементов. Например, перестановки из трех элементов А, В, С: АВС, АСВ, ВСА, ВАС, САВ, СВА. Число перестановок из n элементов равняется n!.

Сочетаниями из n элементов по m называются их соединения, отличающиеся друг от друга только самими элементами. Например, сочетания из трех элементов А, В, с по 2: АВ, АС, ВС. Число всех сочетаний из n различных элементов по m равняется .

2. Алфавитный подход

Количество информации I, приходящееся на один символ сообщения. определяют по формуле Хартли:

I=log₂N

где N – число возможных символов, которое может использоваться при передаче сообщения.

Например, при передаче символов русского алфавита, который содержит 33 буквы, количество информации будет равно I=log₂33=5,04. Это значит, что для кодирования 33-х букв требуется 6 бит.

3. Статистический подход

Статистический подход базируется на понятии энтропии и служит для оценки меры информационной неопределенности, учитывающей вероятность появления событий.

Количество информации определяется, как мера уменьшения неопределенности знаний о передаваемой информации.

Формула шеннона:

где N – число возможных символов, которое может использоваться при передаче сообщения;

p_i – вероятность появления i-го символа в сообщении.

Количество информации, определяемое по формуле Шеннона, называют информационной энтропией. Энтропия при равенстве всех вероятностей имеет наибольшее значение, при этом формула Шеннона совпадает с формулой Хартли.

4. Единицы измерения информации

Минимальной единицей информации является бит.

Бит – это количество информации, которое можно записать в одном двоичном разряде. Двоичный разряд может принимать значение 1 или 0.

Байт равняется 8 битам. Один байт может принимать 256 различных значений, (т.е. можно закодировать 256 различных символов).

Более крупными единицами информации являются килобайты (К), мегабайты (М), гигабайты (Г) и терабайты (Т). По определению: 1 килобайт = 1024 байт.

1 Кбайт = 2¹⁰ байт = 1024 байт.

1 Мбайт = 2²⁰ байт = 1024 Кбайт.

1 Гбайт = 2³⁰ байт = 1024 Мбайт.

1 Тбайт = 2⁴⁰ байт = 1024 Гбайт.

5. Кодирование данных в эвм

   1. Кодирование чисел

Для кодирования чисел используются 1, 2, 4, 8, 16 байт. Если число представляется на внутримашинном уровне, то на его хранение отводятся, по крайней мере, два байта.

При хранении чисел один бит (крайний левый) отводится под знак числа.

В вычислительной технике, с целью упрощения выполнения арифметических операций, применяют специальные коды (прямой, обратный и дополнительный). За счет этого облегчается определение знака результата вычисления арифметической операции, а операция вычитания чисел сводится к арифметическому сложению. Положительные числа хранятся в прямом коде, а отрицательные числа в дополнительном.

Прямой двоичный код – это такое представление двоичного числа, при котором знак плюс кодируется нулем в старшем разряде числа, а знак минус - единицей. При этом знаковый разряд называется знаковым.

Например, числа +5₁₀ и ‑5₁₀, представленные в прямом четырехразрядном коде, выглядят так: +5₁₀ = 0.101₂; ‑5₁₀ = 1.101₂. Здесь точка условно отделяет знаковые разряды.

Обратный код для отрицательных чисел получается из прямого кода с помощью инверсии, при которой единицы незнаковых разрядов заменяются нулями, а нули заменяются единицами. Например, ‑5₁₀ число в обратном коде выглядит так ‑5₁₀ = 1.010₂.

Дополнительный код для отрицательных чисел получается из обратного кода добавлением единицы к младшему разряду кода. Например, число ‑5₁₀ в обратном коде выглядит так 1.011₂.

Для положительных чисел прямой, обратный и дополнительный коды совпадают.

Для дробных чисел используется формат хранения с плавающей точкой. При этом число предварительно преобразуется в нормализованную форму.

N=m*q^p,

где m(<1) – мантисса числа;

q – основание системы счисления;

p – порядок числа.

Пусть дано число в десятичной системе счисления 12,375. Преобразуем его в нормальную форму: 12,375 = 0,12375*10².

Пусть дано число в двоичной системе счисления 1100, 011. Преобразуем его в нормальную форму: 1100,011 = 0,1100011*2¹⁰⁰.

При хранении дробных чисел часть битов отводится для мантиссы числа, часть – для хранения порядка числа, а в крайнем левом бите хранится знак.

Мантисса числа выражается в прямом коде, как для положительных, так и для отрицательных чисел. Различие проявляется только в значении знакового разряда.