Единицы измерения количества информации.

Для определения количества информации возникло два подхода (вероятностный и «объемный»). Американский инженер Р.Хартли процесс получения информации рассматривал как выбор одного сообщения из конечного наперед заданного множества из N равновероятных сообщений, а количество информации, содержащемся в выбранном сообщении определял по формуле:

I = log₂N

Эту формулу называют формулой Хартли.

Что соответствует показательному уравнению:

N=2ⁱ

N – количество событий (число состояний);

I – количество информации, содержащейся в выбранном сообщении (объем памяти в битах);

Логарифм I числа N по основанию 2 – это показатель степени, в которую надо возвести число 2, чтобы получить N, т. е. 2ⁱ=N

Информацию, которую получает человек, можно считать мерой неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию.

Вероятностный подход развил американский математик Шеннон. Количество информации для событий с различными вероятностями определяются по формуле:

где

p_i–вероятности отдельных событий;

N – количество возможных событий (число состояний);

I – количество информации;

При вероятностном подходе необходимо определить величину, измеряющую неопределенность – энтропию (H). За количество информации, которое получено в ходе осуществления опыта, принимается разность неопределенностей до и после опыта (I =H1-H2). Количество информации об объекте обратно пропорционально энтропии объекта, а сама энтропия является мерой недостающей информации.

В компьютере для хранения информации используется память, поэтому количество информации и объем памяти принято измерять в одних и тех же единицах. Вся информация хранится в памяти компьютера одинаково – в двоичной форме, в виде последовательности битов (разрядов, двоичных цифр). Минимальная единица измерения объема памяти и информации – бит (англ. Bit от binary – двоичный и digit – цифра)

Один разряд – один бит.

Бит – минимальный объем памяти, необходимый для хранения 2-х равновероятных событий.

Одного бита информации достаточно, чтобы передать да/нет.

Основой конструкции ЭВМ являются электронные и электромагнитные элементы, которые могут находиться в двух состояниях: вкл/выкл., есть ток, нет тока; договорились, что это 0 и 1. Используются 2знака. Эти знаки называются двоичными цифрами. Двумя битами можно закодировать четыре различных комбинации: 00, 01, 10, 11(например, для кодирования 4-х сторон света требуется 2 бита 2²=4, log₂4 = 2).

Три бита дадут восемь комбинаций 000, 001, 010, 011, 100, 101, 110, 111 (2³ = 8).

Именно 8 бит требуется для того, чтобы закодировать любой из 256 символов клавиатуры(256=2⁸). Бит слишком мелкая единица измерения. Группа из 8 взаимосвязанных битов называется байтом.

1 байт = 8 бит

1 Кб = 1024 байт = 2¹⁰ байт

1 Мб = 1024 кбайт = 2²⁰ б

1 Гб =1024Мбайт = 2³⁰байт

1 Тера

1 Пета

С помощью 1^ого байта можно закодировать 2⁸ значений →256 значений.

1 бит 2= 2¹

2 бит 4= 2²

3 бит 8= 2³

4 бит 16= 2⁴

5 бит 32= 2⁵

6 бит 64= 2⁶

8 бит 256= 2⁸

В качестве международного стандарта используется система кодирования ASCII – стандартный код информационного обмена. 2^е таблицы: базовая с кодами 0÷127 и расширенная с кодами 128÷255.

Каждому символу ставится в соответствие последовательность из 8 бит, называемых байтом. Байт – минимальная единица памяти, которая может быть выделена под переменную.

Каждый символ имеет свой числовой код, занимающий 1 байт (этот код хранится в памяти ЭВМ). Каждый байт ОП имеет порядковый номер – адрес, который начинается с 0. Максимальное число, которое можно записать с помощью восьми двоичных цифр 11111111 = 255, минимальное – 0.