Количество информации.

Идея, что информация допускает количественную оценку, выдвинута Хартли в 1928 г., теорию разработал Клод Элвуд Шеннон в 1948 г. Эти идеи возникли из необходимости каналов связи, для определения характеристик устройств, преобразующих сигналы, выбора способа кодирования. Если отвлечься от смыслового содержания информации и ее ценности для получателя, то всякое сообщение можно рассматривать как сведение об определенном событии x_i, t_i, указывающим, в каком состоянии находилась среда в момент t.

Рассмотрим дискретные сообщения. Они представляют собой последовательности символов, взятых из некоторого набора - алфавита. Каждый символ - это буква такого алфавита. С помощью любого алфавита можно передать данные о состоянии, выбранном из сколь угодно большого числа возможных состояний, известных получателю сообщения. Для этого достаточно передать число-номер выбранного состояния. Числа можно записывать в разных системах счисления (десятичная, римская, в древней Греции и др. местах буквами и словами обозначали числа). Наиболее широко используются позиционные системы счисления, среди них - десятичная.

Пример: 50263=5*10⁴+0*10³+2*10²+6*10¹+3*10⁰

В качестве основания можно взять любое натуральное число (>1). Наиболее экономной по числу цифр является двоичная система 0, 1

Основание системы счисления

2²=4₁₀=100₂

2³=8₁₀=1000₂

2⁴=16₁₀=10000₂

2⁵=32₁₀=100000₂

2⁶=64₁₀=1000000₂

2⁷=128₁₀=0000000₂

2⁸=256₁₀=100000000₂

76=1*2⁶+0*2⁵+0*2⁴+1*2³+1*2²+0*2¹+0*2⁰=1001100₂

Число в двоичной системе может быть передано последовательностью сигналов, состоящих из импульсов тока и пауз между ними.

Различных двоичных последовательностей длины m имеется 2^m, поэтому с помощью последовательностей такой длины можно передать сообщения о N=2^m различных событиях. Для передачи сообщения об одном из N событий необходимо сообщение длиной m=log₂N. Целесообразно считать, что максимальное количество информации, содержащееся в сообщении пропорционально его длине H_max~m=log₂N. За единицу информации принимается количество информации в сообщении единичной длины, т.е. в одном двоичном разряде. Эта единица называется бит (binary digit) H_max=log₂N (Хартли 1928 г.). Эта мера обладает двумя важными свойствами: монотонно растет с ростом N; аддитивна.

2