12. Количество информации. Энтропия.

Информацио́нная энтропи́я — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии n-ого порядка, см. ниже) встречаются очень редко, то неопределённость уменьшается еще сильнее.

Для иллюстрации понятия информационной энтропии можно также прибегнуть к примеру из области термодинамической энтропии, получившему название демона Максвелла. Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу.

Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.

13. Единицы измерения информации. Кодирование.

Представление информации с помощью какого-либо языка называют кодированием. Код – набор символов для представления информации. Кодирование – процесс представления информации в виде кода.

Системой счисления называется совокупность приемов наименования и записи чисел. В любой системе счисления для представления чисел выбираются некоторые символы (их называют цифрами), а остальные числа получаются в результате каких-либо операций над цифрами данной системы счисления.

Система счисления, в которой величина числа не зависит от положения знаков, которыми оно записано, называется непозиционной (древнеегипетская, римская, алфавитная).

В позиционных системах счисления количественное значение, обозначаемое цифрой в записи числа, зависит от позиции цифры в числе.

Для перевода целого числа из десятичной системы счисления в систему счисления с основанием N необходимо данное число разделить на основание новой сс, полученное частное вновь разделить на основание новой сс и так далее, до тех пор пока полученное частное не будет меньше основания новой сс. Результат записываем с последнего частного, приписывая все остатки снизу вверх.

Для перевода дробной части числа из десятичной сс в сс с основанием N необходимо дробную часть умножить на основание новой сс, отделяя после каждого умножения целую часть произведения. Число в новой сс записывается как последовательность целых частей произведения. Умножение производится до тех пор, пока дробная часть не станет равной нулю или пока не достигнута требуемая точность.

Для перевода числа из сс с основанием N в десятичную сс необходимо проставить степень, затем умножить на основание (перед запятой с 0, после с -1).

Ед. измерения – биты, байты (с преставками)