Информатика. Лекция 3

Измерение кол-ва информации

Энтропия

Энтропия – одно из важнейших понятий совр. Науки

В естеств. Науках – это мера внутренней неупорядоченности, дизорганизации, беспорядка систем любой природы(человек, завод, планета. Не важно )

-весь мир состоит из систем, причем у законов их формирования и развития очень много общего-

В информатике – информационная энтропия – мера неопределенности, или непредсказуемости информации.

Норберт Виннер считается одним из основоположников науки «кибернетики»

Человек постоянно борется с энтропией, гася ее, нивелируя, уничтожая извлечением из среды информации.

Информация и энтропия – это противоположности. Они считаются по одной и той же формуле, но с разным знаком. (где информация -, энтропия +)

Основные свойства энтропии:

1. Энтропия, как мера беспорядка, отличается числом допустимых состояний системы

Обозначается обычно буквой Н считается по формуле Н=log₂S

Чем больше состояний – тем больше неопределенность.

Чем меньше отличаются вероятности состояний, тем больше энтропия. Максимум энтропии – когда состояния равновероятны.

2. Н + I примерно равны константе. Если система изменилась, то будет уже другая константа.

Если упорядоченность системы растет, то энтропия уменьшается и наоборот.

3. Н(s1,s2) <= H(s1) + H(s2)

Энтропия объединенных систем всегда меньше или равна сумме этих систем.

4. В замкнутой системе энтропия не убывает.

5. Если в некоторой системе энтропия убывает, то это обязательно сопровождается ростом энтропии в среде. (других системах)

НегЭнтропия==информация

Любая система получает из среды ресурсы (вещества, энергию). Считается, что живой организм живет за счет этого.

Шредингер – организм может оставаться живым, только постоянно извлекая из среды отрицательную энтропию. (информацию)

По его точке зрения, нам не нужны вещества и энергия вообще, а нужны их полезные свойства. Пример – нефть, как топливо и химсырье.

Опр.

Живыми называются системы, которые могут сами поддерживать и увеличивать свою высокую степень упорядоченности за счет извлечения из среды негэнтропии.

Тема «системы счисления»

Определение:

СС – это совокупность приемов и правил для записи и чтения чисел.

Системой счисления может быть счетное множество.

Требование к системам счисления:

1. Возможность представления любого числа.

2. Единственность представления числа

3. Простота оперирования числами

Есть два типа систем счисления. Позиционные (в них значимость каждой цифры не зависит от ее позиции в записи числа) и непозиционные.

Паленом равен цифре числа, умноженной на 10 в некой степени, которая зависит от позиции цифры в последовательности

Преимущества позиционных систем – удобство представления больших чисел, удобство выполнения арифметических операций.

Для того, чтобы записывать числа в различных системах счисления, сущ-вует такое понятие, как продвижение цифры

Продвижение цифры – это есть ее замена на следующую по величине. При помощи этого порождаются целые числа в любой позиционной системе счисления.

Правило счета позволяет порождать любые целые числа.

«для образования целого числа, следующего за любым данным целым числом, надо продвинуть самую цифру числа. Если после продвижения цифра стала 0, то нужно продвинуть цифру, стоящую слева от нее

Во всех системах счисления арифметические операции идентичны тем, которые используются в 10тиричной.

Двоичная арифметика гораздо проще реализуется на компьютере

Лекция 4