информатика_1 / лекции / 3

Измерение информации

Процесс познания можно наглядно изобразить в виде

расширяющегося круга знания (такой способ придумали

еще древние греки). Вне этого круга лежит область незнания, а окружность является границей между

знанием и незнанием. Парадокс состоит в том, что чем

большим объемом знаний обладает человек (чем шире круг знаний), тем больше он ощущает недостаток

знаний (тем больше граница нашего незнания, мерой

которого в этой модели является длина окружности).

То, что мы не знаем, для нас неопределённо, это невозможно количественно оценить. Если некоторое

сообщение, полученное человеком, содержит для него

информацию, то оно приводит к уменьшению неопределённости наших знаний, т.е. происходит

переход от незнания к знанию. Именно такой подход к

информации как мере уменьшения неопределённости знаний позволяет её количественно измерить.

Неизмеримость информации в быту

Если в сообщении содержалось для

вас что-то новое, то оно информативно. Но для другого

человека в этом же сообщении нет ничего нового, для него оно

неинформативно. Это происходит от

того, что до получения сообщения знания каждого из нас различны. Фактор субъективного восприятия

сообщения делает невозможным количественную оценку информации в сообщении, т.е. если рассматривать количество полученной информации с

точки зрения новизны для

получателя, то измерить её

невозможно.

Вероятностный (содержательный) подход

Получение информации (её увеличение) одновременно означает увеличение знания, что, в свою

очередь, означает уменьшение незнания или

информационной неопределённости.

Базовые понятия теории вероятностей

Случайное событие — это

такое событие, которое в результате опыта может

произойти, а может и не

произойти.

Рассмотрим опыт. Возьмём правильную (правильной формы, из однородного материала) монету, сложим ладони коробочкой, потрясём в них монету, бросим её

на широкий стол. При таких условиях на результат подбрасывания влияют многие факторы: исходное

положение монеты, величина и направление

меняющихся сил, положение монеты в момент падения, неровность и упругость стола в точках

соприкосновения его с монетой, изменение движения

воздуха и пр. Очевидно, что невозможно определить

все эти факторы и однозначно рассчитать результат. Результаты такого опыта — события «выпал герб» и «выпала решка» — являются случайными.

Вероятность — это численная мера степени объективной возможности случайного события.

Вероятность выражается числом от нуля до единицы.

За 0 принята вероятность невозможного события. Невозможное событие — это такое событие, которое

при выполнении заданной совокупности условий никогда

не может произойти. Пример: Событие «при комнатной температуре и нормальном атмосферном давлении

вода находится в твёрдом состоянии» является невозможным.

За единицу принята вероятность достоверного события.

Достоверное событие — это такое событие, которое при выполнении заданной совокупности условий обязательно произойдёт. Пример: Событие «при комнатной температуре и нормальном атмосферном давлении вода находится в жидком состоянии» является

достоверным.

Событие является исходом опыта. Пример: Опыт:

Однократное подбрасывание игральной кости.

События, связанные с этим опытом:

A1 — выпало одно очко;

A2 — выпало два очка;

A3 — выпало три очка;

A4 — выпало четыре очка;

A5 — выпало пять очков;

A6 — выпало шесть очков;

B1 — выпало чётное число очков;

B2 — выпало число очков, не большее трёх; и т.д.

Событие B1 является сложным, оно распадается на несколько простых, иначе говоря, оно может

осуществиться несколькими способами: A2 или A4 или

A6. Событие B2 тоже является сложным, оно может осуществиться следующими способами: A1 или A2 или

A3. Можно привести и другие примеры сложных событий, связанных с данным опытом.

События A1, A2, …, A6 являются простыми, они не

распадаются на другие события (варианты). Такие события называют элементарными.