ТЕОРИЯ ИНФОРМАЦИИ
Введение
Созданная в 1948 году Клодом Эльвудом Шенноном (1916 — 2001) теория информации отражала потребность времени в разработке теоретических основ передачи сообщений, коими в то время являлись в основном телеграфные и речевые сообщения. Сегодня же идеи, изложенные Шенноном в его работе «Математическая теория связи», получили значительное развитие и практическое воплощение в системах связи, осуществляющих обработку, передачу и прием самых разных сообщений, создаваемых не только людьми, но и компьютерами, различными датчиками и т.д. Следует также отметить, что понятие информации за последние годы получило более широкое толкование, а системы связи все чаще называют инфокоммуникационными системами, в которых произошла глубокая интеграция телекоммуникаций (связи) и информационных систем (вычислительной техники).
Рассматривая окружающий нас мир, замечаем, что он «пронизан» информацией: люди общаются между собой, животные, птицы посылают друг другу различные сигналы и даже клетки, основа биологического существования всего живого также обмениваются определенными сообщениями.
Изучая этот курс, мы постараемся разобраться в том, что такое информация, как она измеряется, от чего зависит и какие практические рекомендации следуют из этой теории.
Постараемся ответить на вопросы: Что такое информация? Как она возникает? Какими она обладает свойствами? Могут ли животные воспринимать информацию? Могут ли компьютеры создавать информацию?
Подобных вопросов может возникнуть не один десяток. При этом, в обыденном традиционном смысле информацию воспринимают как сообщение или сигнал, не делая никаких различий между этими понятиями. Однако, если задуматься и разделить эти понятия, дать им определения, то возникнут определенные сложности. Это столь же непросто, как дать определение времени, которое мы хорошо воспринимаем, измеряем с помощью часовых механизмов и используем в своей повседневной жизни.
Итак, задав себе очень простые, на первый взгляд, вопросы: что такое информация, как она возникает, как мы ее узнаём, какими она обладает свойствами, изучим примеры носителей информации, рассматривая, например, человеческую речь, пение птиц, музыку симфонического оркестра, картинную галерею, спортивный матч, учебник по общей теории связи, телевизионную передачу и т.д.
Перечислять можно долго разнообразные примеры, но необходимо найти общее определение. Для этого рассмотрим важные свойства информации, исходя из общих рассуждений и логических построений.
Вам сообщили, что в десятичной системе счисления
.
А еще сказали, что Вы выиграли в лотерею
1 млн. рублей. Как Вы оцените полученную
информацию? В каком случае ее будет
больше?
То, что , известно еще со школы, а вот то, что был выигран миллион – это весьма неожиданная информация и в этом смысле представляется, что в этом сообщении о выигрыше информации больше, чем в информации, которая Вам давно известна.
У Вас было яблоко. Вы его отдали соседу. У соседа теперь есть яблоко, а у Вас уже нет. У Вас была информация. Вы сообщили ее соседу. Она есть и у Вас и у него. Яблоко осталось одно. А что стало с информацией?
Из второго примера вытекает интересное свойство информации. При передаче информации получателю (соседу), информация остается и у отправителя, т.е. у вас, и оказывается у того кому ее передали, у соседа. Несложно заметить, что в примере с яблоком этого не происходит. Оно либо у вас, либо у соседа!
Рассмотрим еще несколько примеров (таблица 1).
Таблица 1
Исходя из наших интуитивных представлений, установим качественно ценность каждого сообщения, не вводя пока количественных оценок. Например, используем следующие оценки информации: «нулевая», «средняя», «хорошая», «очень хорошая», «просто супер» (таблица 2).
Таблица 2
Попробуем теперь оценить сообщения с точки зрения вероятности их появления. Применим также качественные оценки вероятности: «невероятно», «очень маленькая», «небольшая», «может быть», «естественно» (таблица 3).
Таблица 3
Сведем эти оценки в общей таблице 4.
Таблица 4
На основе данных таблицы 4 можно сделать общий вывод: чем ценнее информация, тем меньше ее вероятность.