Информация, энтропия и избыточность при передаче данных
Связь количества информации и энтропии сообщения, введенные К.Шенноном, имеет большой практический интерес. Если мы рассматриваем информацию как числовой параметр, выражающий энтропию некоторого сообщения или результатов проводимого эксперимента то, очевидно, мы можем рассматривать энтропию как меру вероятности, случайности. Тогда, необходимое количество битов для кодировки одного символа (энтропия), например, английского алфавита, содержащего 26 букв и знак пропуска, равна log2 27 = 4,76 бита на символ. Учтем неравномерность использования букв английского алфавита (вероятность встретить букву “e” в 12 раз выше, чем букву “s”, учтем вероятность следования определенных сочетаний), получим:
H= - (P1log2P1 + P2 log2P2 +……+P26log2 P26)
Это значение средней длины кода называется энтропией распределения вероятности, т.к. это мера количества порядка (или беспорядка) в кодах, представляющих символ языка. Вычисленное Шенноном значение энтропии алфавита английского языка равно 3,3 бита на символ. Другими словами избыточность английского языка равна 70% (сравнение с 4,76 битов на символ). Отсюда можно сделать интересные практические выводы:
если в английском тексте каждая вторая буква потеряна или изменена в результате помех, ничего страшного, есть возможность полного восстановления текста;
нет необходимости использовать 8 бит кода ASCII для передачи каждого символа, поэтому можно применить один или несколько алгоритмов компрессии, тем самым временно уменьшая избыточность.
Вообще говоря, тема компрессии (сжатии) данных чрезвычайно важна при передаче цифровых сообщений и здесь расчет энтропии играет ключевую роль. Все современные модемы, аппаратура связи для IP-телефонии и многое другое имеют встроенные механизмы компрессии данных.
Тема эта чрезвычайно интересна, но нам пора приступить к рассмотрению тех прикладных свойств информации, которые являются абсолютно необходимыми в изучении компьютера и компьютерных технологий.
Информационные процессы
Мы понимаем под информациейвсе, так или иначе оформленные сведения или сообщения о вещах и явлениях, которые уменьшают степень неопределенности, хаотичности знаний об этих вещах или явлениях. Информация не есть нечто статичное, неизменное, она не существует вне взаимодействия объектов. Как правило, с ней все время что-то происходит, т.е. осуществляютсяинформационные процессы. Эти процессы можно разделить на четыре группы –сбор,хранение,обработкаипередачаинформации.
ИНФОРМАЦИОННЫЕ
ПРОЦЕССЫ
КС КС КС КС
СБОР ХРАНЕНИЕ ОБРАБОТКА ПЕРЕДАЧА
КаналСвязи (параметр - пропускная способность)
СООБЩЕНИЕ (отформатир-ные данные,
интерпретация информационныхкодов) ДАННЫЕ (зарегистрированные
сигналы, датчик) преобразователь)
Сигналы
КС
ОБЪЕКТ
Рис. 1.1 Информационные процессы
Восприятие информации приемником – преобразователем осуществляется при помощи сигналов. Сигналыимеют различную физическую природу и являются продуктами энергообмена, имеющие в своей основе материальную природу. Технические средства, преобразующие сигналы в форму, удобную для восприятия (человеком, техническим средством) называютсяпервичными преобразователями информации или датчиками.
Данные – это зарегистрированные сигналы. Данные, несоответствующие ни каким целям объекта, не несут для него информацию и, поэтому, пропадают, возвращая объект в то состояние, в котором он был до получения этих данных.
Данные, зафиксированные в некоторой материальной форме, способные сохраняться и передаваться уже представляют собой скрытую, зашифрованную информацию и называются сообщением. Для того, что бы из данных получить информацию надо иметь алгоритм преобразования или механизм интерпретации информационных кодов. Материальная среда, определяющая взаимодействие между источником и приемником сообщения, называетсяканалом связи.
Данные не тождественны информации.
Примеры: состязание бегунов, пловцов – регистрация начального и конечного положения стрелки механического секундомера – перемещение стрелки это регистрация данных (однако информации о времени преодоления дистанции пока нет) – метод пересчета одной физической величины в другую (четверть круга – 15 секунд) позволяет получить информацию о скорости перемещения бегуна. Другой пример – напишем последовательность нескольких телефонных номеров:
302 65 21; 145 44 75; 194 05 67 и т.д.
Непосвященный человек воспримет эти цифры как данные ему ни о чем не говорящие. Если теперь подписать рядом с числами название и имена абонентов – это уже данные, с которыми можно работать, использовать - т.е. ИНФОРМАЦИЯ. Для получения информации необходим алгоритм обработки данных, механизм интерпретации данных. Прежде чем данные обрабатывать их нужно отформатировать или, лучше сказать, структурировать.