1. Элементы теории информации.

1.1. Понятия информации, сообщения и сигнала.

1.1.1. Понятие информации.

Информация наряду с материей и энергией является первичным понятием мира и поэтому в строгом смысле не может быть определена. Сам термин «информация» происходит от лат. «informatio» – разъяснение, осведомление.

Имеется множество определений понятия информации. В наиболее общем понимании информация есть отражение реального мира; это сведения, которые один реальный объект содержит о другом реальном объекте. В узком практическом понимании информация есть все сведения, представляющие интерес, подлежащие регистрации и обработке.

Сама по себе информация может быть отнесена к категории абстрактных понятий типа математических, но ряд ее особенностей приближает ее к материальным объектам. Так, информацию можно получить, записать, удалить, передать; информация не может возникнуть из ничего. Однако при распространении информации проявляется такое ее свойство, которое не присуще материальным объектам: при передаче информации из одной системы в другую количество информации в передающей системе не уменьшится, хотя в принимающей системе оно обычно увеличивается.

Понятие информации связано не с реальными вещами, а их моделями, отражающими сущность реальных вещей в той степени, в какой это необходимо для практических целей. В общем виде информация о различных природных явлениях и процессах может быть представлена в виде тех или иных полей. Математически такие поля описываются с помощью функций типа:

, (1.1)

где – физическая величина, характеризующая поле в момент времени в точке пространства .

Если все величины, входящие в приведенное соотношение, могут принимать непрерывный ряд значений, измеряемых вещественными числами, то такую информацию называют непрерывной. Если же установить минимальные шаги измерения всех величин, характеризующих поле , то получим так называемое дискретное представление информации.

Практически точность любых измерений, как и человеческое восприятие, всегда ограничена, поэтому фактически, даже имея дело с непрерывной информацией, человек воспринимает ее в дискретном виде. Кроме того, любая непрерывная информация может быть аппроксимирована дискретной информацией с любой степенью точности, поэтому дискретную информацию можно считать универсальной формой ее представления.

1.1.2. Понятие сообщения.

Информация, зафиксированная в определенной форме, называется сообщением. Как и информация, сообщения бывают непрерывными и дискретными.

Непрерывное сообщение – это некоторая физическая, чаще всего электрическая величина, принимающая любые значения в заданном интервале и изменяющаяся в произвольные моменты времени.

Дискретное сообщение представляет собой последовательность отдельных элементов, разграниченных во времени и выбранных из некоторого набора. Физическая природа этих элементов безразлична; важно лишь, чтобы набор элементов был конечным и фиксированным.

Набор, из которого выбирают элементы, слагающие дискретное сообщение, называют алфавитом, а сами элементы – буквами, знаками или символами. Число различных букв в алфавите называют его объемом.

Дискретные сообщения часто разбивают на отдельные блоки конечной длины. Такие блоки, по аналогии с обычным языком, называют словами.

Длина блоков часто стандартизируется. В этих случаях представление информации называют однородным. Однородное представление информации имеет место в ЭВМ, где информация представляется в виде блоков равной длины, определяемой разрядностью ячеек памяти машины.

Процесс описания смыслового содержания информации с помощью символов (букв) называется кодирование. Обратный процесс, т.е. выявление смыслового содержания информации в принятых символах, называют декодированием.

При обработке информации часто возникает необходимость представлять буквы одного алфавита с большим объемом в другом алфавите с меньшим объемом. Операция перехода от первичного алфавита к вторичному также называется кодированием.

Поскольку объем вторичного алфавита меньше объема первичного, то каждому знаку первичного алфавита соответствует некоторая последовательность знаков вторичного алфавита, обычно называемая кодовой комбинацией. Число символов в кодовой комбинации называется ее значностью, а число ненулевых символов – весом. Операцию сопоставления кодовой комбинации соответствующего ей знака первичного алфавита также называют декодированием.

Для того чтобы потребитель информации мог распознать сообщение, т.е. отождествить символы с какими-либо объектами или процессами реального мира, он должен обладать определенными сведениями (алфавит, правило построения кода и т.п.).

Сведения, которыми располагает потребитель информации до ее получения и на знание которых рассчитывает отправитель, называют априорными (доопытными).

Сведения, которыми располагает потребитель после информационного обмена, называют апостериорными (послеопытными).