И.В.Иванов Теория информационных процессов и систем

Глава 3 Основы количественной теории информации

3.1. Основные понятия теории информации

А.Н. Колмогоров определил кибернетику как науку о системах, воспринимающих, хранящих, перерабатывающих и использующих информацию. В теории информации изучаются количественные закономерности процессов передачи, хранения и обработки информации.

Информация– свойство материи, состоящее в том, что в результате взаимодействия объектов между их состояниями устанавливается определенное соответствие.

Информация проявляется в виде сообщений.

Сообщение– совокупность символов конечного алфавита, являющаяся формой выражения информации.

Например, информация о характере изменения функции. Сообщение – совокупность координат точек, принадлежащих кривой. Либо: сообщение – аналитическое выражение функции и значения аргумента.

Передача информации– процесс перемещения сообщения от источника к приемнику посредством вещества или энергии.

Сигнал– материальный носитель информации, обладающий перемен­ными параметрами (звук, свет, радио сигналы, напряжение, угловое или линейное перемещение и т.д.).

Сигнал как носитель информации имеет смысл только тогда, когда он заранее неизвестен для «приемника», т.е. случаен. Поэтому при описании информационных систем используется аппарат теории вероятностей. Причем, чем менее вероятно сообщение, тем больше информации оно несет («В декабре выпал снег»)

Сигнал называется непрерывным(или аналоговым), если его параметр может принимать любое значение в пределах некоторого интервала.

Если обозначить Z – значение параметра сигнала, а t – время, то зависимость Z(t) будет непрерывной функцией (рис.(а)).

Рис. 3.1. Непрерывные и дискретные сигналы

Примерами непрерывных сигналов являются речь и музыка, изображение, показание термометра (параметр сигнала – высота столба спирта или ртути – имеет непрерывный ряд значений) и пр.

Сигнал называется дискретным, если его параметр может принимать конечное число значений в пределах некоторого интервала.

Пример дискретных сигналов представлен на рис.3.1 (б). Как следует из определения, дискретные сигналы могут быть описаны дискретным и конечным множеством значений параметров. Примерами устройств, использующих дискретные сигналы, являются часы (электронные и механические), цифровые измерительные приборы, книги, табло и пр.

Символ– это элемент некоторого конечного множества отличных друг от друга сущностей.

Природа символа может любой – жест, рисунок, буква, сигнал светофора, определенный звук и т.д. Природа знака определяется носителем сообщения и формой представления информации в сообщении.

Набор символов, в котором установлен порядок их следования, называется алфавитом.

Следовательно, алфавит – это упорядоченная совокупность знаков. Порядок следования знаков в алфавите называется лексикографическим. Благодаря этому порядку между знаками устанавливаются отношения «больше–меньше»: для двух знаков ψпринимается, чтоξ < ψ, если порядковый номерξв алфавите меньше, чем порядковый номерψ.

Примером алфавита может служить совокупность арабских цифр 0,1…9 – с его помощью можно записать любое целое число в системах счисления от двоичной до десятичной. Если в этот алфавит добавить знаки «+» и «–», то им можно будет записать любое целое число, как положительное, так и отрицательное. Наконец, если добавить знак разделителя разрядов («.» или «,»), то такой алфавит позволит записать любое вещественное число.

Поскольку при передаче сообщения параметр сигнала должен меняться, очевидно, что минимальное количество различных его значений равно двум и, следовательно, алфавит содержит минимум два знака – такой алфавит называется двоичным. Верхней границы числа знаков в алфавите не существует; примером могут служить иероглифы, каждый из которых обозначает целое понятие, и общее их количество исчисляется десятками тысяч.

Верностьпередачи информации – мера соответствия принятого сообщения переданному.

Переработка информации– выполнение формальных операций над входными величинами, над параметрами сигнала в соответствии с заданным алгоритмом.

Хранение информации – фиксация параметров носителя информации.

Помехоустойчивость– способность системы передачи информации противостоять воздействию помех.

Скорость передачи информации– количество информации, переданное в единицу времени.

J=I(S)/T

Пропускная способность– наибольшая достижимая скорость передачи информации для данной информационной системы.

C=I(S)_max/T