•Сигнал – материальный носитель информации, обладающий переменными параметрами (звук, свет, радиосигналы, напряжение, угловое или линейное перемещение и т.д.).

•Сигнал как носитель информации имеет смысл только тогда, когда он заранее неизвестен для «приемника», т.е. случаен. Поэтому при описании информационных систем используется аппарат теории вероятностей. Причем, чем менее вероятно сообщение, тем больше информации оно несет («В декабре выпал снег»).

•Сигнал называется непрерывным (или аналоговым), если его параметр может принимать любое значение в пределах некоторого интервала.

•Если обозначить Z – значение параметра сигнала, а t – время, то зависимость Z(t) будет непрерывной функцией (рис. 1).

Существует несколько взглядов на то, что принято считать информацией. Один взгляд сводится к тому, что существует два сорта информации:

1.Техническая информация, которая передается по каналам связи и может быть отображена в виде, доступном для восприятия человеком. Количество такой информации может быть вычислено, и процессы, происходящие с такой информацией, подчиняются физическим законам.

2.Семантическая информация, т. е. смысловая. Такая информация, например, содержится в литературном произведении. Для ее оценки строятся различные теории, но, по-видимому, оценки здесь весьма условны, и алгеброй гармонию не поверишь.

•Второй взгляд состоит в том, что информация – это физическая величина, такая же, как, например, давление или температура. Таким образом, информация равным образом описывает как процессы, происходящие в естественных физических системах, так и процессы в искусственно созданных системах.

•Третья, примиряющая, точка зрения состоит в том, что информация едина, а вот количественные оценки должны быть разными. Отдельно нужно измерять количество информации с помощью строгих оценок.

•Кроме количества информации следует еще измерять ее качество

(или ценность). С ценностью информации происходит то же, что и с понятием семантической информацией.

•Например, как точно вычислить ценность научного открытия?

•Набор символов, в котором установлен порядок их следования, называется

алфавитом.

•Следовательно, алфавит – это упорядоченная совокупность знаков.

•Порядок следования знаков в алфавите называется лексикографическим. Благодаря этому порядку между знаками устанавливаются отношения «больше–меньше»: для двух знаков ψ принимается, что ξ < ψ, если порядковый номер ξ в алфавите меньше, чем порядковый номер ψ.

•Примером алфавита может служить совокупность арабских цифр 0,1…9 – с его помощью можно записать любое целое число в системах счисления от двоичной до десятичной. Если в этот алфавит добавить знаки «+» и «–», то им можно будет записать любое целое число, как положительное, так и отрицательное. Наконец, если добавить знак разделителя разрядов («.» или «,»), то такой алфавит позволит записать любое вещественное число.

Количество информации

•Количество информации – мера неопределённости, «снятой»/устраненной при получении сообщения.

•Количество информации в сообщении о некотором событии существенно зависит от вероятности этого события.

•Пусть имеется m качественных признаков сообщения (количество символов алфавита, количество уровней квантования).

•m называется мощностью алфавита.

•Пусть n - число элементов сообщения.

•Тогда существует mn различных сообщений длиной n.

•Пример: позвонить в город по 6-значному номеру или в институт по 3-значному номеру. В первом случае неопределенность больше и сообщение (номер телефона) несет большую информацию.

•Недостаток этой меры – неаддитивность (непропорциональность количества информации и длины сообщения).

•Логично предположить, что сообщение, имеющее, например, в два раза большую длину, несет в два раза большую информацию.

•2-я количественная мера – мера Р.Хартли

•Роберт Хартли – американский инженер, работал в телеграфной компании. Рассуждая о

количестве информации, содержащемся в телеграфном тексте, заложил основы теории информации, определив логарифмическую меру количества информации (1928г.).

In logm

•Отсюда возникла и двоичная единица информации. Сообщение должно

иметь минимум один символ: nmin=1. Алфавит должен иметь минимум два элемента: mmin=2. Вот в таком сообщении и содержится минимально возможное количество информации.

•Imin = nmin∙log mmin

•При использовании двоичного логарифма Imin = 1 (бит, от англ. binary digit). Поэтому в теории информации используется логарифм по основанию 2.

•Мера Хартли (логарифмическая мера) (2) не учитывает вероятностный характер сообщения (вспомним, что сообщение имеет смысл, когда оно неизвестно заранее).

•3-я количественная мера – мера К.Шеннона

Клод Элвуд Шеннон (1916-2001) – американский инженер, член Национальной АН США, профессор Массачусетского технологического института, в 1948 г. издал книгу «Математическая теория связи» с изложением основ теории информации. Будучи студентом Массачусетского технологического института, который он окончил в 1936 году, Шеннон специализировался одновременно и в математике, и в электротехнике. В 1940 году он защитил диссертацию, в которой доказал, что работу обычных переключателей и реле в электрических схемах можно представить посредством булевой алгебры. Сейчас булева алгебра лежит в основе современной цифровой схемотехники, но тогда применение к технике методов английского ученого Джорджа Буля было делом революционным. В 1941 году 25-летний Клод Шеннон поступил на работу в Bell Laboratories, где, помимо всего прочего, прославился тем, что катался на одноколесном велосипеде по коридорам лаборатории, одновременно жонглируя четырьмя мячиками. В годы войны он занимался разработкой криптографических систем, и позже это помогло ему открыть методы кодирования с коррекцией ошибок. Группа инженеров под руководством К.Шеннона сумела декодировать систему шифрования Энигма, что помогло союзникам быть в курсе гитлеровских планов. Кстати, в те же сороковые годы Шеннон занимался конструированием летающего диска на ракетном двигателе. В работах 1957-61 годов Шеннон построил свою теорию пропускной способности каналов связи.