2. Основные сведения из теории информации

2.1. Понятие информации

Понятие информации является одним из наиболее общих поня­тий науки и обозначает совокупность некоторых сведений, данных, знаний и т. п. В ВТ информация — свойство объектов и явлений материального мира порождать многообразие состояний, которые посредством отражения передаются от одного объекта к другому и запечатлеваются в его структуре (возможно, в изменен-ном виде). При этом под информацией понимают не сами объекты и явления, а их существенные и представительные признаки, их отражения в виде чисел, формул, описаний, чертежей, символов, образцов и других абстрактных характеристик. Сама по себе информация мо­жет быть отнесена к области абстрактных категорий, подобных математическим формулам.

Передачей информации называется перенос информации на рас­стояние. Для этого необ-ходимы как минимум два объекта —источ­ник информации и приемник информации, соединенные каналом связи. В канале связи информация представляется в материально-энергетической форме посредством множества состояний некото­рых материальных объектов, называемых носителями информации или сигналами. Отображение множества состояний источника ин­формации во множестве состояний носителя называется кодирова­нием, а отображение множества состояний носителя информации во множество состояний приемника – декодированием. Способ отображения информации, устанавливающий соответствие между элементами сообщений и сигналами, называет-ся кодом.

Источники информации делятся на непрерывные и дискретные. Непрерывные источники создают сообщения, которые отображают­ся сигналами, представляющими собой какие-либо физи-ческие ве­личины, изменяющиеся непрерывно и принимающие бесконечное число значений в не-котором диапазоне. Такое представление ин­формации используется в аналоговых вычислительных и модели­рующих устройствах. Дискретные источники информации создают сообщения, состоящие из конечного множества элементов, называе­мых буквами или символами. Буквы отображаются сигналами, при­нимающими конечное число значений. В современной ВТ понятие буквы включает в себя символы различных систем письменности, цифры, знаки препинания, математические знаки и т. п. Если эле­ментам дискретного сообщения поставлены в соответствие цифры или некоторые их совокупности, то такое представление информа­ции называется цифровым (числовым). Конечный набор букв, исполь­зуемых для отображения дискретных сообщений, называется алфа­витом. Число букв в алфавите определяет его объем или значность алфавита. Любую конечную последова-тельность букв некоторого алфавита принято называть словом (в том числе последовательность, состоящую из цифр). Число букв в слове называется его длиной.

2.2. Количество информации. Единицы измерения информации

Количество информации, передаваемой от источника к приемни­ку, связано с вероятностью пребывания источника в том или ином состоянии. Если состояние источника известно заранее (до переда­чи информации), то количество информации, получаемой приемни­ком при передаче, равно нулю. Если же состояние источника не из­вестно заранее, то количество получаемой информации определяется формулой

где N — число состояний, в которых может находиться источник;

P_i — вероятность появления i-ro состояния (i = 1, 2, . . . , N - 1, N).

При равновероятных состояниях источника (т.е. при Р₁ = Р₂ =…= Р_N =)

Основание логарифма k в последней формуле определяет единицу количества инфор-мации. При k = 2 соответствующая единица называется бит (Bit — от слов binary digit). Такая единица чаще всего встречается в технике, что обусловлено наиболее частым использованием двузначного алфавита для представления дискретной информации. Один бит равен количеству информации, получа­емому от источника с двумя равновероятными состояниями.

Современные ЭВМ могут обрабатывать не только числовую ин­формацию, но и информа-цию, заданную любыми другими символа­ми. Обычно для представления одного символа служит слово дли­ной в 2³ = 8 бит, получившее название байта. Посредством слов такой длины можно закодировать 2⁸ = 256 различных символов, чего вполне достаточно при решении многих задач, связанных с обработкой символьной информации. Количество информации в этом случае удобно из-мерять также в байтах.

Для измерения больших объемов информации в ВТ применяются специальные единицы, ко-торые обозначаются К и М и читаются соответственно «кило» и «мега». При этом 1К = 1024 = 2¹⁰, 1М = 1 048 576 = 2²⁰. Например, 1М байт = 2¹⁰ К байт = 2²⁰ байт = 2²³ бит, 1М бит = 2¹⁰ К бит = 2²⁰ бит, 1К байт = 2¹⁰ байт = 2¹³ бит, 1К бит = 2¹⁰ бит. Иногда в приближенных расчетах по­лагают, что К 10³, М 10⁶.

Единицей измерения скорости передачи информации по кана­лам связи служит бод, равный 1.

Кроме перечисленных единиц для измерения количества инфор­мации, обрабатываемой и хранимой в ЭВМ, используются также еди­ницы, не имеющие постоянного количественного эквивалента. К та­ким единицам относятся поле, слово, массив, сегмент и другие. Поле представляет собой группу бит, имеющую определенное зна­чение (например, поле, в котором указывается в кодированном виде операция, выполняемая на ЭВМ).

Совокупность бит, байтов, полей, слов, объединяемых некото­рым общим признаком (напри-мер, исходные данные для решения задачи), называется массивом. Сегмент — упорядоченная совокуп­ность бит, байтов, полей, слов, массивов, сгруппированных вместе с целью наименования.