Специальные главы информатики и вычислительной техники. Учебник

в нем информации. Очевидно, что заранее известное сообщение нет смысла передавать, так как оно не содержит никакой информации.

Как определить количество передаваемой информации и ее ценность? Представим произвольное сообщение в виде набора некоторых смысловых элементов или букв какого-либо алфавита (т.е. символов). Если общее количество смысловых символов равно m, а сообщение составлено из n элементов (это длина кода), то число N возможных сообщений (или кодовых комбинаций) равно mn. Например, с помощью двухразрядного десятичного числа (n = 2, m = 10) можно записать N = 102 = 100 различных чисел от 0 до 99:

где сама десятичная система счисления имеет вид

0 1 2 3 4 5 6 7 8 9 10 11 ...

Однако использование числа N в качестве меры ценности информации неудобно, так как при этом не выполняется условие пропорциональности длины слова (длительности сигнала) количеству содержащейся в нем информации, тем более что удвоение времени передачи сообщения должно приводить к удвоению количества передаваемой информации.

Р. Хартли предложил в качестве меры ценности количества информации использовать логарифм числа возможных сообщений по некоторому основанию a. Так как количество сведений

(при длине n) пропорционально числу смысловых символов m, то количество информации Y определяется формулой

Согласно этому соотношению ценность информации в передаваемом сообщении пропорциональна его длительности (числу символов). Выбор основания логарифма в (1.22) влияет только на размерность, т.е. на единицу измерения количества информации. Если выбрать основание логарифма a = 2, мы приходим к существующей системе передачи дискретных и цифровых сообщений, где за единицу информации принят один бит, т.е. символ, принимающий значение 0 или 1 (двоичный разряд). Действительно, количество информации, определяемое формулой (1.14), соответствует информации, которая содержится в одной «букве» (элементе). Если в сообщении содержится n независимых букв, то количество информации будет

m

Y= −n∑pi log pi.

i=1

Для равновероятного процесса при n = 1, m = 2, a = 2, т.е. если рассматривать систему

и использовать двоичный логарифм, количество информации в этой системе будет равно единице:

За единицу информации принимают число сведений, передаваемых двумя равновероятными символами. При a = 2 имеем двоичную единицу, или бит. Если воспользоваться десятичным логарифмом, то имеем десятичную единицу информации. В цифровой технике в качестве единицы представления дан-

ных используется байт – слово (набор слов) из восьми двоичных разрядов (битов). Очевидно, что байтом можно передать одно из 28, т.е. из 256 различных сообщений. Количество информации, которое содержится в одном элементе сигнала, называют удельной информативностью или энтропией сигнала:

H = n1 =log2 m.

По существу, энтропия является мерой недостающей информации исследуемого сообщения. В частности, энтропия русского алфавита равна 5 бит/символ.

1.7.5.  Оценка целесообразности применения кодов и систем алфавитов с позиций количества информации

Предположим, что сообщение состоит из n = 200 знаков. Число различных элементов, из которых можно составить сообщение (число разных «букв» в алфавите), m = 32. Полагаем, что появление всех букв равновероятно. Количество информации в таком сообщении равно:

m

Y= −n∑pi log2 pi =nlog2 m =200log2 32 =200 5 =1000 дв.ед.

i=1

На практике часто используют алфавит, имеющий всего лишь две буквы, которые обозначаются как 0 и 1. При передаче информации электрическим током единица соответствует посылке тока, а нуль – паузе. В сообщении, использующем двоичный код (0110111001011101111000100110101011), являющийся неравномерным кодом, при равновероятном появлении букв каждая буква содержит единицу информации. Информация, использующая любой алфавит (код), может быть перекодирована в двоичный код, полагая m = 2b. Тогда получим

Чему равна избыточность какого-либо текста русского языка, например при передаче текста, когда свойства источника определяются словарем языка в предположении равновероятности символов. Пусть H(x) = 2,5 бит/символ, тогда

Пример

Имеется сообщение x = (x1, x2, …, x8) со следующими вероятностями их появления (табл.  1.1).

Таблица  1.1

Исходные данные для сообщения

Это сообщение кодируется с помощью алфавита А = (0,1), т.е. m = 2, а каждое элементарное сообщение записывается тремя символами li = 3, i = 1, 2, …, 8. Кодовые комбинации имеют вид:

y1 =000; y2 =001; y3 =010; y4 =011; y5 =100; y6 =101; y7 =110; y8 =111.

Каково качество используемого кода?

Решение. Для того чтобы ответить на вопрос о качестве такого кода, необходимо сравнить его с наиболее эффективным кодом, средняя длина кодовой комбинации которого была бы равна

Для этого вычислим энтропию нашего сообщения:

45 1.  ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ИНФОРМАЦИИ

тогда

Поэтому возможно сокращение длины записи элементарного сообщения на величину избыточности источника rи:

rи =3−2,753 100 =8,4 %.

Внашем сообщении для записи элементарного сообщения x, i = 1, …, 8 требуются 3 буквы (символа), тогда как средняя минимально необходимая длина элементарного сообщения равна 2,75 буквы. Теперь нетрудно получить и минимально необходимую длину кодовой комбинации всего сообщения:

nmin =i nсрmin =8 2,75 =22 буквы,

тогда как при выбранном нами способе длина сообщения занимает

n =i li =8 3 =24 буквы.

Пример

Имеется дискретный канал связи без шума, на вход которого поступает сообщение, содержащее 16 символов x = (x1, …, x16). На входе канала появляется сообщение y = (y1, …, y16) со следующим расширением вероятностей появления элементарных сообщений:

p(y1 )= p(y2 )= p(y3 )= p(y4 )= 18; p(y5 )=…= p(y8 )= 161 ;

p(y9 )=…= p(y16 )= 321 .

Определить количество информации, передаваемое по каналу связи, пропускную способность канала связи.

Решение. Количество информации, передаваемое по каналу связи:

J (y)= H(y)= −∑p(yi )log2 p(yi )=

Пропускная способность канала связи:

С = Hmax (y).

Этот максимум достигается, когда символы на входе канала связи равномерны, т.е. p(yi) = 1/n. В нашем случае n = 16. Поэтому C = log216 = 4 бит/с. Таким образом, C > I(y).

Пример

Полагаем, что непрерывное сообщение имеет плотность распределения вероятностей f(x), которая характеризует вероятность попадания непрерывной величины x в интервал dx. Непрерывное сообщение характеризуется бесконечно большим набором элементов xj. Выбираем эти элементы с постоянной зоной дискретизации Dx и считаем, что их число конечно и элементы имеют вид xj. Для каждого элемента xj вероятность появления p(xj) находится из распределения f(x) при x = xj с учетом зоны Dx в виде p(xj) = f(xj)Dx. Для энтропии H непрерывного сообщения по схеме известна формула [15]:

∞

H =− ∫f (x)log2 f (x)Dx dx.

−∞

Ее численные значения определяются видом распределения f(x). Требуется определить вид оптимального распределения f0(x), при котором величина H максимальна.

Решение. Полагается, что дисперсия элементов сообщения есть постоянная величина, вид оптимального распределения найдем при ограничениях

∞

∫f (x)dx =1;

−∞

∞

∫x2f (x)dx = s2,

−∞

гдеs – среднеквадратичное отклонение от математического ожидания`x = 0.

Введем функцию

F(x)= H(x)+l1j1 (x)+l2j2 (x),

гдеli – неопределенные множители Лагранжа;

∞

j1 (x)= ∫f (x)dx;

−∞

∞

j2 (x)= ∫x2f (x)dx.

−∞

Найдем производную от функции F(x) по f(x) и прировняем ее нулю:

Учитывая условия:

∞

−∞∫ D1x exp(l1 ln2+l2 ln2x2 −1) dx =1;

Таким образом, оптимальным распределением f(x), обеспечивающим максимум энтропии, является нормальное распределение. Этот результат используется при передаче непрерывной функции в виде отключений от математического ожидания, что повышает количество передаваемой информации. Дифференциальная энтропия при этом равна

H* =log2 s2pe .

Если имеются сообщения, характеризующиеся непрерывным распределением элементов f(x), и зависимые от них сообщения с распределением элементов f(y/x), то применяя к каждому бесконечному множеству элементов x и y фиксацию элементов с интервалами Dx и Dy, получим конечные множества x1, x2, …,

xk и y1, y2, …, yk. При Dx → 0, Dy → 0, k → ∞ находим условную энтропию:

применяемую для оценки потерь непрерывной информации при измерениях физических процессов в условиях помех, шумов, флуктуаций и прочих неприятностей случайного характера.

1.7.6.  Характеристики ненадежности передачи информации

В инженерной практике часто возникает вопрос, брать большую или малую избыточную информацию, так как основной характеристики предельной пропускной способности системы недостаточно. Для его решения надо знать, какие имеются возможности потери информации при ее передаче. Избыточность необходима, чтобы не потерять основную информацию или сведения. Поэтому если потери изменяются, то количество избыточной информации следует брать на запасы информации. В случае появления помех они привносят ложную информацию. Поэтому при передаче требуется, чтобы ложная информация не подавила полезную.

Каждый источник информации можно рассматривать как источник, выдающий информацию с какой-то неопределенностью. И надо раскрыть неопределенность при помощи энтропийной меры.

Ненадежность передачи информации в соответствии с выражением (1.15) является условной энтропией, равной разности переданной и полученной информации:

Ненадежность передачи информации зависит от многих факторов, в том числе она является функцией помех, возникающих в информационной системе, и количества информации, передаваемой через систему. Обе характеристики являются достаточно важными, однако их аналитическое определение, даже для известного кода, затруднительно. В некоторых случаях характеристики ненадежности в зависимости от величины помех и количества передаваемой информации могут быть определены из экспериментальных данных путем подсчета количества информации‚ содержащейся во входном и выходном сигналах.

Процесс измерения можно рассмотреть как получение информации, количество которой определяется выражением