Методическое пособие 322

ФГБОУ ВПО «Воронежский государственный технический университет»

Кафедра систем информационной безопасности

МЕТОДИЧЕСКИЕ УКАЗАНИЯ

к практическим занятиям по дисциплине «Основы цифровых

телекоммуникационных сетей» для студентов специальности

090302 «Информационная безопасность телекоммуникационных систем» очной формы обучения

Воронеж 2014

Практическое занятие № 1 Оценка количества информации. Информационные

характеристики источника сообщений

Цель практического занятия: повторение основных положений информационного подхода к анализу и синтезу объектов, явлений и систем.

Теоретические сведения

Информация – это сведения, являющиеся объектом передачи, распределения, преобразования, хранения или непосредственного использования. Сообщение является формой представления информации [5-8].

Исходная информация преобразуется в двоичные цифры (биты); после этого биты группируются в цифровые сообщения или символы сообщений. Каждый такой символ mi, i = 1,2,…K, можно рассматривать как элемент конечного алфавита, содержащего K элементов.

1. Количественное определение информации. Количество информации I(ai), содержащееся в символе ai,

выбираемом из ансамбля {ai} (i = 1, 2 ,3 …, K; K – объем алфа-

При P(ai)=1 количество информации равно нулю, то есть сообщение об известном событии никакой информации не несет.

Основание логарифма определяет систему единиц измерения количества информации. (Чаще всего log2. При этом информации измеряется в двоичных единицах, т.е. битах.)

Среднее количество информации H(A), приходящееся на один символ, выдаваемый дискретным источником независимых сообщений с объемом алфавита K, можно найти как математическое ожидание дискретной случайной величины A, определяющей количество информации, содержащееся в одном случайно выбранном символе (знаке) ai. Эта величина называется энтропией источника независимых сообщений [5]:

Одной из информационных характеристик дискретного источника является избыточность [5, 7]:

Избыточность источника зависит от протяженности статистических связей между последовательно выбираемыми символами (памятью источника), так и от степени неравновероятности отдельных символов. Если источник без памяти (последовательно передаваемые символы независимы), все символы равновероятны и избыточность равна нулю.

2. Количество и скорость передачи информации. Пропускная способность канала.

Дискретный канал

Если на вход канала с шумами поступают символы символе bi (i = 1, 2 ,3 …, m), а с выхода снимаются символы b’j (j = 1, 2 ,3 …, m’), то условие вероятности переходов P(b’j/bi), а также и апостериорные вероятности P(bi / b’j) удовлетворяют соотношениям [5]:

0 < P(b’j/bi) < 1; 0 < P(bi / b’j) < 1.

Это означает, что при фиксированном символе b’j нельзя с полной определенностью утверждать, какой символ bi передавался. Следовательно, часть информации, содержащейся в символе bi, оказывается потерянной.

2

Среднее количество информации, теряемой при передаче произвольного символа по каналу без памяти [5]

Эта величина называется ненадежностью канала и показывает степень неопределенности последовательности входных символов B(t) при условии, что принята последовательность

B’(t).

Среднее количество переданной по каналу информации для источника и канала без памяти [5-8]

где I(B) – количество информации на входе канала, I(B/B’) – количество информации, потерянной в канале.

I(B/B’) = I(B’/B) = H(B’) – H(B’/B).

Величина H(B’) = I(B’) определяет информацию (энтропию) выходных символов канала.

Энтропия шума [5-8]:

m' m

H B / B' P bi ,b'j log P b'j / bi .

j 1 i 1

3

Если на вход дискретного канала поступает в среднем vк символов в единицу времени, то можно определить среднюю скорость передачи информации по каналу с шумами: [5]

I’(B,B’) = vк I(B/B’) = H’(B) – H’(B/B’) = H’(B’) – H’(B’/B),

где H’(B) – производительность источника на входе канала; H’(B’) – производительность источника, образованного выходом канала; H’(B’/B) – количество ложной информации, создаваемой шумом в единицу времени.

Пропускной способностью канала называется предельная скорость передачи информации при заданных свойствах каналах:

C = vк maxI(B,B’).

Непрерывный канал

Для описания информационных свойств непрерывного источника широко используется понятие дифференциальной энтропии h(S) [5-8]:

Количество информации, содержащееся в одном непрерывном отсчете процесса Z(t) относительно отсчета процесса

X(t) [5-8]:

где w2(s,z) – совместная плотность вероятности процессов S(t) и

Z(t).

I(S,Z) = h(S) – h(S/Z) = h(Z) – h(Z/S),

4

где h(S) и h(Z) – дифференциальная энтропия на отсчет процесса S(t) и Z(t) соответственно.

Условная дифференциальная энтропия отсчета S(t) при известном отсчете Z(t) [5-7]:

Если на вход канала поступил сигнал s(t), а в канале действует аддитивная помеха U(t), то принимаемое колебание

Z(t) = s(t) + U(t),

условная дифференциальная энтропия [5]

h(Z/S) = h(U),

где h(U) – дифференциальная энтропия на один отсчет помехи.

I(S, Z) = h(Z) – h(U).

Скорость передачи информации по непрерывному каналу с дискретным временем [5-7]

I’(S, U) = vк [h(S) – h(S/Z)] = vк [h(Z) – h(Z/S)],

где vк = 2Fк – число отсчетов сигнала, передаваемое в одну секунду по каналу с полосой Fк.

5

Пропускной способностью C непрерывного канала с заданным шумом и числом отсчетов сигнала vk называют предельным значением скорости передачи информации, достигаемом при вариации всевозможных источников на входе.

При аддитивном шуме в канале [5-7]

C = vк max[h(Z) – h(U)].

Задания

1.Показать, что максимальное количество информации, которое содержится в квантованном телевизионном сигнале, соответствующем одному телевизионному кадру при 625 строках разложения, равно 2,083·106 бит при условии, что сигнал, соответствующий одной строке изображения, представляет собой последовательность из 833 (при отношении сторон кадра 4/3) статистически независимых случайных по амплитуде импульсов, каждый из которых с равной вероятностью принимает одно из 16 значений. Найти избыточность телевизионного сигнала, если фактически кадр изображения с 16 градациями уровней содержит 9,37·105 бит информации.

2.Источник сообщений выдает символы из ансамбля A = {ai} (здесь i = 1, 2, 3, 4) с вероятностями P(a1) = 0,2; P(a2) = 0,3; P(a3) = 0,4; P(a4) = 0,1. Найти количество информации, содержащееся в каждом из символов источника при их независимом выборе (источник без памяти). Вычислить энтропию и избыточность заданного источника.

3.Найти ненадежность H(B/B’) и энтропию шума двоичного симметричного канала со стиранием (рис. 1) с вероятно-

стями переходов P(0’/0) = P(1’/1) = 1 – p0 – pc; P(?/0) = P(?/1) = pc; P(1’/0) = P(0’/1) = p0 и априорными вероятностями символов

P(0) и P(1) = 1 – P(0).

6

1 – p0 – pс

pс

p0

?

p0

pс

1'

Рис. 1. Двоичный симметричный канал со стиранием

4.По каналу связи без памяти передается сигнал s(t), представляющий собой нормальный случайный процесс с нулевым средним значением, дисперсией σ2s = 8 мВт и равномерным энергетическим спектром G0 в полосе частот канала Fк = 3100 Гц. В канале действует независимая от сигнала флуктуационная

помеха типа «белый шум» с энергетическим спектром Gш = 3,22·10-7 Вт/Гц, нормальным распределением и нулевым средним значением. Определить среднее на один отсчет сигнала количество информации, переданное по каналу.

5.Показать, что при заданном ансамбле входных сигналов

ификсированной дисперсии помехи скорость передачи информации по непрерывному каналу будет иметь наименьшее значение при нормальном шуме в канале.

6.Доказать, что для дискретного источника информации без памяти избыточность равна нулю.

7.По каналу связи передается сообщение, формируемое из восьми символов с вероятностями появления, заданными в табл. 1. Канал имеет полосу пропускания, позволяющую передавать элементы сообщения со средней длительностью τи = 0,5мс. Шум в канале отсутствует. Определить пропускную способность канала и скорость передачи.

7

8.По каналу связи передается сообщение, представляющее собой слово «ИНФОРМАЦИЯ» на русском языке. Найдите количество информации, заключенной в этом сообщении. (Положите, что алфавит состоит из 32 букв. Для простоты предположите, что появление любой буквы в сообщении равновероятно.)

9.Оцените энтропию H источника сообщений, создающего осмысленный текст на русском языке. (Считайте, что весь текст записывается без учета того, является ли буква строчной или прописной)

10.Определить максимально возможную величину пропускной способности гауссовского канала при неограниченной полосе.

11.Показать, что пропускная способность гауссовского канала непрерывного времени не может превысить величину

где Fк – полоса канала, Pс и Pш – фиксированные мощности сигнала и шума в канале, которые считаются независимыми.

12.Текстовая информация в компьютере записывается с помощью кода ASCII, в котором каждая буква естественного языка кодируется восьмиразрядным двоичным словом. Найдите объем информации, содержащейся в книге на русском языке из 100 страниц, закодированной подобным образом. Считайте, что страница состоит из 30 строк по 60 букв в каждой. Определите избыточность кодовой системы ASCII как отношение информационных объемов сообщения после и до кодирования.

13.Диктор читает одну страницу книжного текста за две минуты. Электрический сигнал на выходе микрофона лежит в интервале частот с верхней границей 6 кГц. Этот сигнал дискретизируется по времени в соответствии с минимальным требованием теоремы Котельникова, а затем каждый отсчет кодируется

8