29-10-2014_11-40-41 / Методические указания к практическому занятию ___1 (ОТС)
.pdf
Методические указания к практическому занятию №1 по дисциплине «Общая теория связи»
Основные информационные характеристики источников дискретных сообщений
Красноярск
Золотухин, В.В.
Методические указания к практическому занятию №1 «Основные информационные характеристики источников дискретных сообщений» по дисциплине «Общая теория связи» / В.В. Золотухин. – Красноярск, 2013. – 8 с.
В данных методических указаниях к практическим занятиям по дисциплине «Общая теория связи» студентам предстоит изучить и закрепить основные понятия теории информации и кодирования, такие как количество информации, энтропия и избыточность источника.
Предназначено для студентов, обучающихся по направлению 210700.62.
© В.В. Золотухин
ПРАКТИЧЕСКОЕ ЗАНЯТИЕ №1
Основные информационные характеристики источников дискретных сообщений
Задача 1.1: Самолет противника с равной вероятностью может находиться в одной из n зон воздушного пространства (табл. 1.1). Какое количество информации получает оператор радиолокационной станции, когда он фиксирует наличие самолета в одной из них?
Таблица 1.1
Вариант |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
n |
128 |
256 |
128 |
1024 |
2048 |
64 |
32 |
128 |
256 |
64 |
Решение:
Количество информации, содержащееся в отдельном случайном событии ai, вероятность которого равна p(ai), составляет:
|
1 |
|
I(ai) log2 |
|
. |
|
||
|
p(ai ) |
|
Поскольку самолет противника может находиться с равной вероятностью в одной из 512 зон воздушного пространства, вероятности обнаружения самолета в любой из таких зон одинаковы и равны
1 p(ai) 512 .
Отсюда количество информации, содержащееся в подобном случайном событии, равно
I(ai) log2 512 9 битов.
Задача 1.2: Символы алфавита азбуки Морзе появляются в сообщении со следующими вероятностями (табл. 1.2):
для «точки» – p1;
для «тире» – p2;
для промежутка между буквами – p3;
для промежутка между словами – p4.
Требуется определить среднее количество информации в сообщении из 200 символов данного алфавита, считая, что статистическая связь между последовательными символами отсутствует.
Таблица 1.2
Вариант |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
p1 |
0,46 |
0,69 |
0,33 |
0,66 |
0,68 |
0,78 |
0,62 |
0,49 |
0,25 |
0,71 |
p2 |
0,5 |
0,24 |
0,38 |
0,06 |
0,19 |
0,05 |
0,19 |
0,08 |
0,42 |
0,23 |
p3 |
0,02 |
0,05 |
0,16 |
0,12 |
0,02 |
0,13 |
0,06 |
0,2 |
0,23 |
0,01 |
p4 |
0,02 |
0,02 |
0,13 |
0,16 |
0,11 |
0,04 |
0,13 |
0,23 |
0,1 |
0,05 |
Решение:
По своему определению энтропия источника дискретных сообщений равна среднему количеству информации, содержащемуся в одном символе:
K
H(A) p(ai )log2 p(ai) .
i 1
Для данного случая энтропия источника составит
H(A) 0,51 log2 0,51 0,31 log2 0,31
0,12 log2 0,12 0,06 log2 0,06 1,63 бит.
Следовательно, в 200 символах данного алфавита будет содержаться следующее количество информации:
I nH(A) 200 1,63 325,965 бит.
Задача 1.3: Определите энтропию и избыточность двоичного источника, для которого вероятности выбора «1» и «0» равны p1 и p0 соответственно (табл. 1.3).
Таблица 1.3
Вариант |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
p1 |
0,47 |
0,62 |
0,25 |
0,75 |
0,38 |
0,74 |
0,04 |
0,25 |
0,62 |
0,52 |
p0 |
0,53 |
0,38 |
0,75 |
0,25 |
0,62 |
0,26 |
0,96 |
0,75 |
0,38 |
0,48 |
Решение:
Энтропия такого источника равна:
K
H(A) p(ai )log2 p(ai) ,
i 1
H(A) 0,3log2 0,3 0,7log2 0,7 0,881бит.
Для двоичного источника энтропия описывается функцией Шеннона, которая достигает максимального значения при равной вероятности появления символов «0» и «1», то есть 0,5 и 0,5 соответственно:
Hmax (A) log2 2 1бит.
Отсюда следует, что избыточность двоичного источника равна
R(A) Hmax (A) H(A) 1 0,881 0,119 бит.
Задача 1.4: Найти количество информации, которое содержится в квантованном телевизионном сигнале, соответствующем одному кадру развертки изображения, если:
в одном кадре 625 строк;
сигнал, соответствующий одной строке развертки изображения, представляет собой последовательность из 833 случайных по амплитуде импульсов, каждый из которых с равной вероятностью может принимать любое значение в интервале от 0 до 16 В;
каждый импульс квантуется по величине с шагом квантования 1 В;
импульсы изображения между собой не коррелированы.
Требуется найти избыточность телевизионного сигнала, если фактически кадр изображения с 16 градациями уровней яркости содержит 9,37∙105 бит информации.
Решение:
Сначала определим количество информации, которое содержится в одном кадре телевизионного изображения. Для этого необходимо рассчитать количество элементов изображения и среднее количество информации, содержащееся в одном элементе изображения, то есть энтропию.
Количество элементов N телевизионного изображения определяется как произведение числа строк n в одном кадре на количество элементов k в одной строке:
N nk 625 833 519000.
Для расчета энтропии источника необходимо определить алфавит данного источника и вероятности появления символов данного алфавита. По условию задачи телевизионный сигнал может принимать любое значение в интервале от 0 до 16 В с равной вероятностью и шагом квантования 1 В. Отсюда следует, что энтропия такого источника равна:
H(A) log216 4 бита.
Таким образом, общее количество информации в одном кадре изображения составит:
Iк NH(A) 519000 4 2,076 106 бит.
Избыточность телевизионного сигнала определяется как разница между рассчитанным и фактическим количеством информации:
R(A) Hmax (A) H(A) 2,076 106 0,937 106 1,139 106 бит.
Задача 1.5: Определить скорость телеграфирования B в бодах и скорость передачи информации R в бит/c, если длительность единичного элемента τ0 мс, передача осуществляется кодовыми комбинациями длиной n, а число информационных элементов в каждой из таких кодовых комбинаций k (табл. 1.4). Число значащих позиций передаваемого сигнала равно двум. Как изменятся электрическая скорость B и скорость передачи информации R, если число значащих позиций сигнала увеличится до N?
Таблица 1.4
Вариант |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
τ0, мс |
46 |
9 |
11 |
38 |
42 |
29 |
50 |
9 |
29 |
27 |
n |
9 |
7 |
14 |
12 |
10 |
14 |
15 |
13 |
16 |
8 |
k |
2 |
3 |
7 |
4 |
4 |
7 |
10 |
9 |
15 |
1 |
N |
16 |
256 |
32 |
1024 |
4 |
2048 |
8 |
128 |
512 |
128 |
Решение:
Электрическая скорость B, также известная как бодовая скорость или скорость телеграфирования, определяется длительностью единичного элемента τ0:
B |
1 |
|
1 |
50 бод. |
|
20 10 3 |
|||
|
0 |
|
||
При этом информационная скорость R показывает скорость передачи информационных элементов. Как известно, в цифровом потоке бит передаются как информационные элементы, количество которых равно k, так и служебные (например, проверочные) биты, количество которых равно n-k. В результате скорость передачи информации R будет зависеть от соотношения количества информационных элементов и общего числа элементов:
R Bk 50 7 35 бит/c. n 10
Для кода, число значащих позиций в котором равно двум (двоичный или бинарный код) электрическая скорость равна информационной (с учетом доли информационных элементов):
R Bk 35 бит/c. n
В случае же использования большего числа значащих позиций L информационная скорость R связана с электрической следующей зависимостью:
R Bk log2 L 35 log2 256=35 8=280 бит/c. n
Задача 1.6: Определите максимально возможную скорость передачи информации по каналу связи пункта управления с телеуправляемой ракетой, если полоса пропускания канала связи равна F МГц, а минимальное отношение сигнал/шум по мощности в процессе наведения ракеты на цель равно Pc/Pш.
Таблица 1.5
|
Вариант |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
|
|
F, |
|
2 |
10 |
3 |
5 |
11 |
16 |
3 |
9 |
15 |
5 |
|
МГц |
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Pc/Pш |
127 |
511 |
255 |
127 |
15 |
1023 |
2047 |
31 |
63 |
255 |
|
Решение:
Скорость передачи информации (пропускная способность) канала связи С связана с его полосой частот F и отношением сигнал/шум – Pc/Pш следующим образом:
CFlog2 1 Pc .
Pш
Таким образом, максимально возможная скорость передачи информации по каналу связи пункта управления с телеуправляемой ракетой составит:
C 5 106 log2 1 7 5 106 log2 8 5 106 3 15 106 бит/с.