Указания по выполнению контрольной работы по дисциплине «Теория информации». Учебно-методическое пособие
.pdfМинистерство цифрового развития, связи и массовых коммуникаций Российской Федерации
Федеральное государственное бюджетное образовательное учреждение высшего образования
«Сибирский государственный университет телекоммуникаций и информатики» (СибГУТИ)
Е. П. Мачикина
УКАЗАНИЯ ПО ВЫПОЛНЕНИЮ КОНТРОЛЬНОЙ РАБОТЫ
ПО ДИСЦИПЛИНЕ «ТЕОРИЯ ИНФОРМАЦИИ»
Учебно-методическое пособие
Новосибирск
2024
УДК 519.72(075.8)
Утверждено редакционно-издательским советом СибГУТИ
Рецензент доцент кафедры вычислительных систем СибГУТИ к.т.н. Е.Н. Перышкова
Мачикина, Е. П. Указания по выполнению контрольной работы по дисциплине «Теория информации» : учебно-методическое пособие / Е. П. Мачикина ; Сибирский государственный университет телекоммуникаций и информатики, кафедра прикладной математики и кибернетики. – Новосибирск, 2024. – 48 с.
В пособии приведен необходимый теоретический материал, примеры решения задач контрольной работы и варианты заданий для самостоятельного выполнения по дисциплине «Теория информации» для студентов института заочного образования СибГУТИ, направление 09.03.01 «Информатика и вычислительная техника», профиль «Программное обеспечение средств вычислительной техники и автоматизированных систем».
©Мачикина Е.П., 2024
©Сибирский государственный университет телекоммуникаций и информатики, 2024
2
ОГЛАВЛЕНИЕ |
|
Правила выполнения контрольной работы ........................................................ |
4 |
Задача 1........................................................................................................................ |
8 |
Задача 2...................................................................................................................... |
15 |
Задача 3...................................................................................................................... |
27 |
Практическое задание 1 ......................................................................................... |
33 |
Практическое задание 2 ......................................................................................... |
37 |
Практическое задание 3 ......................................................................................... |
43 |
Список литературы................................................................................................. |
46 |
Приложение А .......................................................................................................... |
47 |
3
Правила выполнения контрольной работы
Изучение курса «Теория информации» невозможно без практики решения задач. Предполагается, что студенты знают основные понятия и результаты теории вероятностей, владеют умениями решения задач по нахождению вероятностей простых и сложных событий. При изучении курса «Теория информации», кроме конспекта лекций, рекомендуется пользоваться учебниками, приведенными в списке литературы в конце издания.
Выполнение контрольной работы является обязательным результатом самостоятельной работы студентов, изучающих дисциплину «Теория информации». При выполнении контрольной работы необходимо строго придерживаться указанных ниже правил. Работы, выполненные без соблюдения этих правил, не засчитываются и возвращаются студенту для доработки.
•Контрольная работа состоит из трех задач для письменного решения и трех практических заданий. Номер варианта студента определяется по номеру в журнале группы или преподавателем. Конкретные формулировки задач студент определяет по таблице 1. Практические задания имеют единую формулировку для всех студентов.
•Решения задач необходимо располагать в порядке номеров, указанных в задании, сохраняя номера задач. Решение каждой задачи должно быть подробно и логично описано, отдельно выписан ответ задачи. Перед решением приводить условие задачи согласно варианту.
•Практические задания выполняются в современной среде программирования, выбор среды программирования на усмотрение студента. По результатам выполнения практического задания студентом должен быть составлен отчет, где необходимо привести полученные результаты, анализ полученных результатов, ответы на вопросы, поставленные в задании.
•Для проверки контрольной работы преподавателем студентам необходимо загрузить файл (в формате pdf) с решениями задач и отчетами по практическим заданиями в ЭИОС СибГУТИ.
•После получения прорецензированной работы с оценкой «незачет» студент должен исправить все отмеченные преподавателем ошибки и недочеты, выполнить все рекомендации и повторно загрузить в ЭИОС СибГУТИ (комментарии преподавателя не удалять). Без выполненной контрольной работы студент к зачёту не допускается.
•Каждая задача оценивается определенным количеством баллов. Критерии оценки приведены в таблице 2. Максимальное количество баллов – 35, для зачета контрольной работы необходимо получить не меньше 20 баллов.
4
Таблица 1 – Выбор варианта задач
Вариант |
v1 |
v2 |
v3 |
|
Вариант |
v1 |
v2 |
v3 |
1 |
1 |
1 |
6 |
|
41 |
9 |
5 |
14 |
2 |
2 |
2 |
4 |
|
42 |
7 |
2 |
9 |
3 |
3 |
3 |
8 |
|
43 |
4 |
1 |
20 |
4 |
4 |
4 |
5 |
|
44 |
6 |
8 |
10 |
5 |
5 |
5 |
9 |
|
45 |
5 |
3 |
9 |
6 |
6 |
6 |
10 |
|
46 |
3 |
9 |
6 |
7 |
7 |
7 |
1 |
|
47 |
1 |
10 |
2 |
8 |
8 |
8 |
7 |
|
48 |
2 |
7 |
11 |
9 |
9 |
9 |
3 |
|
49 |
10 |
6 |
14 |
10 |
10 |
10 |
2 |
|
50 |
8 |
4 |
5 |
11 |
3 |
9 |
16 |
|
51 |
12 |
11 |
8 |
12 |
15 |
2 |
17 |
|
52 |
12 |
15 |
13 |
13 |
20 |
13 |
6 |
|
53 |
2 |
20 |
16 |
14 |
10 |
18 |
19 |
|
54 |
17 |
10 |
12 |
15 |
20 |
5 |
2 |
|
55 |
15 |
5 |
16 |
16 |
7 |
3 |
1 |
|
56 |
2 |
4 |
3 |
17 |
16 |
15 |
4 |
|
57 |
11 |
12 |
1 |
18 |
9 |
12 |
14 |
|
58 |
3 |
10 |
7 |
19 |
4 |
19 |
5 |
|
59 |
13 |
8 |
16 |
20 |
4 |
7 |
20 |
|
60 |
8 |
2 |
9 |
21 |
11 |
17 |
18 |
|
61 |
14 |
11 |
17 |
22 |
13 |
3 |
19 |
|
62 |
15 |
5 |
3 |
23 |
6 |
20 |
7 |
|
63 |
10 |
8 |
18 |
24 |
2 |
12 |
11 |
|
64 |
6 |
19 |
2 |
25 |
17 |
3 |
9 |
|
65 |
15 |
18 |
17 |
26 |
5 |
14 |
8 |
|
66 |
5 |
1 |
7 |
27 |
8 |
18 |
9 |
|
67 |
12 |
3 |
11 |
28 |
1 |
9 |
10 |
|
68 |
12 |
10 |
4 |
29 |
7 |
4 |
19 |
|
69 |
17 |
9 |
15 |
30 |
12 |
6 |
11 |
|
70 |
7 |
16 |
18 |
31 |
5 |
5 |
13 |
|
71 |
18 |
6 |
20 |
32 |
9 |
3 |
20 |
|
72 |
7 |
15 |
17 |
33 |
6 |
8 |
10 |
|
73 |
15 |
16 |
19 |
34 |
7 |
2 |
17 |
|
74 |
4 |
3 |
11 |
35 |
14 |
19 |
4 |
|
75 |
11 |
9 |
4 |
36 |
10 |
15 |
11 |
|
76 |
12 |
14 |
13 |
37 |
3 |
20 |
6 |
|
77 |
3 |
5 |
9 |
38 |
9 |
9 |
7 |
|
78 |
6 |
19 |
5 |
39 |
8 |
17 |
12 |
|
79 |
10 |
18 |
6 |
40 |
6 |
4 |
16 |
|
80 |
20 |
2 |
12 |
|
|
|
|
5 |
|
|
|
|
Таблица 2 – Критерии оценивания заданий контрольной работы
всего |
Баллы |
Критерии оценки |
35 баллов |
|
|
Задача 1 (4б) |
5-6 |
Задание выполнено полностью и абсолютно правиль- |
|
|
но. Приведено полное описание решения задачи. |
|
2-4 |
Задание выполнено полностью и правильно, но реше- |
|
|
ние содержит некоторые неточности и несуществен- |
|
|
ные ошибки. Есть несущественные пробелы в оформ- |
|
|
лении решения задачи. |
|
0-1 |
Задание выполнено частично, имеет ошибки, осу- |
|
|
ществлена попытка решения на основе правильных |
|
|
методов и идей решения. Описание решения непол- |
|
|
ное. |
|
|
Задание не выполнено, выполнено не самостоятельно. |
Задача 2 (10б) |
9-10 |
Задание выполнено полностью и абсолютно правиль- |
|
|
но. Приведено полное описание решения задачи. Есть |
|
|
небольшие погрешности в описании решения задачи. |
|
6-8 |
Задание выполнено полностью и правильно, но реше- |
|
|
ние содержит некоторые неточности и несуществен- |
|
|
ные ошибки. Есть несущественные пробелы в оформ- |
|
|
лении решения задачи. |
|
3-5 |
Задание выполнено не полностью, с существенными |
|
|
ошибками, но подход к решению, идея решения и ме- |
|
|
тод – правильны. Описание решения задачи неполное |
|
|
и поверхностное. |
|
0-2 |
Задание выполнено частично, имеет ошибки, осу- |
|
|
ществлена попытка решения на основе правильных |
|
|
методов и идей решения. Описание решения непол- |
|
|
ное. |
|
|
Задание не выполнено, выполнено не самостоятельно. |
Задача 3 (4б) |
4 |
Задание выполнено полностью и абсолютно правиль- |
|
|
но. Приведено полное описание решения задачи. Есть |
|
|
небольшие погрешности в описании решения задачи |
|
2-3 |
Задание выполнено не полностью, с существенными |
|
|
ошибками, но подход к решению, идея решения и ме- |
|
|
тод – правильны. Описание решения задачи неполное |
|
|
и поверхностное. |
|
0-1 |
Задание выполнено частично, имеет ошибки, осу- |
|
|
ществлена попытка решения на основе правильных |
|
|
методов и идей решения. Описание решения непол- |
|
|
ное. |
|
|
Задание не выполнено, выполнено не самостоятельно. |
|
|
6 |
Практическое |
4-5 |
Задание выполнено полностью и абсолютно правиль- |
задание 1 (5б) |
|
но. Приведено полное описание решения задачи. Есть |
|
|
небольшие погрешности в описании решения задачи. |
|
2-3 |
Задание выполнено не полностью, с существенными |
|
|
ошибками, но подход к решению, идея решения и ме- |
|
|
тод – правильны. Описание решения задачи неполное |
|
|
и поверхностное. |
|
0-1 |
Задание выполнено частично, имеет ошибки, осу- |
|
|
ществлена попытка решения на основе правильных |
|
|
методов и идей решения. Описание решения непол- |
|
|
ное. |
|
|
Задание не выполнено, выполнено не самостоятельно. |
Практическое |
4-5 |
Задание выполнено полностью и абсолютно правиль- |
задание 2 (5б) |
|
но. Приведено полное описание решения задачи. Есть |
|
|
небольшие погрешности в описании решения задачи. |
|
2-3 |
Задание выполнено не полностью, с существенными |
|
|
ошибками, но подход к решению, идея решения и ме- |
|
|
тод – правильны. Описание решения задачи неполное |
|
|
и поверхностное. |
|
0-1 |
Задание выполнено частично, имеет ошибки, осу- |
|
|
ществлена попытка решения на основе правильных |
|
|
методов и идей решения. Описание решения непол- |
|
|
ное. |
|
|
Задание не выполнено, выполнено не самостоятельно. |
Практическое |
4-5 |
Задание выполнено полностью и абсолютно правиль- |
задание 2 (5б) |
|
но. Приведено полное описание решения задачи. Есть |
|
|
небольшие погрешности в описании решения задачи. |
|
2-3 |
Задание выполнено не полностью, с существенными |
|
|
ошибками, но подход к решению, идея решения и ме- |
|
|
тод – правильны. Описание решения задачи неполное |
|
|
и поверхностное. |
|
0-1 |
Задание выполнено частично, имеет ошибки, осу- |
|
|
ществлена попытка решения на основе правильных |
|
|
методов и идей решения. Описание решения непол- |
|
|
ное. |
|
|
Задание не выполнено, выполнено не самостоятельно. |
7
Задача 1
Известно, что сообщение
xy
порождается двумя зависимыми источника-
ми X с алфавитом |
AX = {x1 , x2 x3} и Y с алфавитом |
ятности появления |
символов источника X : p(x1 ) = |
AY p1
,
= {y |
|
, y |
2 |
y |
} |
||
1 |
|
|
3 |
|
|
||
p(x |
2 |
) = p |
2 |
||||
|
|
|
|
|
|||
. Известны веро-
, |
p(x3 ) = p3 |
. Зави- |
симость между источниками |
X и Y |
задана матрицей условных вероятностей |
|||
PXY = |
|
, т.е. вероятностями появления y j |
при условии порождения xi . |
||
P( y j / xi ) |
|||||
Найти величины H ( X ) , H (Y ) , |
H (X ,Y ) , |
H (X / Y ) , |
H (Y / X ) . (6 баллов) |
||
Конкретное условие задачи задаётся парой чисел (v1, v2) из таблицы 1 (выбор варианта), где v1 определяет вероятностное распределение символов источника
X |
(см. таблицу 3), а v2 – матрицу условных вероятностей PXY (см. таблицу 4). |
||||||||||||
Таблица 3 – Выбор вероятностного распределения v1 |
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
v1 |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
p1 |
0,1 |
0,2 |
0,3 |
0,1 |
0,15 |
0,1 |
0,2 |
0,2 |
0,05 |
0,15 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
p2 |
0,15 |
0,1 |
0,15 |
0,3 |
0,2 |
0,4 |
0,25 |
0,3 |
0,15 |
0,25 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
p3 |
0,75 |
0,7 |
0,55 |
0,6 |
0,65 |
0,5 |
0,55 |
0,5 |
0,8 |
0,6 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
v1 |
11 |
12 |
13 |
14 |
15 |
16 |
17 |
18 |
19 |
20 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
p1 |
0,12 |
0,25 |
0,33 |
0,18 |
0,15 |
0,19 |
0,26 |
0,6 |
0,05 |
0,15 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
p2 |
0,18 |
0,16 |
0,15 |
0,34 |
0,27 |
0,31 |
0,2 |
0,35 |
0,35 |
0,18 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
p3 |
0,7 |
0,59 |
0,52 |
0,48 |
0,58 |
0,5 |
0,54 |
0,05 |
0,6 |
0,67 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
8
Таблица 4 – Выбор матрицы условных вероятностей
v2 |
P |
|
|
|
v2 |
P |
|
|
|
||
|
|
XY |
|
|
|
|
|
XY |
|
|
|
1 |
|
0,8 |
0 |
0,2 |
|
11 |
|
0 |
0,2 |
0,8 |
|
|
|
0 |
0,5 |
0,5 |
|
|
|
0,5 |
0 |
0,5 |
|
|
|
|
|
|
|
||||||
|
|
0,1 |
0,5 |
0,4 |
|
|
|
0,4 |
0,3 |
|
|
|
|
|
|
|
0,3 |
||||||
2 |
|
0 |
0,4 |
0,6 |
|
12 |
|
0,4 |
0 |
0,6 |
|
|
|
0,7 |
0,1 |
0,2 |
|
|
|
0,8 |
0,1 |
0,1 |
|
|
|
|
|
|
|
||||||
|
|
0,5 |
0 |
0,5 |
|
|
|
0 |
0,3 |
0,7 |
|
|
|
|
|
|
|
||||||
3 |
|
0,6 |
0,2 |
0,2 |
|
13 |
|
0,3 |
0,2 |
0,5 |
|
|
|
0,3 |
0 |
0,7 |
|
|
|
0 |
0,1 |
0,9 |
|
|
|
|
|
|
|
||||||
|
|
0 |
0,4 |
0,6 |
|
|
|
0,2 |
0 |
0,8 |
|
|
|
|
|
|
|
||||||
4 |
|
0,2 |
0 |
0,8 |
|
14 |
|
0 |
0,3 |
0,7 |
|
|
|
0,5 |
0,1 |
0,4 |
|
|
|
0,1 |
0,3 |
0,6 |
|
|
|
|
|
|
|
||||||
|
|
0 |
0,3 |
0,7 |
|
|
|
0,6 |
0 |
0,4 |
|
|
|
|
|
|
|
||||||
5 |
|
0,1 |
0,8 |
0,1 |
|
15 |
|
0,5 |
0,5 |
0 |
|
|
|
0 |
0,3 |
0,7 |
|
|
|
0,3 |
0,3 |
0,4 |
|
|
|
|
|
|
|
||||||
|
|
0,4 |
0 |
0,6 |
|
|
|
0 |
0,7 |
0,3 |
|
|
|
|
|
|
|
||||||
6 |
|
0,8 |
0 |
0,2 |
|
16 |
|
0 |
0,2 |
0,8 |
|
|
|
0 |
0,5 |
0,5 |
|
|
|
0,5 |
0 |
0,5 |
|
|
|
|
|
|
|
||||||
|
|
0,1 |
0,5 |
0,4 |
|
|
|
0,4 |
0,3 |
|
|
|
|
|
|
|
0,3 |
||||||
7 |
|
0 |
0,4 |
0,6 |
|
17 |
|
0,4 |
0 |
0,6 |
|
|
|
0,7 |
0,1 |
0,2 |
|
|
|
0,8 |
0,1 |
0,1 |
|
|
|
|
|
|
|
||||||
|
|
0,5 |
0 |
0,5 |
|
|
|
0 |
0,3 |
0,7 |
|
|
|
|
|
|
|
||||||
8 |
|
0,6 |
0,2 |
0,2 |
|
18 |
|
0,3 |
0,2 |
0,5 |
|
|
|
0,3 |
0 |
0,7 |
|
|
|
0 |
0,1 |
0,9 |
|
|
|
|
|
|
|
||||||
|
|
0 |
0,4 |
0,6 |
|
|
|
0,2 |
0 |
0,8 |
|
|
|
|
|
|
|
||||||
9 |
|
0,2 |
0 |
0,8 |
|
19 |
|
0 |
0,3 |
0,7 |
|
|
|
0,5 |
0,1 |
0,4 |
|
|
|
0,1 |
0,3 |
0,6 |
|
|
|
|
|
|
|
||||||
|
|
0 |
0,3 |
0,7 |
|
|
|
0,6 |
0 |
0,4 |
|
|
|
|
|
|
|
||||||
10 |
|
0,1 |
0,8 |
0,1 |
|
20 |
|
0,5 |
0,5 |
0 |
|
|
|
0 |
0,3 |
0,7 |
|
|
|
0,3 |
0,3 |
0,4 |
|
|
|
|
|
|
|
||||||
|
|
0,4 |
0 |
0,6 |
|
|
|
0 |
0,7 |
0,3 |
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
9 |
|
|
|
|
|
Необходимый теоретический материал для решения задачи 1
В теории информации считается, что сообщение – это последовательность символов некоторого алфавита A , которые порождаются дискретным ве-
роятностным источником информации. Алфавит источника информации предполагается заранее известным и неизменным, т.е. известно конечное мно-
жество |
A ={a1, a2 ,...,an}, элементы которого составляют сообщение. Однако |
достоверно неизвестно, какое конкретно сообщение будет порождено источником информации. Далее сообщение передается по каналу связи получателю.
В качестве источников информации и каналов передачи сообщений могут выступать объекты произвольной природы. Например, процесс чтения книги можно представить как процесс передачи последовательности символов естественного языка по зрительному каналу читателю, копирование файла – как передачу последовательности битов из одной области памяти в другой посредством шины передачи данных.
Поскольку достоверно неизвестен результат работы источника, то для задания источника информации необходимо определить не только алфавит источника, но и вероятностное описание процесса появления сообщений на выходе источника, т.е. в любой момент времени должна быть определена вероят-
ность |
порождения источником любой последовательности |
символов |
P(x1x2 |
...xt ) , t 1. Если вероятностный источник с алфавитом A ={a1 |
, a2 ,...,an} |
порождает символы алфавита независимо друг от друга, т.е. знание предшествующих символов не влияет на вероятность появления последующих, то такой источник называется источником без памяти и для каждого символа алфа-
вита ai |
задана вероятность его появления |
P(ai ) , i =1,2,...,n . Тогда для любого |
|
сообщения |
x1x2...xt , t 1, порождаемого источником, выполняется равенство: |
||
|
|
P(x1x2...xt ) = P(x1) P(x2 ) ... P(xt ) . |
|
Далее речь пойдет об источниках без памяти. |
|||
Пусть сообщения длины m порождаются источником информации без |
|||
памяти |
с |
алфавитом A ={a1, a2 ,...,an} |
и вероятностным распределением |
p |
, p |
2 |
,..., p |
n |
1 |
|
|
соответственно,
n pi
i =1
=
1
. Среднее количество информации
I (L) ,
содержащееся в одном сообщении |
L |
n |
|
I (L) = −m pk |
|
k =1 |
|
такого источника определяется как
log2 |
pk |
(1) |
Последнее соотношение было получено Шенноном для определения среднего количества информации в сообщении с произвольными вероятностями порождения символов источником без памяти. Удельная величина среднего количества информации сообщения длины m , т.е. среднее количество информации на один символ сообщения источника, называется энтропией Шеннона
n |
|
H ( p1 , p2 ,..., pn ) = − pk log2 pk |
(2) |
k =1
10