Теория информации. Учебно-методическое пособие

ВЫСШЕЕ ОБРАЗОВАНИЕ

Министерство образования и науки РФ

КАЛУЖСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

ИМЕНИ К.Э. ЦИОЛКОВСКОГО

В.Ю. Белаш

ТЕОРИЯ ИНФОРМАЦИИ

Учебно-методическое пособие

2-е издание

Саратов

Вузовское образование

2024

УДК 004 ББК 32.81

Б43

Автор:

Белаш В.Ю. — ст. преподаватель

Калужского государственного университета им. К.Э. Циолковского

Белаш, Виктория Юрьевна.

Б43 Теория информации : учебно-методическое пособие / В.Ю. Белаш. —

2-е изд. — Саратов : Вузовское образование, 2024. — 45 с. — (Высшее образование). — Текст : электронный.

ISBN 978-5-4487-1015-5

Учебно-методическое пособие включает в себя общие сведения о дис-

циплине «Теория информации», практические и лабораторные работы, а также контрольные работы и тесты.

Подготовлено в соответствии с требованиями Федерального государ-

ственного образовательного стандарта высшего образования.

Предназначено для студентов, обучающихся по направлению подготовки высшего образования «Информационные системы и технологии», изучающих дисциплину «Теория информации». Также будет полезно студентам других специальностей при изучении дисциплин «Информатика» и «Информационные технологии».

Учебное электронное издание

ISBN 978-5-4487-1015-5 © Белаш В.Ю., 2019

Учебное издание

Белаш Виктория Юрьевна

Издано в авторской редакции

Технический редактор, компьютерная верстка А.А. Агешкин

Обложка С.С. Сизиумовой

Подписано к использованию 14.08.2024. Объем данных 6 Мб.

ООО «Вузовское образование»

8 (8452) 24-77-97

E-mail: sales@iprbookshop.ru

4

ОГЛАВЛЕНИЕ

Часть I. Общие сведения ................................................................................................................ 5

Основные образовательные результаты, отраженные в заданиях ............................................. 5

Технологическая карта дисциплины ............................................................................................ 5

Структура лекционного курса ....................................................................................................... 6

Часть II. Практические и лабораторные работы .................................................................... 13

Практическая работа № 1. Вычисление количества информации .......................................... 13

Лабораторная работа № 1. Подсчёт промежуточного количества информации ................... 15

Практическая работа № 2. Энтропия и информация ................................................................ 18

Лабораторная работа № 2. Энтропия как мера степени неопределенности системы ........... 19

Практическая работа № 3. Системы счисления ........................................................................ 21

Лабораторная работа № 3. Самостоятельная работа

по темам «Количество информации. Системы счисления» ..................................................... 22

Практическая работа № 4. Двоичное кодирование ................................................................... 24

Лабораторная работа № 4. Определение избыточности кода.

Оптимальное неравномерное кодирование ............................................................................... 27

Практическая работа № 5. Часть 1. Оптимальное кодирование.

Неравенство Макмиллана ............................................................................................................ 28

Практическая работа № 5. Часть 2. Алфавитное неравномерное кодирование ..................... 29

Лабораторная работа № 5. Сравнение оптимальных кодов ..................................................... 30

Практическая работа № 6. Алгоритм Лемпела-Зива. Блочное кодирование ......................... 32

Лабораторная работа № 6. Кодирование информации ............................................................. 33

Практическая работа № 7. Код Хэмминга ................................................................................. 35

Лабораторная работа № 7. Код Хэмминга ................................................................................. 36

Часть III. Контрольные мероприятия ....................................................................................... 37

Тест по дисциплине «Теория информации». Вариант 1 ........................................................... 37

Тест по дисциплине «Теория информации». Вариант 2 ........................................................... 38

Контрольная работа по дисциплине «Теория информации». Вариант 1 ................................ 40

Контрольная работа по дисциплине «Теория информации». Вариант 2 ................................ 41

Список вопросов для коллоквиума ............................................................................................ 44

Библиографический список ......................................................................................................... 45

5

ЧАСТЬ I. ОБЩИЕ СВЕДЕНИЯ

Основные образовательные результаты,

отраженные в заданиях

В результате освоения дисциплины «Теория информации» студенты

должны:

знать:

 единицы измерения информации;  формулы для расчета количества информации;  алгоритмы перевода чисел из одной системы счисления в другую;  алгоритмы оптимального, алфавитного и группового кодирования;  определение расстояния Хэмминга.

уметь:

 определять количество информации для файла;  переводить числа между различными системами счисления;  применять алгоритмы кодирования данных;  рассчитывать расстояние Хэмминга.

Технологическая карта дисциплины

Вид работы

Критерии оценивания

Максимальное

количество баллов

Лекции

Верно даны два определения по теме лекции

2б

2б*8лк=16б

Верно дано только одно определение по теме лекции, либо в определениях допущены ошибки

1б

Определения даны неверно

0б

Лабораторные

работы

Критерии оценивания приведены ниже

4б

4б*7л/р=28б

Практические

работы

Критерии оценивания приведены ниже

4б

4б*7л/р=28б

Коллоквиум

по теории

Верные ответы на оба теоретических вопроса

14б

Допущена ошибка (за каждую)

-1б

Верный ответ только на один вопрос

7б

Тест

Верный ответ на вопрос

0,2б

6*0,2+2*0,4+2*1=4б

6

Вид работы

Критерии оценивания

Максимальное

количество баллов

по теории

с выбором ответа

Верный ответ на вопрос на соответствие (засчитывается полностью правильный ответ)

0,4б

Верный ответ на вопрос с открытым ответом

1б

Контрольная

работа

Верное решение заданий 1–9

0,5б

9*0,5+3*1+2,5=10б

Верное решение задач 10–12

1б

Дополнительный балл за верно решенные 12 задач

2,5б

100б

Структура лекционного курса

№ п/п

Тема лекции

Основные понятия,

алгоритмы

и способы действий

Рекомендуемая литература

Лекция

№ 1

Информация.

Теория

информации

Информация,

информатика, теория

информации,

информационные

процессы,

информационные

революции, единицы

измерения

информации, расчет

количества

информации

Балюкевич Э.Л. Теория информации [Электронный ресурс] : учебное пособие / Э.Л. Балюкевич. — Электрон. текстовые данные. — М. : Евразийский открытый институт, 2009. — 215 c. — 978-5-374-00219-

5. — Режим доступа: http://www.iprbookshop.ru/10863.html

Будаева А.А. Теория информации. Методические указания к лабораторным работам для студентов направления 230100.62 «Информатика и вычислительная техника» — Владикавказ, 2013.

Зверева Е.Н. Сборник примеров и задач по основам теории информации и кодирования сообщений [Электронный ресурс] / Е.Н. Зверева, Е.Г. Лебедько. — Электрон. текстовые данные. — СПб. : Университет ИТМО, 2014. — 76 c. — 2227-8397. — Режим доступа:

http://www.iprbookshop.ru/68114.html

Гультяева Т.А. Основы теории информа-

7

№ п/п

Тема лекции

Основные понятия,

алгоритмы

и способы действий

Рекомендуемая литература

ции и криптографии [Электронный ресурс] : конспект лекций / Т.А. Гультяева. — Электрон. текстовые данные. — Новосибирск: Новосибирский государственный технический университет, 2010. — 88 c. — 978-5-7782-1425-5. — Режим доступа: http://www.iprbookshop.ru/44987.html

Овчаренко И.Н. Методические указания к выполнению лабораторных работ по дисциплине «Теория информации». — Калуга,

2012.

Панин В.В. Основы теории информации. — М.: Лаборатория знаний, 2015.

Лекция

№ 2

Информация

и энтропия

Энтропия как мера неопределенности, свойства энтропии,

бит, формула Хартли,

формула Шеннона,

условная энтропия

и ее свойства

Балюкевич Э.Л. Теория информации [Электронный ресурс] : учебное пособие / Э.Л. Балюкевич. — Электрон. текстовые данные. — М. : Евразийский открытый институт, 2009. — 215 c. — 978-5-374-00219-

5. — Режим доступа: http://www.iprbookshop.ru/10863.html

Будаева А.А. Теория информации. Методические указания к лабораторным работам для студентов направления 230100.62 «Информатика и вычислительная техника» — Владикавказ, 2013.

Зверева Е.Н. Сборник примеров и задач по основам теории информации и кодирования сообщений [Электронный ресурс] / Е.Н. Зверева, Е.Г. Лебедько. — Электрон. текстовые данные. — СПб. : Университет ИТМО, 2014. — 76 c. — 2227-8397. — Режим доступа:

http://www.iprbookshop.ru/68114.html

Гультяева Т.А. Основы теории информации и криптографии [Электронный ресурс] : конспект лекций / Т.А. Гультяева. — Электрон. текстовые данные. — Но-

8

№ п/п

Тема лекции

Основные понятия,

алгоритмы

и способы действий

Рекомендуемая литература

восибирск: Новосибирский государственный технический университет, 2010. — 88 c. — 978-5-7782-1425-5. — Режим до- ступа: http://www.iprbookshop.ru/44987.html

Горячкин О.В. Теория информации и кодирования. Часть 2 [Электронный ресурс] : учебное пособие / О.В. Горячкин. — Электрон. текстовые данные. — Самара: По- волжский государственный университет телекоммуникаций и информатики,

2017. — 138 c. — 2227-8397. — Режим до- ступа: http://www.iprbookshop.ru/75413.html

Овчаренко И.Н. Методические указания к выполнению лабораторных работ по дисциплине «Теория информации». Калуга,

2012.

Панин В.В. Основы теории информации. — М.: Лаборатория знаний, 2015.

Лекция

№ 3

Информация

и алфавит

Дискретные

сообщения, постановка

задачи кодирования,

свойства кодирования,

первая теорема

Шеннона,

относительная

избыточность кода

Балюкевич Э.Л. Теория информации [Электронный ресурс] : учебное пособие / Э.Л. Балюкевич. — Электрон. текстовые данные. — М. : Евразийский открытый институт, 2009. — 215 c. — 978-5-374-00219-

5. — Режим доступа: http://www.iprbookshop.ru/10863.html

Будаева А.А. Теория информации. Методические указания к лабораторным работам для студентов направления 230100.62 «Информатика и вычислительная техника» — Владикавказ, 2013.

Гультяева Т.А. Основы теории информации и криптографии [Электронный ресурс] : конспект лекций / Т.А. Гультяева. — Электрон. текстовые данные. — Новосибирск: Новосибирский государственный технический университет, 2010. —

88 c. — 978-5-7782-1425-5. — Режим до-

9

№ п/п

Тема лекции

Основные понятия,

алгоритмы

и способы действий

Рекомендуемая литература

ступа: http://www.iprbookshop.ru/44987.html

Горячкин О.В. Теория информации и кодирования. Часть 2 [Электронный ресурс] : учебное пособие / О.В. Горячкин. — Электрон. текстовые данные. — Самара: Поволжский государственный университет телекоммуникаций и информатики,

2017. — 138 c. — 2227-8397. — Режим до- ступа: http://www.iprbookshop.ru/75413.html

Овчаренко И.Н. Методические указания к выполнению лабораторных работ по дисциплине «Теория информации». — Калуга,

2012.

Панин В.В. Основы теории информации. — М.: Лаборатория знаний, 2015.

Лекция

№ 4

Системы

счисления

Система счисления,

основание системы

счисления,

классификация систем

счисления, алгоритм

перевода целых и

дробных чисел в

различных системах

счисления

Балюкевич Э.Л. Теория информации [Электронный ресурс] : учебное пособие / Э.Л. Балюкевич. — Электрон. текстовые данные. — М. : Евразийский открытый институт, 2009. — 215 c. — 978-5-374-00219-

5. — Режим доступа: http://www.iprbookshop.ru/10863.html

Будаева А.А. Теория информации. Методические указания к лабораторным работам для студентов направления 230100.62 «Информатика и вычислительная техника» — Владикавказ, 2013.

Овчаренко И.Н. Методические указания к выполнению лабораторных работ по дисциплине «Теория информации». — Калуга,

2012.

Панин В.В. Основы теории информации. — М.: Лаборатория знаний, 2015.

Лекция

Кодирование

Алфавитное

Балюкевич Э.Л. Теория информации

10

№ п/п

Тема лекции

Основные понятия,

алгоритмы

и способы действий

Рекомендуемая литература

№ 5

информации

кодирование,

неравномерный код с

разделителями,

префиксный код, код

Шеннона-Фано, код

Хаффмана, байтовый

код, код Морзе.

[Электронный ресурс] : учебное пособие / Э.Л. Балюкевич. — Электрон. текстовые данные. — М. : Евразийский открытый институт, 2009. — 215 c. — 978-5-374-00219-

5. — Режим доступа: http://www.iprbookshop.ru/10863.html

Будаева А.А. Теория информации. Методические указания к лабораторным работам для студентов направления 230100.62 «Информатика и вычислительная техника» — Владикавказ, 2013.

Гультяева Т.А. Основы теории информации и криптографии [Электронный ресурс] : конспект лекций / Т.А. Гультяева. — Электрон. текстовые данные. — Новосибирск: Новосибирский государственный технический университет, 2010. — 88 c. — 978-5-7782-1425-5. — Режим доступа: http://www.iprbookshop.ru/44987.html

Горячкин О.В. Теория информации и кодирования. Часть 2 [Электронный ресурс] : учебное пособие / О.В. Горячкин. — Электрон. текстовые данные. — Самара: По- волжский государственный университет телекоммуникаций и информатики,

2017. — 138 c. — 2227-8397. — Режим до- ступа: http://www.iprbookshop.ru/75413.html

Овчаренко И.Н. Методические указания к выполнению лабораторных работ по дисциплине «Теория информации». — Калуга,

2012.

Панин В.В. Основы теории информации. — М.: Лаборатория знаний, 2015.

Лекция

№ 6

Сжатие данных

Блочное кодирование,

алгоритм Лемпела-Зива

Балюкевич Э.Л. Теория информации [Электронный ресурс] : учебное пособие / Э.Л. Балюкевич. — Электрон. текстовые данные. — М. : Евразийский открытый институт, 2009. — 215 c. — 978-5-374-00219-

5. — Режим доступа: