МИНОБРНАУКИ РОССИИ

————————————

Федеральное государственное бюджетное образовательное учреждение высшего образования «Омский государственный технический университет»

ИНФОРМАЦИОННАЯ ЭНТРОПИЯ И НЕРАВНОМЕРНОЕ КОДИРОВАНИЕ

Учебное текстовое электронное издание локального распространения

Рекомендовано редакционно-издательским советом Омского государственного технического университета

Омск Издательство ОмГТУ

2021

————————————————————————————————

1

УДК 621.391(075)

ББК 32.811я73 И74

Авторы:

М. Н. Болдырева, А. А. Магазев, И. В. Широков, М. В. Щерба

Рецензенты:

Д. М. Бречка, к. т. н., доцент кафедры «Информационная безопасность» СибАДИ;

А. К. Гуц, д. ф.-м. н., профессор, декан факультета компьютерных наук ОмГУ им. Ф. М. Достоевского

Информационная энтропия и неравномерное кодирование : учеб. пособие /

М. Н. Болдырева, А. А. Магазев, И. В. Широков, М. В. Щерба ; Минобрнауки России, Ом. гос. техн. ун-т. – Омск : Изд-во ОмГТУ, 2021. – 1 CD-ROM (0,8 Мб). – Систем. требования: процессор с частотой 1,3 ГГц и выше ; 256 Мб RAM и более ; свободное место на жестком диске 300 Мб и более ; Windows XP и выше ; разрешение экрана

1024×768 и выше ; CD/DVD-ROM дисковод ; Adobe Acrobat Reader 5.0 и выше.– Загл.

с титул. экрана. – ISBN 978-5-8149-3215-0.

Учебное пособие знакомит студентов с центральным понятием теории информации – информационной энтропией. В издании приведены основные определения, свойства и теоремы, связанные с этой величиной; рассмотрены существующие подходы к кодированию информации с точки зрения задачи сжатия данных.

Предназначено для студентов очной и очно-заочной форм обучения по направлениям 10.03.01 «Информационная безопасность», 10.05.05 «Безопасность информационных технологий в правоохранительной сфере».

Редактор О. В. Маер Компьютерная верстка Ю. П. Шелехиной

Для дизайна этикетки использованы материалы из открытых интернет-источников

–––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––

2

ПРЕДИСЛОВИЕ

Теория информации – это раздел прикладной математики, изучающий вопросы обработки, хранения и передачи информации. Появление теории информации как самостоятельного научного направления связывают

сопубликованием в 1948 г. знаменитой статьи Клода Шеннона «Математическая теория связи» [1]. Важно отметить, что теория информации – это, прежде всего, математическая дисциплина, оперирующая не реальными категориями, а математическими моделями. Поэтому результатами этой области научных исследований преимущественно являются математические теоремы и основанные на них алгоритмы, а используемый при этом математический аппарат относится к линейной алгебре и теории вероятностей.

Какие основные задачи решает теория информации? Их, в основном,

две: сжатия данных и помехоустойчивости кодов. Важно отметить, что данные задачи рассматриваются именно с математической, а не с практической точки зрения. Другими словами, в рамках теории информации обычно не интересуются деталями физической реализации устройств хранения/передачи информации, так же как и деталями программной реализации конкретных алгоритмов кодирования. На первый план здесь выходит проблема принципиальной теоретической возможности решенияэтих задач, и лишь затем проблема построения конкретных алгоритмов их эффективного решения. Решение этих теоретических проблем, в свою очередь, оказывается тесно связанным синформационной энтропией – центральным понятием всей теории информации.

Предлагаемое учебное пособие ставит своей основной задачей знакомство с первичными понятиями теории информации (собственная и условная энтропии, скорость кодирования и др.). Эти понятия, а также связанные

сними утверждения и теоремы, составляют содержание первой главы.

3

Кроме того, в учебном пособии освещается ряд дополнительных вопросов, связанных с существующими эффективными алгоритмами сжатия данных. Первоначальное представление о таких алгоритмах, вместе с обсуждением их свойств и областей применимости, даётся во второй главе.

Главы в учебном пособии разбиты на несколько параграфов, каждый из которых соответствует примерно одной лекции учебного курса. Излагаемый материал сопровождается примерами решения типовых задач, а в конце каждого параграфа предлагаются вопросы для самоконтроля и задачи для самостоятельного решения различной степени сложности. Ответы и указания к решению этих задач приведены в конце издания. Учебное пособие также включает в себя два полезных приложения. В приложении А приводятся таблицы частотности букв алфавитов русского и английского языков, а в приложении Б описывается алгоритм перевода действительных чисел в двоичную систему счисления.

4