Теория Информации - Методичка (1 семестр)

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «ДОНСКОЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ»

Н.С. Могилевская

ВВЕДЕНИЕ В ТЕОРИЮ ИНФОРМАЦИИ

Учебное пособие

Ростов-на-Дону

2013

УДК 355.01:510.21 М 74

Рецензент

кандидат физико-математических наук, доцент А.Э. Маевский

Могилевская Н.С.

М74 Введение в теорию информации: учеб. пособие / Н.С. Могилевская. – Ростов н/Д: Издательский центр ДГТУ, 2013. – 125 с.

ISBN 978-5-7890-0821-8

Пособие знакомит с тремя основными задачами теории информации: количественное измерение информации, сжатие данных и защита данных от ошибок в каналах связи. Изложение сопровождается большим количеством практических примеров, упражнений для самостоятельного выполнения и тестов для проверки уровня освоения материала.

Предназначено для студентов специальности «Компьютерная безопасность» при изучении дисциплин «Теория информации» и «Помехоустойчивое кодирование», а также студентам специальности «Математическое обеспечение и администрирование информационных систем» при изучении дисциплины «Теория кодирования».

УДК 355.01:510.21

Печатается по решению редакционно-издательского совета Донского государственного технического университета

Научный редактор кандидат физико-математических наук, доцент В.А. Стукопин

Краткие итоги материала, содержащегося в каждой главе, обеспечивают краткий обзор всех важных пунктов главы. Они могут быть использованы студентами для проверки знаний, путем развертывания этих кратких тезисов в детальный ответ. Преподаватели могут использовать краткие итоги для проверки знаний студента, предложив в устной или письменной форме детально описать одно из положений кратких итогов.

Вконце каждой главы дан набор для практики, разработанный с целью закрепить изученный материал. В набор для практики обязательно входят упражнения и тесты, а иногда и индивидуальные задания. Упражнения предназначены для самостоятельного выполнения и могут быть использованы для организации практических занятий по дисциплине. Тесты предназначены для проверки понимания изученного материала, они составлены таким образом, что каждому вопросу теста соответствует только один верный ответ. Специальные задания предлагают заинтересованным студентам, их выполнение позволит глубже понять изучаемый материал.

Вконце каждой главы приведена литература, по материалам которой она составлена, и которая может быть предложена студентам в качестве рекомендуемой.

К сожалению, в пособие не вошли многие важные разделы теории информации, например, не рассмотрены вопросы, связанные

смарковскими источниками сообщений, с оценкой потерь в каналах связи, а также практически не были рассмотрены хорошие помехоустойчивые коды.

Надеемся, что данное пособие будет не только полезным при изучении теории информации, но также сможет заинтересовать читателей в дальнейшем изучении этой науки.

4

1.ЭНТРОПИЯ И КОЛИЧЕСТВО ИНФОРМАЦИИ

Вэтой главе будут рассмотрены основные задачи теории информации; введены понятия количества информации и меры неопределенности в том, какое из событий произойдет; а также решено большое количество примеров по вычислению количества информации и энтропии.

Ключевые слова: информация; отличительные свойства информации; теория информации; передача и хранение данных; классическая математическая схема канала данных; источник сообщений; кодер и декодер канала; кодер и декодер источника; дискретный источник сообщений без памяти; алфавит; элементарное событие; мощность алфавита; слова; вероятностная схема; аксиоматическое определение информации; определение количества информации; определение энтропии; аксиоматическое определение энтропии по Хинчину и Фаддееву; понятие разложения процедуры выбора события; теорема о максимальной емкости источника; избыточность и относительная избыточность источника.

1.1. Предмет, основные понятия. Классическая математическая схема канала связи

При необходимости дать определение информации человек обычно испытывает легкое замешательство в формулировке, хотя, во-первых, интуитивно отлично понимает, о чем идет речь, а во-вторых, многократно сталкивается с определением этого понятия в различных науках. Дело в том, что существует большое количество определений для термина «информация» и для различных областей знаний эти определения существенно отличаются друг от друга.

Согласно закону «Об информации, информатизации и защите информации», который является на территории Российской Федерации основным документом, дающим определение информации, под информацией понимаются сведения о лицах, предметах, фактах, событиях, явлениях и процессах независимо от формы их представ-

5

ления. Это общее определение различные науки уточняют согласно рассматриваемой предметной области.

Перечислим основные, присущие информации свойства, которые принципиально отличают ее от материальных объектов.

Во-первых, информация нематериальна. То есть ее нельзя потрогать. Но носители информации (газеты, USB-флеш- накопители, диски, фотографии и т.д.) – материальны. Обратите внимание, что часто, говоря о защите информации, на самом деле говорят о защите носителей информации.

Во-вторых, информация не исчезает при потреблении и может быть использована многократно. Если Вы съедите пирожок, то второй раз Вам не удастся съесть его же, но если Вы прочтете книгу, услышите новость, посмотрите на картину, то сможете сделать это снова и снова. Даже если Вы забудете новость и сожжете книгу с картиной, то информация не исчезнет бесследно (если это не единственный экземпляр книги или картины), исчезнет лишь один из материальных носителей информации.

В-третьих, информационный продукт со временем подвергается только «моральному износу», т. е. происходит старение информации. Материальный объект со временем устаревает и может стать непригодным. Информация может потерять актуальность, оказаться ошибочной или стать секретной; могут устареть носители информации, но объем и количество информации не изменится.

В-четвертых, производство информации в отличие от материального производства требует значительных затрат по сравнению с затратами на тиражирование. Цена носителя с копией информации складывается фактически из цены носителя, цены записи на носитель и прибыли владельца информации. А для производства информации нужны значительные затраты. Например, написать учебник – т.е. создать информацию стоит гораздо дороже, чем сделать копию этого учебника.

В-пятых, при копировании информации количество информации не меняется, а цена снижается. Пока рецепт чудо-зелья, помо-

6

гающего готовиться к любому экзамену за один час, находится только у Вас, Вы можете продать его дорого. Как только этот рецепт станет доступен всем студентам, то продать Вы его сможете лишь за символическую плату.

Перечисленные свойства показали, как сильно отличаются свойства информации от свойств материальных предметов. Известная цитата Норберта Винера, которого называют основателем кибернетики: «Информация – это не материя и не энергия, информация – это информация», подчеркивает, что информация – это особый объект, для измерения, хранения, передачи и обработки которого нужно использовать специальные методы и средства, отличные от методов и средств, используемых для материи и энергии.

Далее будем использовать следующее определение информации. Информация – содержание сообщения или сигнала; сведения о чем-либо, рассматриваемые в процессе их передачи или восприятия, независимо от формы их представления.

Теорией информации или математической теорией связи называют раздел прикладной математики, определяющий понятие информации, ее свойства, возможности ее измерения, и устанавливающий предельные соотношения для систем передачи данных. Теория информации тесно связана с такими разделами

математики, как теория вероятностей и прикладная алгебра, которые предоставляют для нее математический фундамент. Теория информации, в свою очередь, является фундаментом теории связи.

Считается, что теория информации появилась на свет с публикацией работы Клода Шеннона (Claude Shannon) «Математическая теория связи» в 1948 г. За время своего существования теория информации доказала свою практическую значимость и обогатилась большим числом научных открытий. Результаты, полученные в рамках теории информации, стали неотъемлемой частью нашей повседневной жизни. Круг задач, которые изучает наука, называемая

7

«Теория информации», можно описать, используя упрощенную схему цифровой системы связи (рис. 1.1).

Представленная на рис. 1.1 схема подходит для грубого, но достаточного для дальнейшего изложения, описания цифрового канала данных. Рассмотрим элементы этой схемы. Источник сообщений выдает некоторые данные, записанные буквами конечного алфавита А. Кодер источника кодирует их символами из конечного алфавита B, обычно А ≠ В, при этом представляет данные в компактном виде. Далее данные поступают на вход кодера канала, который вносит в них специальным образом организованную избыточность, что обеспечивает устойчивость данных к ошибкам (помехам) канала связи. Кодер канала может использовать символы одного из уже использованных алфавитов или воспользоваться другим. В канале связи на данные накладываются ошибки. К сожалению, ошибки действуют во всех каналах связи. В декодере канала происходит восстановление данных от ошибок, внесенных каналом связи, а в декодере источника данные восстанавливаются из сжатого состояния. Очевидно, что если ошибок в канале связи произойдет больше, чем может исправить помехоустойчивый код, то сообщения источника и приемника сообщений могут не совпадать. О видах ошибок в цифровом виде, о их связи с реальными помехами и о видах воздействия ошибок на данные, проходящие по каналу связи, можно узнать в учебном пособии [2].

8