215

МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ

СУМСЬКИЙ ДЕРЖАВНИЙ УНІВЕРСИТЕТ

До друку та в світ дозволяю на підставі «Єдиних правил», п.2.6.14 Заступник першого проректора – начальник організаційно - методичного управління

В.Б. Юскаєв

Теорія інформації

Навчальний посібник

з дисципліни “Теорія інформації”

для студентів механіко-математичного факультету

всіх форм навчання

Усі цитати, цифровий та

фактичний матеріал,

бібліографічні

відомості перевірені,

запис одиниць

відповідає

стандартам

Укладач Н.О. Тулякова

Відповідальний за випуск О.П. Чекалов

Декан механіко-математичного

факультету С.М. Верещака

Суми

Вид-во СумДУ

2008

Міністерство освіти і науки України

Сумський державний університет

Тулякова н.О.0 теорія інформації

Рекомендовано Міністерством освіти і науки України

як навчальний посібник для студентів вищих навчальних закладів

Суми

Вид-во СумДУ

2008

УДК 004.02(075.8)

Т 82

Рекомендовано Міністерством освіти і науки України

(лист № 14/18 –Г - 965 від 06.05.2008 р.)

Рецензенти:

д-р фіз.-мат. наук, проф., член-кореспондент

НАН України В.Л. Макаров

( Київський національний авіаційний університет);

д-р техн. наук, проф. В.В. Лукін

(Харківський національний аерокосмічний

університет „ХАІ”);

д-р фіз.-мат. наук Д.О. Харченко

(Інститут прикладної фізики НАН України)

Тулякова Н. О.

Т 82 Теорія інформації: Навчальний посібник. - Суми: Вид-во СумДУ, 2008.- 212 с.

ISBN 978-966-657-199-4

У посібнику викладено курс „Теорії інформації”, що складається з трьох частин: основні положення теорії інформації, економне кодування (стиснення інформації) і завадостійке кодування. Теоретичний матеріал супроводжується великою кількістю прикладів розв'язання задач. До кожного з розділів підібрані задачі, наводяться відповіді до них. Наприкінці кожної частини курсу подаються контрольні запитання.

Навчальний посібник розрахований на студентів та аспірантів вищих навчальних закладів, може бути корисним викладачам і всім, хто займається питаннями вимірювання інформації і методами побудови кодів з метою стиснення і захисту від завад.

УДК 004.02(075.8)

ISBN 978 -966-657-199-4

©  Н.О. Тулякова, 2008 © Вид-во СумДУ, 2008

Навчальне видання

Тулякова Наталія Олегівна

Теорія інформації

Навчальний посібник

Дизайн обкладинки Р.С. Волкова

Редактори: Н.З.Козак, Т.Г. Чернишова

Комп’ютерне верстання Н.О. Тулякової

Підп. до друку 23.06.2008.

Формат 60х84/16. Папір офс. Гарнітура Times New Roman Cyr. Друк офс.

Ум. друк. арк. 12,32. Обл.-вид арк. 11,26.

Тираж 150 пр. Вид. № 282

Зам. №

Видавництво СумДУ при Сумському державному університеті

40007, Суми, вул. Римського-Корсакова,2

Свідоцтво про внесення суб'єкта видавничої справи до Державного реєстру

ДК № 3062 від 17.12.2007.

Надруковано у друкарні СумДУ

40007, Суми, вул. Римського-Корсакова, 2.

ПЕРЕДМОВА

У даному посібнику подано теоретичний матеріал, приклади розв'язання практичних завдань з навчальної дисципліни „Теорія інформації” для студентів спеціальності „Інформатика” напряму „Прикладна математика”. До кожного з розділів навчального курсу підібрані задачі, наводяться зразки їх розв'язання і відповіді до задач. Наприкінці кожного розділу подаються контрольні запитання для самоперевірки отриманих знань і вмінь.

Навчальний посібник складається з трьох частин. У першій частині розглянуто фундаментальні положення теорії інформації за Шенноном: способи вимірювання та передачі інформації, поняття кількості інформації та ентропії випадкових подій, основні властивості кількості інформації і ентропії, характеристики дискретного каналу зв'язку. У другій частині подано основи економного кодування інформації, розглядаються статистичні та словникові алгоритми стиснення даних; класифікація і загальна характеристика систем стиснення інформації. Третя частина присвячена основним принципам та методам завадостійкого кодування інформації, наводяться загальні властивості завадостійких (коригувальних) кодів, принципи побудови і способи задання лінійних блокових кодів, що виправляють помилки, та основні типи цих кодів.

Опанування базових знань та набуття практичних навичок при вивченні курсу „Теорія інформації” створять засади для подальшого засвоєння спеціалізованих дисциплін у сфері інформатики, комп'ютерних систем, автоматики та керування, телекомунікацій і т. ін. і буде суттєвим підґрунтям для подальшого вдосконалення професійної майстерності спеціалістів у цих галузях.

Частина I Основи теорії інформації та кодування

Розділ 1 ОСНОВНІ ПОЛОЖЕННЯ ТЕОРІЇ ІНФОРМАЦІЇ