Министерство общего и профессионального образования российской федерации

Санкт-Петербургский государственный институт

точной механики и оптики

(Технический университет)

Кафедра вычислительной техники

А.А.Ожиганов, м.В.Тарасюк передача данных по дискретным каналам

Учебно-методическое пособие

по дисциплине "Теория информации"

Санкт-Петербург

1999

ББК 32.965

УДК 62-52

Составители: доктор технических наук, профессор каф. ВТ А.А.Ожиганов, кандидат технических наук, доцент каф. ВТ М.В.Тарасюк

Учебно-методическое пособие охватывает основные разделы теории информации, использующие меру информации по К.Шеннону. Материал пособия разбит на 6 разделов. В каждом разделе, кроме шестого, приведены краткие теоретические сведения. В первом и втором разделах пособия дается также подробное решение нескольких типовых примеров. Девять заданий, приведенных в шестом разделе, имеют своей целью выработать у студентов практические навыки применения основных положений теории информации и ее методов. Задачи, сформулированные в первом задании, снабжены ответами, а некоторые из них и краткими указаниями. Пособие может быть использовано при подготовке бакалавров по направлению 55.28.00 “ИНФОРМАТИКА И ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА” и инженеров по специальности 22.01 “ВЫЧИСЛИТЕЛЬНЫЕ МАШИНЫ, КОМПЛЕКСЫ, СИСТЕМЫ И СЕТИ”.

Рассмотрено и рекомендовано на заседании

кафедры Вычислительной техники

30 Ноября 1998 г., протокол № 14

Одобрено на заседании методической комиссии факультета

Компьютерных технологий и управления

3 Февраля 1999 г., протокол № 2

Санкт-Петербургский Государственный институт точной механики и оптики (Технический университет), 1999 г.

Оглавление

1.Сигналы и помехи в системах передачи информации 4

Решение типовых примеров 10

Задачи 16

2.Дискретные каналы 18

1. Собственная информация. Взаимная информация 18

Решение типовых примеров 20

Задачи 25

2.2.Средняя собственная информация (энтропия) 27

Решение типовых примеров 30

Задачи 33

2.3.Средняя взаимная информация 36

Решение типовых примеров 38

Задачи 43