Литература

1. Бриллюэн Л. Наука и теория информации. – М.: Физматгиз, 1960.

2. Бриллюэн Л. Научная неопределенность и информация. – М.: Сов. радио, 1970.

3. Ефимов А.Н. Информационный взрыв: проблемы реальные и мнимые. – М.: На- ука, 1985.

4. Майер А.Г, Леонтович Е.А. Об одном неравенстве, связанном с интегралом Фурье / ДАН СССР, 1934. Т. IV. № 7. С. 353 – 360.

5. Тарасенко Ф.П. Введение в курс теории информации. – Томск: ТГУ, 1963.

6. Финк Л.М. Сигналы. Помехи. Ошибки... – М.: Радио и связь, 1984.

7. Френкс Л. Теория сигналов. – М.: Сов. радио, 1974.

8. Шэннон К. Бандвагон. – В сб.: Работы по теории информации и кибернетике.  – М.: ИЛ, 1963.

9. Шэннон К., Уивер В. Математическая теория связи. – В сб.: Работы по теории информации и кибернетике. – М.: ИЛ, 1963.

Упражнения

§ 5.1

• Обсудите роль информации в парадоксе “демона Максвелла” [1, гл. 13] .

• Некоторые философы считают, что информация в мозгу человека настолько сильно качественно отличается от процессов в остальной природе, что их нельзя даже ставить в один ряд с процессами мышления. Обсудите аргументы за и против такого мнения. Обсудите истоки антропоцентризма.

§ 5.2

• При каких условиях можно отнести либо к статическим, либо к динамическим дымовые сигналы, запах, голографическое изображение? Придумайте еще примеры трудно классифицируемых сигналов.

§ 5.3

• Обсудите подробнее сходство и различия между случайным процессом как моделью сигналов и реальными сигналами, приведите примеры.

§ 5.4

• Если вам интересно, попробуйте сами получить формулу для плотности распределения фазы смеси сигнала к шуму, вычислив интеграл (21).

§ 5.5

• Вычислите спектр прямоугольного импульса и убедитесь в его неограниченности по полосе частот.

• Проделайте подробно все выкладки, приводящие к ряду Котельникова (12).

§ 5.6

• Воспроизведите доказательства свойств 1⁰ – 8⁰ энтропии, следуя указаниям, данным в конце описания каждого свойства.

• Задача нахождения функции р(х), реализующей максимум функционала Ф₀[р(х)] при условии постоянства функционалов Ф_i[р(х)], , называется изопериметрической задачей вариационного исчисления и сводится к решению уравнения Эйлера

С помощью этого метода найдите распределения, обладающие максимальной дифференциальной энтропией при заданных условиях:

а)

Ответ: равномерное распределение, р(х) =1/(b – a).

б) Ответ: нормальное распределение,

в) Ответ: экспоненциальное распределение,

Вычислите дифференциальные энтропии экстремальных распределений, полученных в предыдущем упражнении.

§ 5.7

• Докажите справедливость свойств 1⁰ – 5⁰ количества информации.

• Используя формулу (15), определите оптимальный алгоритм обработки выборки наблюдений х₁, ..., х_N для проверки гипотезы Н₀: против альтернативыН₁:

Ответ:

§ 5.8

• Пропускная способность человеческого зрения – около 50 бит/c, а пропускная способность телевизионного канала – около 50 млн. бит/с. Обсудите этот факт.

• Докажите, что предел вероятности, определенной формулой (7), равен 1 в соответствии с указанием в тексте.