Вопросы к зачету по курсу «Теория информации»

1. Теория информации как наука. Информация, сообщения, сигналы (понятия).

2. Передача информации в информационной системе.

3. Случайные модели в задачах теории информации. Случайная величина.

4. Случайные модели в задачах теории информации. Случайное событие.

5. Измерение информации (меры информации)

6. Информационная мера Шеннона. Энтропия. Условная энтропия.

7. Свойства энтропии дискретного и непрерывного источников информации

8. Избыточность информации. Взаимная информация.

9. Обобщенные характеристики сигналов и каналов

10. Характеристика канала связи без помех. Теорема Шеннона для канала без помех.

11. Характеристика канала связи с помехами. Теорема Шеннона для канала с помехами.

12. Значение результатов Шеннона.

13. Сжатие данных

14. Экономное кодирование

15. Процедуры Шеннона-Фано и Хаффмена

16. Помехоустойчивое кодирование. Основные принципы помехоустойчивого кодирования.

17. Помехоустойчивое кодирование. Помехоустойчивость кода. Корректирующие коды.

18. Помехоустойчивое кодирование. Методы помехоустойчивого кодирования.

19. Дискретизация информации. Теорема Котельникова.

20. Квантование по уровню. Дискретизация по времени.

1. Теория информации как наука. Информация, сообщения, сигналы (понятия).

Информация – лат. Information – разъяснение, изложение, осведомленность; –одно из общих понятий науки, обозначающее некоторые сведения, совокупность каких-либо данных, знаний. В широком смысле – отражение реального мира;

В узком смысле – любые сведения, являющиеся объектом хранения, передачи, и преобразования информации.

Теория информации – это наука о получении, преобразовании, накоплении, отображении и передаче информации.

Структурная теория информации рассматривает структуру построения отдельных информационных сообщений. Единица количества информации – элементарная структурная единица квант.

Статистическая теория оценивает информацию с точки зрения меры неопределенности. Основное внимание уделяется распределению вероятностей, либо появлению сигналов, либо изменению характеристик этих сигналов и построению на его основе некоторых обобщенных характеристик, позволяющих оценить количество информации.

Семантическая теория занимается изучением именно смысловых характеристик информации: ценности, содержательности, полезности. Помогает связать количество и ценность информации с такими обобщенными характеристиками системы, как эффективность, информационная пропускная способность, информационная помехоустойчивость.

С технической точки зрения, информация – это сведения, являющиеся объектом хранения, передачи и преобразования.

Информация – это, прежде всего, сведения, которые должны быть использованы.

Под сообщением понимают информацию, выраженную в определенной форме и подлежащую передаче. Сообщение – это форма представления информации. Примерами сообщений являются: текст телеграммы, речь оратора, показания измерительного датчика, команды управления и т.д.

Непрерывные по времени сообщения отображаются непрерывной функцией времени. Дискретные по времени сообщения характеризуются тем, что поступают в определенные моменты времени и описываются дискретной функцией t.

Непрерывные множеству сообщения характеризуются тем, что функция, их описывающая, может принимать непрерывное множество значений. Дискретные по множеству сообщения – это сообщения, которые могут быть описаны с помощью конечного набора чисел или дискретных значений некоторой функции.

Сообщение для передачи его в соответствующий адрес должно быть предварительно преобразовано в сигнал. Под сигналом понимается изменяющаяся физическая величина, отображающее сообщение. Сигнал – материальный переносчик сообщения, т.е. изменяющаяся физическая величина, обеспечивающая передачу информации по линии связи.

Квантование по уровню состоит в преобразовании непрерывного множества значений сигнала x(t_i) в дискретное множество значений x_k, k=0, …., m-1, (III вид сигнала).

Операцию, переводящую непрерывный сигнал во II вид называют квантованием по времени или дискретизацией.

2. Передача информации в информационной системе.

Система состоит из отправителя информации, линии связи и получателя информации. Сообщение для передачи его в соответствующий адрес должно быть предварительно преобразовано в сигнал. Под сигналом понимается изменяющаяся физическая величина, отображающее сообщение. Сигнал – материальный переносчик сообщения, т.е. изменяющаяся физическая величина, обеспечивающая передачу информации по линии связи. Физическая среда, по которой происходит передача сигналов от передатчика к приемнику, называется линией связи.

В современной технике нашли применение электрические, электромагнитные, световые, механические, звуковые, ультразвуковые сигналы. Для передачи сообщений необходимо принять тот переносчик, который способен эффективно распределяться по используемой в системе линии связи (FE: по радиолинии эффективно распределяется только электромагнитные колебания высоких частот – от сотен кГц до дес. тысяч МГц).

Преобразование сообщений в сигналы, удобные для прохождения по линии связи, осуществляется передатчиком.

В процессе преобразования дискретных сообщений в сигнал происходит кодирование сообщения. В широком смысле кодированием называется преобразование сообщений в сигнал. В узком смысле кодирование – это отображение дискретных сообщений сигналами в виде определенных сочетаний символов. Устройство, осуществляющее кодирование называется кодером.

При передаче сигналы подвергаются воздействию помех. Под помехами подразумеваются любые мешающие внешние возмущения или воздействия (атмосферные помехи, влияние посторонних источников сигналов), а также искажения сигналов в самой аппаратуре (аппаратурные помехи), вызывающие случайное отклонение принятого сообщения (сигнала) от передаваемого.

На приемной стороне осуществляется обратная операция декодирования, т.е. восстановление по принятому сигналу переданного сообщения.

Решающее устройство, помещенное после приемника, осуществляет обработку принятого сигнала с целью наиболее полного извлечения из него информации.

Декодирующее устройство, (декодер) преобразует принятый сигнал к виду удобному для восприятия получателем.

Совокупность средств, предназначенных для передачи сигнала, называется каналом связи. Одна и та же линия связи может использоваться для передачи сигналов между многими источниками и приемниками, т.е. линия связи может обслуживать несколько каналов.

При синтезе систем передачи информации приходится решать две основные проблемы, связанные с передачей сообщений:

- обеспечение помехоустойчивости передачи сообщений

- обеспечение высокой эффективности передачи сообщений

Под помехоустойчивостью понимается способность информации противостоять вредному воздействию помех. При данных условиях, т.е. при заданной помехе, помехоустойчивость определяет верность передачи информации. Под верностью понимается мера соответствия принятого сообщения (сигнала) переданному сообщению (сигналу).

Под эффективностью системы передачи информации понимается способность системы обеспечивать передачу заданного количества информации наиболее экономичным способом. Эффективность характеризует способность системы обеспечить передачу данного количества информации с наименьшими затратами мощности сигнала, времени и полосы частот.

Теория информации устанавливает критерии оценки помехоустойчивости и эффективности информационных систем, а также указывает общие пути повышения помехоустойчивости и эффективности.

Повышение помехоустойчивости практически всегда сопровождается ухудшением эффективности и наоборот.