
- •Введение
- •Информация, сообщения, сигналы
- •Блок-схема передачи информации
- •Краткая история и примеры устройств передачи различных сообщений
- •Классификация сигналов
- •Количество информации дискретных сообщений
- •6.1 Свойства энтропии источника
- •6.1.1 Энтропия максимальна и равна:
- •6.1.2 Энтропия есть величина вещественная и неотрицательная, а так же ограниченная.
- •6.1.4 Энтропия есть величина вещественная и неотрицательная, а так же ограниченная.
- •6.2 Двоичный дискретный источник
- •Количество информации непрерывных сообщений
- •Статистически зависимые источники сообщений
- •Практические приложения теории информации
- •9.1 Сигнал и аддитивная помеха
- •9.2 Кодирование дискретных сообщений
- •9.3 Эффективное первичное кодирование
- •9.2.1 Метод укрупнения алфавита
- •9.2.2 Методы статистического кодирования
- •9.2.3 Кодирование в биологических структурах
- •Курсовая работа по теории информации
Блок-схема передачи информации
Появление теории информации принято относить к середине 20-го столетия, когда в 1948 году появилась работа «Математическая теория связи» в последующем известного американского ученого Клода Шеннона.
Надо сказать, что и в нашей стране в это время велись серьезные исследования и практически в это же время, даже несколько раньше, в 1947 году академиком РАН Владимиром Александровичем Котельниковым была создана «Теория потенциальной помехоустойчивости», которая во многом, но с несколько иных позиций, приводила к тем же результатам, о которых говорил Шеннон в своей работе «Математическая теория связи».
К. Шенноном была предложена очень простая блок-схема системы передачи информации (СПИ) (рис.4).
Согласно этой блок-схеме от источника сообщений (ИС) сообщение, обозначаемое A, поступает в передающее устройство (ПДУ). На выходе появляется сигнал S, который поступает в линию связи (ЛС). В линии связи действуют различные шумы и помехи, в результате чего после линии связи сигнал изменяется, что отобразим в виде S*.
Приемное устройство (ПРУ) преобразует сигнал S* в исходное сообщение, однако из-за того, что помехи могли повредить передаваемый сигнал, восстанавливаемое сообщение A* может отличаться от исходного. Сообщение A* передается к получателю сообщения (или получателю информации).
Каждый
этап можно характеризовать соответствующим
количеством информации. От источника
сообщения мы получаем оценку количества
информации A,
содержащейся в сообщении A
-
.
После передатчика мы можем ввести меру
количества информации A,
содержащейся в сигнале S,
как
.
После
линии связи естественным показателем
будет служить количество информации
A,
содержащейся в сообщении S*
-
.
Напомним, что S*отличается
от S
из-за влияния помех. После приемного
устройства можно установить количество
информации A,
содержащейся в сообщении A*
-
..
Рисунок 4 – Блок-схема СПИ по К. Шеннону
В процессе передачи по СПИ сообщение подвергается многочисленным преобразованиям, существенно меняющим его электрическое представление и физические характеристики.
Например, при передаче речи по радиоканалу человек как источник информации с помощью голосового аппарата формирует акустическое сообщение. В микрофоне звуковое давление преобразуется в электрический ток. В модуляторе передатчика этот низкочастотный ток (первичный сигнал) преобразуется в высокочастотное напряжение (вторичный сигнал), которое затем на выходе антенной системы представляется в виде электромагнитной волны (третичный сигнал), распространяющейся по радиолинии.
Принятая радиоволна с помощью антенной системы преобразуется в высокочастотное напряжение (принятый сигнал), которое в приемнике преобразуется в низкочастотное напряжение (или ток) и далее с помощью телефона или громкоговорителя восстанавливается акустическое сообщение, воспринимаемое слуховой системой человека как получателя информации.
Мы видим все этапы преобразований сообщений в различные сигналы. При этом из-за влияния помех принятый сигнал может отличаться от переданного, а в итоге и восстановленное сообщение может отличаться от переданного.
Надо иметь в виду, что в любой системе связи, используемой человеком, конечной целью передачи является не само сообщение, а та информация, которая в нем содержится. Эта информация определяется источником (человеком) и называется полезной информацией. Она не зависит (инвариантна) от физической формы представления сообщения, и, следовательно, это сообщение, а также переданный и принятый сигналы, восстановленное сообщение в идеале должны содержать одно и то же количество информации, вырабатываемое источником.
В реальных условиях количество передаваемой источником информации уменьшается из-за действия помех и искажений в различных блоках системы связи, на различных этапах передачи сигналов, которые подвергаются вредному воздействию помех.
Выше, приступив к изучению теории информации, мы дали общее определение этому понятию. Однако во многих практических случаях целесообразно использовать упрощенный подход, а именно, под информацией понимать любые сведения о состоянии или поведении некоторого объекта или системы, либо о каких-то событиях, явлениях, предметах, подлежащие передаче от ИС к ПС.
При таком определении источником информации уже может быть не только человек, но и компьютер, телеметрический датчик и т.д.
При этом можно отметить, что если получатель априори (до передачи) достоверно знает, что будет передано от источника, то количество получаемой им информации нулевое и такая передача (связь) бессмысленна (нецелесообразна), ведь всё заранее известно.
Поэтому информация, воспринимаемая ПС, будет отличаться от нуля только в случае, если передаваемые сведения являются для него новыми, непредвиденными.
Именно эта информация должна оставаться инвариантной при всех преобразованиях сообщений в СПИ; сообщения и сигналы являются только физическими носителями информации.
Очень важно правильно выбрать сигналы, согласованные со средой передачи, с тем, чтобы вредное влияние помех было устранено или уменьшено.