- •Каналы передачи информации без помех. Скорость передачи информации и пропускная способность дискретного канала без помех. Теорема Шеннона
- •Модели дискретных каналов.
- •Скорость передачи и пропускная способность дискретного канала без помех. Теоремы Шеннона для канала без помех.
- •В этом случае скорость передачи информации составит
- •Вопрос 2 Дискретный канал с помехами. Скорость передачи информации и пропускная способность при наличии помех Дискретный канал с помехами. Бинарные каналы с помехами.
- •Т огда получаем, что
- •Скорость передачи информации и пропускная способность канала с помехами. Теоремы Шеннона.
Модели дискретных каналов.
В общем случае под каналом передачи информации понимается совокупность технических средств, обеспечивающих передачу сигналов от источника информации к потребителю.
Наиболее общую классификацию каналов связи можно осуществить по характеру сигналов на их входе и выходе. Различают поэтому два типа каналов:
1. Непрерывные каналы. В таких каналах сигналы на входе и выходе непрерывны (по уровням).
2. Дискретные каналы. На входе и выходе таких каналов наблюдаются дискретные сигналы или символы из конечномерного алфавита. Наибольшее распространение получили дискретные модели каналов.
Дискретным каналом является канал, рассматриваемый от входа кодера до выхода декодера.
{Xi}
{Yj}
Линия связи
декодер
кодер
Рис. 3. Дискретный канал передачи информации.
На вход канала поступают символы Xi , а с выхода – символыYi.
Дискретный канал математически описан, если задан входной алфавит сигналов {X}={ X k , K = 1… M } вместе с их априорными вероятностями {Р(X k)} и выходной алфавит сигналов {Y*}={ Y*k , K = 1. . . M +1 }, который в общем случае может содержать символ стирания Q и значения вероятностей переходов Р(Y *i / X k), т. е. вероятностей того, что на выходе канала появится сигнал Y*i при условии, что на вход подан сигнал X k.
Удобно вероятностные характеристики канала задавать матрицами. Так априорные вероятности группируются в матрицу-строку априорных вероятностей
||P( Xk)||=|| P( X1) P( X2) . . . P( Xm) ||
Характеристики, связанные с входным и выходным алфавитами, определяются свойствами источника сообщений и полосой пропускания канала.
Объем выходного алфавита {Yj} (J = 1, 2, …, M+1} определяется способом построения системы передачи информации.
Условная вероятность Р(Y *i / X k) определяется в основном характеристиками дискретного канала и его свойствами.
Если для любых сочетаний Y *i и X k эта вероятность не зависит от момента времени взятия отсчета , т.е.
(5)
то канал называется однородным.
Если данное условие не выполняется, то канал является – неоднородным.
Если справедливо условие
(6)
то такой канал называют каналом без памяти.
Если данное условие не выполняется, то такой канал называют каналом с памятью на n символов.
Реальные дискретные каналы являются неоднородными и с памятью. Это обусловлено следующими причинами:
искажением и влиянием помех в непрерывном канале;
задержкой во времени выходной последовательности сигналов по отношению к входной последовательности;
нарушением тактовой синхронизации.
Однако, модель дискретного однородного канала без памяти, как модель первого приближения, нашла широкое применение. Она позволяет упростить методы анализа и получения исходных данных.
Рассмотрим математические модели дискретных каналов с помехами и без них.
Скорость передачи и пропускная способность дискретного канала без помех. Теоремы Шеннона для канала без помех.
П усть задан канал, на вход которого подаются дискретные сообщения Х, образующие первичный алфавит X1, X2, …, Xn. Последние кодируются с помощью преобразователя П1 и преобразуются в кодированные символы S. Для кодирования используется некоторый алфавит символов S1, S2, …, Sm (см. рис. 5)
Рис. 5. Дискретный канал передачи информации.
Говоря о каналах передачи информации, нельзя не отметить ряд следующий информационных характеристик канала. К ним относятся:
скорость передачи информации;
пропускная способность канала.
Среднее количество информации, передаваемое по каналу в единицу времени, называется скоростью передачи.
Наибольшее значение скорости передачи для данного канала называется пропускной способностью этого канала.
С корость передачи информации
где Н(Х) – средняя энтропия одного сообщения; э – средняя длительность сообщения; Vx – скорость выдачи символов сообщения источником.
Под длительностью сообщения понимают интервал времени, в который появляются сообщения на выходе источника информации. Средняя длительность при отсутствии статистических зависимостей между сообщениями определяется выражением
(8)
где Р(Хi) и (Xi) – априорная вероятность и длительность i-го сообщения; n – количество сообщений , передаваемых источником.
Пропускная способность канала определяется следующим образом
(9)
Скорость передачи информации в общем случае зависит от статистических свойств сообщения, метода кодирования и свойств канала.
Пропускная способность – характеристика канала и она не зависит от фактической скорости передачи информации.
Рассмотрим информационную модель канала без помех.
В канале без помех каждому определенному входному сигналу всегда будет соответствовать один и тот же сигнал на выходе канала, т.е. входные и выходные сигналы связаны однозначной функциональной зависимостью (рис. 6.).
X1
X2
Xn
Y1
Y2
Yn
Рис. 6. Канал без помех.
В этом случае среднее количество информации, переносимое одним символом равно энтропии символа на входе канала (выходе источника сообщений).
I(X) = H(X) (10)