
- •А.А. Кузьмин
- •1. Энтропия вероятностной схемы
- •1.1.Основные принципы, понятия и определения теории информации
- •1.2.Количество информации в сообщении
- •Энтропия источника сообщений
- •1.3.Условная энтропия
- •Взаимная информация и взаимная энтропия
- •1.7. Скорость создания информации дискретным источником без памяти
- •2. Элементы теории кодирования информации
- •Основные характеристики кодов
- •1.4.Теоремы кодирования Шеннона
- •Скорость передачи информации по каналу связи определяется количеством передаваемой информации и интервалом времени ее передачи:
- •Таким образом, для реализации помехоустойчивого кодирования в канале связи с помехами, способного обеспечить сколь угодно высокую степень верности, необходимо выполнение условия
- •Контрольные вопросы
- •3. Простые (безызбыточные) коды
- •3.4. Примеры неравномерных кодов
- •Построение кодового дерева Шеннона-Фано
- •Общие принципы построения помехоустойчивых кодов
- •Классификация помехоустойчивых кодов
- •Основные характеристики и корректирующие свойства блочных кодов
- •Линейные блочные коды с обобщенными проверками на четность
- •Формирование (n, k) кода с обобщенной проверкой на четность
- •Структурные схемы кодеров и декодеров линейного кода
- •Принцип построения циклического кода
- •Алгоритм декодирования циклических кодов
- •Структурная схема кодера циклического кода
- •Бчх коды
- •Рекуррентные коды. Кодирование с перемежением
- •Принцип построения рекуррентных (сверточных) кодов
- •Декодирование сверточных кодов
- •6. Пропускная способность каналов связи
- •Пропускная способность непрерывного канала связи
- •Пути повышения пропускной способности непрерывных каналов связи
- •1.5.Пропускная способность дискретного канала связи без помех
- •Контрольные вопросы
- •Элементы теории кодирования информации
- •Простые (безызбыточные) коды
- •Помехоустойчивые блочные коды
- •5. Рекуррентные коды. Кодирование с перемежением
- •6. Пропускная способность каналов связи
- •. Пропускная способность дискретного канала связи без помех 98
- •Основы теории информации
Пропускная способность непрерывного канала связи
Если теоретически предположить, что в канале связи отсутствуют всякие шумы, то задача о пропускной способности теряет смысл – любой объем информации можно было бы передать достаточно быстро и с высокой верностью.
Реальное наличие в канале связи шумов различного происхождения резко усложняет проблему. Интенсивность информационного потока жестко связана с шириной полосы частот, занимаемых сигналом, а также величиной отношения сигнал/шум на входе приемника. Совершенно очевиден тот факт, что канал связи тем совершеннее, чем шире полоса частот и чем больше поддерживается отношение сигнал/шум на выходе приемного устройства.
Количественные оценки, дающие возможность решить данную проблему, были получены впервые К. Шенноном в его классической работе по теории связи.
Упрощенно рассуждения К. Шеннона сводились к следующему. Пусть имеется некоторый канал системы связи с шириной полосы пропускания Fк. Предположим, что Рс – средняя мощность полезного сигнала на входе приемника, а в канале присутствует белый гауссовский шум, мощность которого на входе приемника составляет величину Рш.
Для надежного различения двух отсчетов сигнала необходимо, чтобы данные, получаемые при взятии отсчетов, отличались друг от друга на достаточную величину, например не менее чем на среднеквадратическое отклонение, обусловленное шумом. Поскольку дисперсии стационарных случайных процессов прямо пропорциональны их мощностям, число полностью «различимых» значений сигналов при взятии каждого отсчета составит
.
Положим,
что длительность передаваемой информации
составляет Тс
секунд.
Из теоремы Котельникова, определяющей,
что отсчеты сигналов должны браться не
реже, чем через интервал времени Δt
= 1/
2Fк
,
следует: за время длительности
передаваемого сообщения Тс
может
быть взято не менее
2Tс
Fк
отсчетных
значений
(
).
Тогда общее число различных сигналов,
которые могут быть построены
описанным способом, равно
.
Поскольку все сигналы равновероятны, то вероятность выбора одного конкретного сигнала равна Pi = 1/М. Очевидно, что число битов информации, которое можно безошибочно передать за время Тс , при этом составит
.
Максимальная скорость передачи информации (бит/с), достигаемая при этом, является пропускной способностью канала и равна
.
Это соотношение известно как формула Шеннона для пропускной способности канала аналоговой системы связи с ограниченной полосой частот и ограниченной средней мощностью сигнала при наличии белого нормального шума.
Характер зависимости С = f (Fк) представлен на рис. 18.
Рис. 18. Зависимость пропускной способности
от полосы пропускания канала
Формула Шеннона является важным инструментом при проектировании разнообразных каналов связи.
Пути повышения пропускной способности непрерывных каналов связи
Анализ формулы Шеннона показывает, что существуют два пути повышения пропускной способности канала связи:
- за счет расширения полосы частот канала;
- за счет повышения отношения сигнал/шум.
Однако эти пути не равноценны. Если Fк = const, a отношение сигнал/шум Рс / Рш возрастает, то пропускная способность С также будет увеличиваться, но ее рост оказывается весьма медленным, поскольку подчиняется логарифмическому закону.
При фиксированном же значении отношения сигнал/шум и увеличении полосы пропускания канала Fк пропускная способность возрастает, как следует из формулы, линейно, однако можно показать, что в полосе пропускания не заключены неограниченные возможности ее увеличения.
Покажем, что зависимость пропускной способности канала от Fк при постоянной мощности сигнала нелинейная. Заметим, что мощность помехи также зависит от ширины частотного спектра. Энергетический спектр белого шума равномерен, поэтому его мощность можно представить в виде
P = P0 Fк ,
где P0 – мощность помехи, приходящаяся на полосу в 1 Гц (спектральная плотность мощности помехи).
Подставив формулу для мощности помехи в выражение для пропускной способности, получим выражение, определяющее действительный характер зависимости пропускной способности канала от ширины его полосы пропускания:
.
Из
произведенного анализа можно заключить,
что нет смысла сильно увеличивать полосу
пропускания канала, так как по мере
расширения полосы пропускания рост
пропускной способности канала замедляется
и в пределе при Fк
пропускная способность приближается
к постоянной величине. Имеет смысл
увеличивать полосу пропускания примерно
до значения, равного отношению
.
Пропускная способность может быть увеличена за счет увеличения отношения , но при этом потребуется значительное увеличение мощности передатчика.
Определим предел, к которому стремится пропускная способность канала при неограниченном увеличении его полосы пропускания:
.
Введя
значение
,
получим
Раскрывая неопределенность, используя второй замечательный предел, получим предельное значение пропускной способности канала:
Из полученного соотношения видно, что максимальное значение, к которому стремится пропускная способность канала с ростом его ширины полосы пропускания, пропорционально отношению средней мощности сигнала к спектральной плотности мощности помехи.
Для непрерывного канала с помехами Шенноном сформулирована следующая теорема:
Если
энтропия
источника непрерывных сообщений,
определяющая количество информации,
вырабатываемое в единицу времени при
заданной оценке g
верности воспроизведения, сколь угодно
близка к пропускной способности канала,
т.е. справедливо соотношение
,
где – как угодно мало, то существует метод передачи, при котором все сообщения, вырабатываемые источником, могут быть переданы, а верность воспроизведения при этом как угодно близка к g.
Обратное утверждение этой теоремы говорит о том, что такая передача невозможна, если
Теорема позволяет находить предельно достижимую эффективность непрерывных каналов.