Лекция 3. Модуляция и управление информационными параметрами сигналов.

Исследование различных видов модуляции необходимо для определения свойств каналов, улучшения использования мощности передающих устройств, определения потенциальной помехоустойчивости и исследования совместимости различных систем передачи информации.

Общий принцип модуляции состоит в изменении параметров носителя информации в соответствии с передаваемым сообщением. При модуляции меняется форма и ширина спектра передаваемого сигнала, а также устойчивость к воздействию помех.

Если информационный параметр, воздействующий на сигнал-переносчик, изменяется непре­рывно, то методы модуляции являются непрерывными (амплитудная, фазовая и частотная модуляции).

Если в качестве сигнала-переносчика используют периодическую последовательность импульсов, то модуляцию называют импульсной (так, при изменении амплитуды или частоты импульсов по закону имеет место амплитудно-импульсная или частотно-импульсная модуляция соответствен­но).

Информационный параметр может принимать счётное число значений, при этом модуляцию называют дискретной. К дискретным видам модуляции относятся, например, амплитудная, частотная и фазовая манипуляции. Если значения параметра закодированы и передаются в цифровой форме, то соответствующие виды модуляции носят название цифровой модуляции. Наиболее распространенным видом цифровой модуляции является импульсно-кодовая модуляция, когда значения сигнала в дискретных точках кодируют в цифровой форме.

При создании систем передачи сигналов основными задачами являются разработка методов оптимальной модуляции и демодуляции с точки зрения повышения скорости, достоверности и помехозащищённости передачи информации.

Если в качестве переносчика выбрано гармоническое колебание вида

то можно реализовать три вида модуляции: амплитудную (АМ), частотную (ЧМ) и фазовую (ФМ).

А. Амплитудная модуляция

Амплитудная модуляция (АМ) является самым простым и распространенным видом изменения параметров носителя информации. При АМ огибающая амплитуда гармонического колебания (переносчика) изменяется по закону, совпадающему с законом изменения передаваемого сообщения, частота же и начальная фаза колебания поддерживаются неизменными.

Для амплитудно-модулированного колебания выражение (1) принимает вид

где характер огибающей определяется видом передаваемого сообщения. В простейшем случае, когда модулирующая функция является гармоническим колебанием с частотой (см. Рис. 1)

где - частота модуляции,- фаза модулирующего сигнала, отношениеназываетсякоэффициентом модуляции. Таким образом, АМ сигнал описывается выражением

При условии (так называемаянеискажающая модуляция) амплитуда модулированного колебания изменяется в пределах от минимальной до максимальной.

Рис.1. Колебание, модулированное по амплитуде гармонической функцией

Для определения свойств канала связи необходимо знать спектр модулированного колебания. Иначе говоря, необходимо установить связь между спектром модулированного колебания и спектром модулирующей функции.

Для простейшего случая гармонической модуляции легко представить выражение (4) в виде:

(использована формула для произведения косинусов двух углов). Первое слагаемое в (5) представляет собой исходное немодулированное колебание с частотой . Второе и третье слагаемые соответствуютновым гармоническим колебаниям, появляющимся в процессе модуляции амплитуды. Их частоты иназываются верхней и нижней боковыми частотами модуляции.

Таким образом, к исходному гармоническому колебанию с частотой и амплитудойв результате амплитудной модуляции добавилось два новых с частотами,и амплитудами(Рис. 2).

Если управляющий сигнал обладает более сложным спектром (составлен из некоторого числа гармонических колебаний), каждая составляющая спектра дает свою пару боковых полос. В результате получается спектр, состоящий из двух полос, симметричных относительно несущей частоты .

В общем случае AM сигнал определяется выражением

где -информационный (модулирующий) сигнал, u(t) — сигнал-переносчик, т — коэффициент модуляции.

Построение амплитудного спектра модулированного колебания по заданному спектру передаваемого сообщения поясняется на Рис. 3 и 4. На Рис. 3 изображен спектр управляющего сигнала, а на Рис. 4 - спектр модулированного сигнала.

Рис. 2. Спектр амплитудно-модулированного колебания вида (4).

Рис. 3. Спектр управляющего (модулирующего сигнала)

Рис. 4. Спектр амплитудно-модулированного сигнала при сложной модулирующей функции (см. Рис.3).

Демодуляцию AM сигнала осуществляют путём выделения огибающей сигнала-переносчика на выходе детектора.

Б. Частотная модуляция

При частотной модуляции (ЧМ) информация передается путем модуляции частоты несущего колебания.

В простейшем случае гармонической частотной модуляции мгновенная частота колебания изменяется по закону

,

где называетсядевиацией частоты. Пример частотно-модулированного сигнала приведен на Рис. 5.

Рис. 5. Пример частотно-модулированного сигнала.

Спектр частотно-модулированного колебания даже в случае простейшей гармонической модуляции значительно сложнее, чем спектр амплитудно-модулированного сигнала. Он состоит из бесконечного числа боковых частот, расположенных попарно симметрично относительно несущей частоты и отличающихся от нее на, где- любое целое число.

Фазовая модуляция

Фазомодулированный (ФМ) сигнал имеет постоянную амплитуду, фаза сигнала изменяется пропорционально информационному сигналу, а именно

где ₀ - несущая частота, m - индекс фазовой модуляции.

Для гармонического модулирующего сигнала

и малого индекса модуляции m<<1 формула (7) принимает вид

так как при . После преобразования второго слагаемого в (8) получим

т.е. величины спектральных составляющих идентичны величинам спектральных составляющих сигнала с синусоидальной AM, однако фазовые соотношения между несущей и боковыми составляющими различны.

Принципы амплитудной и частотной манипуляции

Манипуляция относятся к дискретным методам модуляции, в которых информационный параметр принимает счётное число значений.

Амплитудная манипуляция

При амплитудной манипуляции (АМн) информационным параметром является амплитуда сигнала-переносчика, которая изменяется скачкообразно под действием модулирующего сигнала.

Пусть переносчиком выступает гармоническое колебание

а модулирующим сигналом является периодическая последовательность модулирующих импульсов

где - длительность импульсов, - период следования импульсов. Аналитически АМн сигнал определяется выражением

В этом примере амплитуда манипулированного сигнала принимает два значения:

Обычно коэффициент модуляции m при АМн выбирается равным единице, поэтому амплитуда модулированного сигнала изменяется скачком в точках

и принимает два значения и 0. На рис. 6 показаны временные диаграммы модулирующегои манипулированногосигналов.

Рис. 6. Модулирующий и манипулированный сигналы.

Отношение периода следования импульсов к их продолжительности называется скважностью импульсов (в нашем примере).

Частотная манипуляция

Сигнал с частотной манипуляцией (ЧМн) формируется в результате скачкообразного изменения частоты сигнала-переносчика. Например, при манипуляции со скважностью ЧМн сигнал внутри периода манипуляции определяется как

где - изменение частоты,Т - период изменения частоты (рис. 7).

Рис. 7. Модулирующая функция частотно манипулированного сигнала

Частота сигнала мгновенно изменяется между двумя значениями на оси частот. Результирующий сигнал можно рассматривать как суперпозицию двух модулированных прямоугольной последовательностью импульсов синусоидальных сигналов различной частоты, как показано на Рис. 8.

Рис. 8. Две составляющие частотно - манипулированного сигнала

Часто при манипуляции модулирующие сигналы не являются периодическими и представляют собой случайные последовательности (соответствующие последовательностям нулей и единиц при передаче информации).

Принципы импульсной и цифровой модуляции

При импульсной модуляции в качестве сигнала-переносчика используется периодическая последовательность импульсов

где - амплитуда импульсов, h(t) — функция, описывающая одиночный импульс последовательности, Т - период повторения импульсов, - длительность одного импульса.

В случае амплитудной импульсной модуляции (АИМ) амплитуда импульсов изменяется в соответствии с информационным сигналом , так что передаваемый сигнал определяется выражением

где m - коэффициент модуляции. Сигнал (12) приведен на Рис. 9.

Рис. 9. Модулирующий сигнал (а) и АИМ сигнал (б)

Цифровые методы модуляции

Цифровые методы модуляции используются для передачи кодированных сообщений дискретными методами. Их сущность заключает­ся в том, что передаваемый непрерывный сигнал дискретизируется во време­ни, квантуется по уровню и полученные отсчеты преобразуются в кодовые комбинации. Полученной по­следовательностью кодовых сигналов модулируется высокочастотный сигнал-переносчик. Таким образом, цифровые методы модуляции основаны на дискретизации, квантовании и кодировании.

Достоинствами цифровых методов модуляции являются:

• высокая помехоустойчивость;

• возможность восстановления сигналов в узлах связи сетей, что значительно ослабляет эффект накопления искажений сигналов при передаче информации по линиям большой протяженности;

• возможность автоматизации передачи и обработки сигналов с помощью компьютеров.

В настоящее время наибольшее распространение получили системы с импульсной кодовой модуляцией (ИКМ), в которых значение сигнала в дискретные моменты времени преобразуется в двоичные цифровые коды.

А. Цифровая амплитудно-импульсная модуляция

Предположим, что кодовое сообщение представляет собой последовательность двоичных трехразрядных чисел в качестве одиночных слов. Таким образом, всего имеется 2³ = 8 возможных слов. Каждому из 8 слов ставится в соответствии отдельный сигнал длительностью в три тактовых импульса 3L. В случае АИМ восемь сигналов имеют форму импульсов с восемью возможными значениями амплитуды как показано на рис. 10. Максимальная амплитуда равна А , минимальная — 0, остальные значения амплитуды кратны величине А/7. Пусть указанный на рисунке сигнал передается по каналу.

Напряжение на входе приемника представляет собой передаваемый сигнал, искаженный помехой.

Рис. 10. Преобразование сигналов при цифровой АИМ

Для восстановления кодовой последовательности приемник усредняет принимаемый сигнал в течение каждого интервала 3 L, что минимизирует влияние шума.

Для того, чтобы принимаемое решение о том, какой уровень был передан на предыдущем интервале, имело высокую достоверность, среднеквадратичное значение шума должно быть мало по сравнению с расстояниями между уровнями .

Б. Импульсно-кодовая модуляция

Различие между импульсно-кодовой модуляцией (ИКМ) и АИМ показано на рисунке 11. Каждый разряд двоичного числа передается в отдельности: 1 - импульсом длительностью L и амплитудой В , а 0 - отсутствием импульса. При одной и той же вероятности ошибок ИКМ система может иметь примерно в 10 раз меньшую мощность сигнала по сравнению с АИМ, а при равных мощностях ИКМ система имеет гораздо лучшие характеристики.

Рис. 11. Преобразование сигналов в ИКМ

В. Фазоимпульсная модуляция

Принцип фазоимпульсной модуляции иллюстрируется на рис. 12. В каждом интервале длительностью 3 L передается один импульс с фиксированной амплитудой, но его длительность составляет всего 3L/8 и он находится в одном из восьми временных положений.

ФИМ система обеспечивает такое же качество, как и ИКМ при снижении на 1/3 средней мощности сигнала, но требуемая полоса частот в этом случае расширяется в три раза. Таким образом, в смысле обмена полосы на соотношение сигнал-шум, ФИМ-система уступает ИКМ-системе.

Рис. 12. Преобразование сигналов при ФИМ

Лекция 4. Характеристики и модели каналов передачи информации

Канал передачи информации (канал связи) представляет совокупность средств, предназначенных для передачи сигналов (сообщений) между различными точками информационной системы. Под средствами понимаются и технические устройства, и линия связи – физическая среда, в которой распространяется сигнал. Канал можно представить как последовательное соединение устройств (блоков), выполняющих различные функции в общей системе передачи информации.

В зависимости от назначения информационной системы каналы делят на телеграфные, телефонные, звукового вещания, передачи данных, телевизионные, телеметрические и т.д.

В зависимости от характера физической среды, в которой распространяются сигналы, выделяют радиоканалы (в частности, космические каналы), и каналы проводной связи (кабельные, волоконно-оптические линии связи, волноводные СВЧ - тракты и т.д.) .

В зависимости от характера связи между сигналами на входе и выходе канала различают линейные и нелинейные каналы.

При использовании электрических сигналов для передачи информации важна классификация каналов по диапазону рабочих частот, так как именно этот фактор определяет пропускную способность канала.

1. На современных кабельных линиях связи применяют сигналы, занимающие полосы частот в диапазоне до нескольких сотен килогерц.

2. Коаксиальные кабели, являющиеся основой сетей магистральной связи, пропускают диапазон частот до сотни мегагерц.

3. При передаче сигналов по радиоканалам используются частоты от

4. В настоящее время благодаря внедрению оптических лазеров освоен и оптический диапазон. В волоконно-оптических линиях связи используются частоты порядка

Для современного этапа развития техники передачи информации характерна тенденция к переходу на все более высокие частоты. Важнейшей причиной этого является необходимость повышения скорости передачи сообщений (увеличение быстродействия систем).

Для теории передачи информации важна классификация каналов связи по характеру сигналов на входе и выходе канала. Различают каналы:

1) непрерывные по уровням, на входе и выходе которых сигнал непрерывен. Примером может служить канал, заданный между выходом модулятора и входом демодулятора в любой системе передачи информации.

2) дискретные по уровням, на входе и выходе которых сигналы дискретны. Примером такого канала является канал, заданный от входа кодирующего устройства до выхода декодера.

3) дискретные со стороны входа и непрерывные со стороны выхода или наоборот. Такие каналы называются дискретно – непрерывными или полунепрерывными. Пример – канал, заданный между входом модулятора и входом демодулятора или между выходом модулятора и выходом декодера.

Структурная схема канала передачи информации приведена на Рис. 1.

Рис. 1. Структурная схема передачи информации

Важно понимать, что всякий дискретный или полунепрерывный канал содержит внутри себя непрерывный канал. Вообще дискретность и непрерывность канала не связана с характером сообщений: можно передавать дискретные сообщения по непрерывному каналу и непрерывные сообщения – по дискретному.

Анализ непрерывных каналов

Так как непрерывные каналы являются основной составной частью всех других каналов, результаты анализа непрерывных каналов широко используются для решения задач анализа и синтеза систем передачи информации. Основными задачами анализа непрерывных каналов являются анализ линейных и нелинейных искажений сигналов в каналах и анализ влияния помех в каналах.

При рассмотрении помех в непрерывных каналах выходной сигнал представляют в виде

где - входной сигнал,- соответственномультипликативная и аддитивная помехи, - задержка сигнала в канале.

Мультипликативные помехи обусловлены случайными изменениями коэффициента передачи канала из-за изменения характеристик среды, в которой распространяются сигналы.

Аддитивные помехи обусловлены флуктуационными явлениями (случайными колебаниями тока и напряжения), связанными с тепловыми процессами в проводах, резисторах, транзисторах и других элементах схем, наводками под действием атмосферных явлений (грозы и др.) и индустриальных процессов (работа промышленных установок, других линий связи и т.п.). Флуктуационная аддитивная помеха характеризуется “размытостью” энергии спектра в широком диапазоне частот и обусловлена главным образом внутренними шумами элементов аппаратуры (тепловой или белый шум). Средняя мощность теплового шума в полосе частот полезного сигнала равна

,

а спектральная плотность (т.е. мощность, заключенная в единичной полосе частот)

где - постоянная Больцмана,T – абсолютная температура. Флуктуационную помеху невозможно устранить, можно лишь учесть ее характеристики при синтезе такой системы, в которой данная помеха несущественно сказывается на качестве передачи информации.

В настоящее время разработано большое количество моделей непрерывных каналов, наиболее простыми и распространенными из которых являются модель идеального канала и модель гауссовского канала.

Идеальный канал можно применять как модель реального непрерывного канала, если можно пренебречь наличием помех, считать, что преобразование сигналов в канале является детерминированным, а мощность и полосу сигналов – ограниченными. Такая модель слабо отражает реальные условия и ее применяют чаще всего для анализа линейных и нелинейных искажений в многоканальных системах проводной связи.

Гауссовский канал характеризуется следующими допущениями: коэффициент передачи и время задержки сигналов в канале не зависят от времени и являются детерминированными величинами, в канале действует аддитивная флуктуационная помеха – гауссовский “белый шум” . Такая модель позволяет анализировать амплитудные и фазовые искажения сигналов и влияние флуктуационной помехи, и, как следствие, часто применяется как модель реальных каналов проводной связи.

Анализ дискретных каналов

Для анализа дискретных каналов разработан целый ряд специальных математических моделей и методов. Они позволяют определять характеристики дискретных каналов, такие как условные вероятности появления ошибок, полные вероятности появления ошибки и правильного приема, вероятности появления различных символов на выходе дискретного канала и др.

Дискретный канал образуют, например, устройства тракта “вход кодера - выход декодера (см. Рис. 1.). На вход канала поступают символы а с выхода -. Математическая модель дискретного канала определена, если известны следующие характеристики: алфавит и априорные вероятностипоявления символовсообщений (; - объем алфавита); скорость передачи символов; алфавит символовкопии сообщений (; - объем алфавита), априорная условная вероятность появления символапри условии, что был передан символ.

Первые две характеристики определяются свойствами источника сообщений и полосой пропускания непрерывного канала. Объем выходного алфавита определяется способом построения системы передачи информации. Условная вероятность определяется в основном свойствами непрерывного канала. Часто в системе используется “стирание” символов – тогда, когда из-за искажений и помех неясно, какой символ передавался. Решающее устройство декодера выдает символ стирания, если символнастолько отличается от символа источника сообщений, что его нельзя с разумной вероятностью отождествить ни с одним из передаваемых.

Результатом анализа дискретного канала является определение апостериорной условной вероятности того, что при получении символапередавался символ.

С помощью этих апостериорных вероятностей и априорных вероятностей рассчитывают полную вероятность появления ошибки в канале, полную вероятность правильного приема, вероятность появления символов на выходе канала, информационные характеристики дискретного канала (скорость передачи информации, пропускную способность, количество принятой информации и др.).

Апостериорная вероятность рассчитывается по формуле Байеса:

Если решающая схема декодера реализует алгоритм определения максимума апостериорной вероятности:

то на выходе декодера появится символ , апостериорная вероятность появления которогобольше всех остальных.

Характер условных вероятностей полностью определяет свойства дискретного канала. Если для любых париэта вероятность не зависит от момента времениt, то канал называют однородным, в противном случае - неоднородным.

Если справедливо условие

то канал называют каналом без памяти, если же нет – говорят, что канал обладает памятью на символов. Является ли канал однородным и без памяти зависит от того, на какомнепрерывном канале построен дискретный канал. Например, если непрерывный канал является гауссовым, то построенный на нем дискретный канал является однородным и без памяти.

Несмотря на то, что реальные дискретные каналы являются, как правило, неоднородными и с памятью, модель дискретного однородного канала без памяти находит широкое применение в качестве разумного приближения. Она позволяет упростить анализ и получение исходных данных.

Для математического описания дискретных однородных каналов без памяти используют матрицы вида:

элементами которых являются условные вероятности . Совместно с априорными вероятностямиэти вероятности перехода-го символа в-й полностью определяют вероятностные характеристики дискретных каналов.

Математическим аппаратом, позволяющим описывать дискретные каналы, является теория марковских цепей.

Если являются дискретными независимыми символами, то полной характеристикой служит распределение вероятностей появления символа. Так как совокупностьобразует полную группу, то

(условие нормировки).

Если символы последовательности взаимозависимы (коррелированны), то помимо вероятности появления отдельных символов необходимо задавать условные вероятности появления в последовательности символапри условии, что перед ним появилась группа символов. Последовательности, в которых существуют такие статистические связи между символами, являются марковскими цепями. Если статистическая связь существует только между символами, то марковскую цепь называютпростой и ее поведение полностью описывается матрицей (6) при заданных начальных вероятностях . Для эргодической марковской цепи вероятностипоявления символовв установившемся режиме находят из решения системы алгебраических уравнений

с использованием условия нормировки.

Математическое описание дискретных однородных каналов без памяти основано на теории марковских простых однородных цепей.

Определим вероятностные характеристики двоичного дискретного однородного канала без памяти. В этом случае . Для простоты записи обозначим ,

Вероятности - это условные вероятности правильного приема символов, а- вероятности появления ошибок.

Мы рассмотрим простейший случай, когда искажения сигналов в канале отсутствуют и непрерывный канал является гауссовым. В этом случае изменение формы сигнала обусловлено лишь действием флуктуационной помехи.

Если , то канал называетсясимметричным. В теории передачи сигналов показано, что для симметричного гауссового канала условная вероятность появления ошибки определяется соотношением

где - функция Лапласа

а в качестве аргументов выступают - разность энергий различаемых сигналов (например, соответствующих нулю и единице),

и - спектральная плотность гауссовского “белого шума”. Следует отметить, что величинаимеет специальное название (“отношение сигнал – шум” – “signal – to – noise ratio”) и чрезвычайно широко используется в теории связи. При заданном отношении S/N вероятность ошибочного приема легко найти из (8), используя табулированные значения функции Лапласа.

Безусловную вероятность ошибки можно определить по формуле полной вероятности

Полная вероятность правильного приема сигналов равна

поскольку

Так как символы дискретных сообщений кодируют кодовыми комбинациями, которые включают n элементарных кодовых сигналов, то важно уметь определять вероятность того, что в кодовой комбинации будет некоторое число (q) ошибочно принятых элементарных сигналов. Величину q называют кратностью ошибок. Если все элементарные сигналы в кодовой комбинации независимы, эта вероятность описывается биномиальным распределением (формулой Бернулли)

где - число сочетаний,- вероятность появления ошибки при передачи одного элементарного сигнала. Среднее число ошибок равно

Если , что обычно справедливо для реальных каналов, то максимальной является вероятностьтого, что ошибок не будет. С ростомq функция монотонно убывает. В связи с этим ошибки большой кратности (q >1) встречаются редко. Этот вывод справедлив для однородных каналов без памяти при условии . Поэтому в первую очередь обращают внимание на обнаружение и исправление ошибокмалой кратности.

Лекция 5. Информация и энтропия.

Мера количества информации

Как уже отмечалось, в теории информации изучаются количественные закономерности передачи, хранения и обработки информации. Основное внимание в ТИ уделяется определению средней скорости передачи информации и решению задачи максимизации этой скорости путем применения соответствующего кодирования. Предельные соотношения ТИ позволяют оценить эффективность различных систем связи и установить условия согласования в информационном отношении источника с каналом и канала с потребителем.

Для исследования этих вопросов необходимо прежде всего установить универсальную количественную меру информации, не зависящую от конкретной физической природы передаваемых сообщений. Когда принимается сообщение о каком-либо событии, наши знания о нем изменяются, т.к. мы получаем о этом событии некоторую информацию. Сообщение о хорошо известном событии, очевидно, никакой информации не несет. Напротив, сообщение о малоизвестном событии несет много информации.

Таким образом, количество информации в сообщении о некотором событии существенно зависит от вероятности этого события. В основу определения меры количества информации положен вероятностный подход.

Для количественного определения информации можно, в принципе, использовать любую монотонно убывающую функцию вероятности , где - вероятность сообщения (например ). Однако оказывается более удобным исчислять количество информации в логарифмических единицах, т.е. определять количество информации в отдельно взятом сообщении как

Так как , то величинавсегда положительна и конечна. Приколичество информации равно нулю, т.е. сообщение об известном событии никакой информации не несет. Логарифмическая мера обладает естественным в данном случае свойствомаддитивности, согласно которому количество информации, содержащееся в нескольких независимых сообщениях, равно сумме количества информации в каждом из них. Действительно, так как совместная вероятность независимых сообщений

то количество информации в этих сообщениях равно

что соответствует интуитивным представлениям об увеличении информации при получении дополнительных сообщений. Основание логарифма k может быть любым. Чаще всего принимают k = 2, и тогда количество информации выражается в двоичных единицах (“binary digit” - битах).

В двоичных системах передачи информации используется лишь два символа, условно обозначаемых как 0 и 1. В таких системах при независимых и равновероятных символах, когда , каждый из них несет одну двоичную единицу информации

Формула (1) позволяет вычислять количество информации в сообщениях, вероятность которых отлична от нуля. Предполагается, что сообщения дискретны, а их число ограниченно. В таких случаях говорят, что имеется ансамбль сообщений, который описывается совокупностью возможных сообщений и их вероятностей

Ансамбль сообщений образует полную группу событий, поэтому всегда

Если все сообщения равновероятны:

то количество информации в каждом из них определяется величиной

Отсюда следует, что количество информации в сообщении зависит от ансамбля, из которого оно выбирается. До передачи сообщения имеется неопределенность относительно того, какое из m сообщений ансамбля будет передано. После приема сообщения эта неопределенность снижается. Очевидно, что чем больше m, тем больше неопределенность и тем большее количество информации содержится в переданном сообщении.

Рассмотрим пример. Пусть ансамбль возможных сообщений представляет собой алфавит, состоящий из m различных букв. Необходимо определить, какое количество информации содержится в передаваемом слове длиной n букв, если вероятности появления букв одинаковы, а сами буквы следуют независимо друг от друга. Количество информации при передаче одной буквы

Так как все буквы равновероятны, то и количество информации, содержащееся в любой букве,. Так как мы предполагаем, что буквы следуют независимо друг от друга, то количество информации в слове изn букв равно

Для двоичного кода ансамбль элементарных сообщений состоит из двух элементов : 0 и 1 (m = 2). В этом случае сообщение из n элементов несет информацию

В общем случае при передаче сообщений неопределенность снимается не полностью. Так в канале с шумами возможны ошибки. По принятому сигналу только с некоторой вероятностью можно судить о том, что было передано сообщениеa. Поэтому после получения сообщения остается некоторая неопределенность, характеризуемая величиной апостериорной вероятности , а количество информации, содержащееся в сигнале, определяется степенью уменьшения неопределенности при его приеме. Если- априорная вероятность, то количество информации в принятом сигнале относительно переданного сообщенияa равно

Это выражение можно рассматривать также как разность между количеством информации, поступившим от источника сообщений, и тем количеством информации, которое потеряно в канале за счет действия шумов.