- •В.Г. Ланских теория информации
- •Предисловие
- •Содержание
- •Лекция 1 введение
- •Глава 1.
- •1.1. Случайные события и их вероятности
- •Случайные величины и процессы
- •1.2.1. Дискретные случайные величины и процессы
- •1.2.2. Непрерывные случайные величины и процессы
- •1.3. Методы спектрального описания случайных процессов
- •1.3.1. Понятие спектра детерминированного процесса
- •1.3.2. Спектральное описание случайных процессов
- •1.4. Дискретизация и квантование
- •1.4.1. Дискретизация
- •1.4.2. Квантование
- •1.5. Классификация помех
- •1.6. Модели каналов
- •1.6.1. Модели дискретных каналов
- •1.6.2. Модели непрерывных каналов
- •1.7. Методы модуляции
- •1.7.1. Непрерывные методы модуляции и манипуляции
- •1.7.2. Методы импульсной модуляции
- •1.7.3. Методы цифровой модуляции
- •1.8. Согласование характеристик сигнала и канала
- •Глава 2 количественные оценки информационных объектов и процессов
- •2.1. Подходы к определению количества информации
- •Основы статистического подхода к определению количества информации
- •2.3. Энтропия объединения (ансамбля)
- •2.4. Основная теорема Шеннона для дискретного канала
- •2.5. Энтропийные характеристики непрерывных информационных
- •Глава 3 основы теории кодирования
- •3.1. Назначение и классификация кодов
- •3.2. Эффективное кодирование
- •3.3. Помехоустойчивое кодирование
- •3.3.2. Классификация избыточных двоичных кодов
- •3.3.3 Простейшие блоковые коды с обнаружением ошибок
- •3.3.4. Групповые коды с обнаружением и исправлением ошибок
- •Важнейшие классы полиномиальных кодов
- •3.3.5. Сверточные коды
- •3.3.6. Каскадные коды
- •3.3.7. Оценка эффективности применения корректирующих кодов
1.4. Дискретизация и квантование
Как уже отмечалось ранее, для описания различных информационных объектов используются различные функции времени.
1. Непрерывная функция непрерывного аргумента t (рис. 1.7). Функция в любой из бессчетного множества моментов времени из конечного интервала времени (t0,tn) может принимать любое значение из бесконечного множества значений, расположенных в конечном интервале (xmin, xmax). |
|
Рис. 1.7. Непрерывная функция непрерывного аргумента t |
2. Непрерывная функция дискретного аргумента t (рис. 1.8). Функция может принимать любые значения из бесконечного множества значений, расположенных в конечном интервале (xmin, xmax), но только в фиксированные, наперед заданные моменты времени tk, k=0,1,2,...,n. |
|
Рис. 1.8. Непрерывная функция дискретного аргумента t |
3. Дискретная функция непрерывного аргумента t (рис. 1.9). Значения, которые может принимать функция, образуют дискретный конечный ряд значений, расположенных в интервале (xmin, xmax). Значения аргумента t могут быть любыми в интервале (t0,tn). |
|
Рис. 1.9. Дискретная функция непрерывного аргумента t |
4. Дискретная функция дискретного аргумента t (рис. 1.10). Значения, которые могут принимать аргумент t и функция x(t), образуют конечные дискретные ряды, заполняющие соответствующие интервалы (t0,tn) и (xmin, xmax). |
|
Рис. 1.10. Дискретная функция дискретного аргумента t |
Во многих случаях переход от непрерывного сообщения (сигнала) к дискретному осуществляется специально, поскольку это обеспечивает значительные преимущества при передаче, обработке и хранении информации. В связи с тем, что каждому из дискретных значений конечного множества можно сопоставить число, возникает возможность перейти к цифровому представлению информации, что позволит использовать ЭВМ при ее обработке.
Для выполнения этого перехода над непрерывной функцией непрерывного аргумента осуществляются преобразования, называемые квантованием по времени или дискретизацией и квантованием по уровню. В дальнейшем во избежание путаницы под дискретизацией будем понимать квантование по времени, а квантование по уровню будем называть просто квантованием.
1.4.1. Дискретизация
Дискретизация сводится к замене непрерывной по аргументу функции, функцией дискретного аргумента. В результате непрерывная функция отображается конечным числом ее мгновенных значений, взятых через определенные (равные или неравные) промежутки времени t.
Таким образом, дискретизация представляет собой, по сути, разложение непрерывной функции на совокупность составляющих ее элементарных функций. Для решения этой задачи используется упомянутое ранее обобщенное преобразование Фурье.
Примером ортогонального базиса, кроме рассмотренных ранее гармонических функций, являются функции отсчета Котельникова. Наличие разнообразных базисов в различных областях (частотной и временной) говорит о возможности различных спектральных представлений процессов.
Однако при любом из них возникает вопрос о возможности сколь угодно точного восстановления мгновенных значений процесса, исходя из отсчетных или выборочных значений, взятых через определенные интервалы. Дискретизация должна производиться так, чтобы по отсчетным значениям или коэффициентам разложения можно было получить воспроизводящую функцию, которая с заданной точностью отображает исходную функцию.
Восстановление непрерывной функции по конечному числу ее значений на конечном интервале времени T=(t0,tn) приводит к погрешности, зависящей от числа взятых значений этой функции на этом интервале, т.е. от частоты дискретизации и от выбранного способа восстановления (интерполяции).
Таким образом, при дискретизации приходится решать вопрос о том, как часто следует производить отсчеты функции, т.е. каков должен быть шаг дискретизации t или частота дискретизации f=1/t.
При малом t количество отсчетов на интервале Т будет больше, точность воспроизведения - выше, но увеличится и количество информации, которое нужно хранить, передавать, обрабатывать. При большом t соответственно наоборот.
Оптимальной является такая дискретизация, которая обеспечивает восстановление исходной функции с заданной точностью при минимальном количестве отсчетов. В этом случае все отсчеты существенны для восстановления исходной функции. В случае неоптимальной дискретизации, кроме существенных, производятся и избыточные отсчеты. Эти отсчеты не нужны для восстановления исходной функции с заданной точностью. Наличие избыточной информации нежелательно при ее передаче, обработке и хранении, так как требует больших ресурсов. Устранение этой избыточности может производиться в процессе дискретизации, в связи с чем дискретизацию можно рассматривать не только как операцию по преобразованию непрерывного сообщения в дискретное, но и как один из методов устранения избыточности.
Методы дискретизации и восстановления непрерывных функций классифицируются по следующим основным признакам:
а) регулярность отсчетов,
б) критерии оценки точности дискретизации и восстановления,
в) вида базисной функции.
Регулярность отсчетов в многом предопределяет степень устранения избыточности и сложность устройств дискретизации и восстановления. В соответствии с этим признаком можно выделить равномерную и неравномерную дискретизации. Дискретизация называется равномерной, если t =const на всем интервале Т. Величина t выбирается на основе априорных сведений о характере дискретизируемой функции. Равномерная дискретизация применяется достаточно широко из-за простоты алгоритмов и аппаратуры для ее реализации. Однако при ее использовании возможна значительная избыточность отсчетов.
Дискретизация называется неравномерной, если t =var. Выделяются два вида неравномерной дискретизации: адаптивная и программная.
При адаптивных методах дискретизации t изменяется в зависимости от текущего изменения значений дискретизируемой функции. При программной дискретизации t изменяется в соответствии с заранее составленной на основе априорных сведений о поведении дискретизируемой функции программой.
В качестве критериев оценки точности дискретизации и восстановления чаще других используются следующие критерии:
а) наибольшего отклонения,
б) среднеквадратический,
в) вероятностный,
г) интегральный.
Все эти критерии предлагают метод оценки отклонения воспроизводимой функции от исходной (т.е. ошибки дискретизации) на каждом из интервалов дискретизации. Если максимальная величина ошибки дискретизации задана, то эти критерии позволяют выбрать величину интервала дискретизации t, который обеспечить требуемую точность воспроизведения.
Существуют два способа воспроизведения исходного сигнала: воспроизведение с экстраполяцией и воспроизведение с интерполяцией. Методы дискретизации с экстраполяцией воспроизводящей функции не требуют задержки сигнала в пределах интервала дискретизации, т.е. могут использоваться в системах, работающих в реальном масштабе времени. Дискретизация с интерполяцией требует задержки сигнала на интервал интерполяции.
Выбор системы базисных функций определяется, с одной стороны, требуемой точностью восстановления, с другой - требованиями ограничения сложности устройств и программ дискретизации и восстановления. Требованию простоты нахождения коэффициентов разложения, прежде всего, отвечают степенные алгебраические полиномы. Использование в качестве базисных ортогональных систем функций в ряде случаев оказывается целесообразным, так как для такой системы относительно просто вычисляются коэффициенты разложения, и вычисление их включает операцию интегрирования сигнала, что положительно сказывается на помехоустойчивости алгоритма дискретизации. Задача оптимального выбора конкретного узкого класса базисных функций может решаться лишь при наличии значительной априорной информации о характере дискретизируемой функции. Так, например, если известно, что сигналы являются периодическими, то поиск базисных функций следует направит в класс гармонических функций.
Тот факт, что функция времени, отображающая непрерывной сообщение или сигнал, является произвольной и случайной, означает, что она может иметь временные изменения любой скорости - от самых медленных до бесконечно быстрых скачкообразных изменений. Это, в свою очередь, означает, что такая функция имеет бесконечный спектр. Реальные сообщения обладают спектром, основная часть энергии которых сосредоточена в ограниченной полосе частот. Это обусловлено тем, что устройства, формирующие и преобразующие сообщения и сигналы, обладают конечной ограниченной полосой пропускания. Функции, описывающие такие реальные процессы, называют функциями с ограниченным или финитным спектром.
Для таких функций сформулирована и доказана теорема Котельникова, суть которой состоит в том, что функцию s(t) с финитным спектром можно точно восстановить по ее отсчетам s(kt), взятым через интервалы времени t=1/2fв, где fв - верхняя частота спектра функции. Это осуществляется с помощью разложения функции в ряд Котельникова .
Функции , образующие базис Котельникова, называют функциями отсчета.
Они отличаются друг от друга только сдвигом по оси времени (рис. 1.11) на интервалы, кратные t. |
|
Рис. 1.11 Функции отсчета |
Свойства функции отсчетов:
1) в моменты времени t=kt, где k - любое целое число, k достигает своего максимального значения равного единице;
2) в моменты времени t=nt, где n - любое целое число, причем nk, k=0;
3) функции отсчетов ортогональны на бесконечно большом интервале времени.
Теорема Котельникова обобщается и на случайные процессы. В этом случае она формулируется следующим образом: «Для случайного процесса X(t) с финитным спектром ряд Котельникова , где X(kt) - сечения процесса X(t), взятые через интервалы t , сходится в среднеквадратическом смысле к процессу X(t)».
Фундаментальное значение теоремы Котельникова состоит в том, что она, во-первых, позволяет заменить исследование непрерывных процессов более простой задачей исследования дискретных процессов. Во-вторых, она позволяет наряду с частотным представлением процессов (разложение в гармонический ряд Фурье, спектральные функции) применять и временное представление - разложение во временной ряд.
Полезно сопоставить вид функции отсчетов и получаемое по теореме Котельникова значение t с результатами рассмотрения параметров квазибелого шума. Из этого сопоставления можно сделать вывод о том, что шаг дискретизации t не должен быть больше интервала корреляции к дискретизируемого процесса.
Однако применение этой теоремы встречает некоторые трудности. Строго говоря, функция с ограниченным спектром не ограничена (не финитна) во времени и, наоборот, финитная функция времени имеет неограниченный спектр.
На практике часто приходится иметь дело с сообщениями и сигналами конечной длительности, энергия или мощность которых почти полностью сосредоточена в интервале времени от Т1 до Т2 и в полосе частот F = fв - fн. Слово «почти» оправдывает применение к этим объектам теоремы Котельникова и позволяет представлять их не бесконечным рядом, а конечной суммой. Естественно, такое представление уже не является точным и выполняется с некоторой погрешностью.
Будем полагать, что вся энергия сигнала содержится в полосе частот до fв, а все отсчеты за пределами интервала (Т1, Т2) равны нулю. Тогда .
Ограничение членов ряда конечным числом приводит к появлению ошибки, абсолютное значение которой равно , а относительное , где знаменатель представляет собой полную мощность сигнала x(t), а числитель - часть его мощности, отброшенную при введении ограничения по времени и ограничения по спектру.
Очень полезной и более простой формулой для определения допустимой величины шага дискретизации t при заданной погрешности t для стационарного случайного процесса X(t) является формула , где - значение коэффициента корреляции процесса X(t) при аргументе t. Из этой формулы при заданной погрешности д можно получить выражение для допустимой величины шага дискретизации , где - функция, обратная коэффициенту корреляции процесса X(t).
Не смотря на наличие указанной погрешности, достоинство такого преобразования состоит в переходе от бесконечномерного пространства к конечномерному пространству сигналов, т.е. сигналов, финитных и по спектру и по времени. Размерность этого пространства определяется числом элементов суммы членов ряда, которое равно или .
Эту величину B=2FT называют базой сигнала. Физически она указывает на количество отсчетов, необходимых для описания сигнала
Обобщая сказанное о дискретизации можно заключить:
1. Представление процесса в виде разложения по ортонормированному базису называется обобщенным преобразованием Фурье. Энергия сигнала равна сумме энергий всех элементов обобщенного ряда Фурье. Разложение сигнала по ортонормированному базису обеспечивает минимум ошибки аппроксимации.
2. Ряд Котельникова представляет собой частный случай обобщенного ряда Фурье. Базисными функциями в этом случае являются функции отсчета, сдвинутые во времени относительно друг друга на интервалы, кратные 1/2fв . Коэффициентами ряда Котельникова служат отсчеты разлагаемого процесса, взятые через равные промежутки времени t=1/2fв . Если в спектре процесса отсутствуют составляющие с частотами выше fв , то ряд Котельникова дает точное в среднеквадратическом смысле представление процесса.