Основы теории информационных процессов и систем. Учебное пособие

3.7.2. Основные свойства вейвлетных преобразований сигналов

Аналитика вейвлетных преобразований сигналов определяется математической базой разложения сигналов, которая аналогична преобразованиям Фурье. Основной отличительной особенностью вей3 влет3преобразований является новый базис разложения сигналов – вейвлетные функции. Свойства вейвлетов принципиально важны как для самой возможности разложения сигналов по единичным вейвлет3 ным функциям, так и для целенаправленных действий над вейвлет3 ными спектрами сигналов, в том числе с последующей реконструкцией сигналов по обработанным вейвлетным спектрам.

Вейвлеты могут быть ортогональными, полуортогональными, биор3 тогональными. Эти функции могут быть симметричными, асимметрич3 ными и несимметричными, с компактной областью определения и без таковой. Некоторые функции имеют аналитическое выражение, другие

– быстрый алгоритм вычисления вейвлет3преобразования. Вейвлеты различаются также степенью гладкости. Для практики желательно было бы иметь ортогональные симметричные и асимметричные вейвлеты. К сожалению, такими вейвлетами являются лишь вейвлеты Хаара, которые не обладают достаточной гладкостью и не подходят для большинства приложений. Наибольшее применение находят биорто3 гональные вейвлеты.

3.7.3.Вейвлетный кратномасштабный анализ сигналов

Впрактике передачи информации часто требуется представить сиг3 нал в виде совокупности его последовательных приближений. Напри3 мер, при просмотре и передаче изображений с выборкой из некоторой базы данных можно сначала передать грубую его версию, а затем (при необходимости) последовательно ее уточнять. При сжатии изображе3 ний без потери качества можно убирать из изображения незначимые мелкомасштабные детали.

Вобщем случае произвольный информационный сигнал в теории цифровых временных рядов обычно рассматривается в виде суммы разнотипных составляющих: региональной функции тренда – средних значений по большим интервалам усреднения, циклических компонент

сопределенным периодом повторения, как правило, достаточно глад3 ких по форме, локальных особенностей (аномалий) разного порядка, вплоть до интервенций – резких изменений в определенные редкие моменты, и флюктуаций значений более высокого порядка (шумов) вокруг всех вышеперечисленных составляющих сигнала. Инструмен3 том разделения (декомпозиции) сигналов на такие составляющие с учетом разрешения по времени и по частоте, анализа их порядка и

101

реконструкции сигналов из определенных составляющих (или с исключением определенных составляющих, например шумов или малозначимых деталей) является кратномасштабный (многомасштаб ный) анализ (КМА).

КМА позволяет получать хорошее разрешение по времени на высоких частотах и хорошее разрешение по частоте на низких частотах. Этот подход становится особенно эффективным, когда сигнал имеет высокочастотные компоненты короткой длительности и протяженные низкочастотные компоненты. Именно такие сигналы и встречаются чаще всего на практике.

Идея кратномасштабного анализа заключается в том, что разло жение сигнала производится по ортогональному базису, образован ному сдвигами и кратномасштабными копиями вейвлетной функции. Свертка сигнала с вейвлетами позволяет выделять характерные осо бенности сигнала в области локализации этих вейвлетов, причем, чем больший масштаб имеет вейвлет, тем более широкая область сигнала будет оказывать влияние на результат свертки. Теория кратномасштаб ного анализа базируется на теории функциональных пространств. Поня тие КМА (Multiresolution analyses) является фундаментальным в теории вейвлетов. Это определяется тем, что для КМА возможен каскадный алгоритм вычислений, подобный быстрому преобразованию Фурье.

3.8. Фрактальные стохастические процессы

3.8.1. Что такое фракталы и хаос

Когда то людям казалось, что геометрия в природе ограничивается такими простыми фигурами, как линия, круг, коническое сечение, многоугольник, сфера, квадратичная поверхность, а также их комби нациями. К примеру, что может быть красивее утверждения о том, что планеты в нашей солнечной системе движутся вокруг солнца по эллиптическим орбитам? Этот замечательный закон – один из трех постулатов планетарного движения, сформулированных И. Кеплером на основе наблюдений и измерений, сделанных Тихо Браге. Позднее Исаак Ньютон вывел закон обратных квадратов для гравитационного притяжения как решение некоторого дифференциального уравнения, причем законы Кеплера следовали из его решения. Как в этом, так и в других случаях, когда применение простых геометрических моделей оказалось удачным, это привело к огромным научным достижениям.

Однако многие природные системы настолько сложны и нерегуляр ны, что использование только знакомых объектов классической гео метрии для их моделирования представляется безнадежным. Как, к примеру, построить модель горного хребта или кроны дерева в терми

102

нах геометрии? Как описать то многообразие биологических конфигу3 раций, которое мы наблюдаем в мире растений и животных? Пред3 ставьте себе всю сложность системы кровообращения, состоящей из множества капилляров и сосудов и доставляющей кровь к каждой кле3 точке человеческого тела. Представьте, как хитроумно устроены легкие и почки, напоминающие по структуре деревья с ветвистой кроной.

Столь же сложной и нерегулярной может быть и динамика реаль3 ных природных систем. Как подступиться к моделированию каскадных водопадов или турбулентных процессов, определяющих погоду? Какая математика отвечает за ритмы сердца и головного мозга, наблюдаемые на электрокардиограмме и энцефалограмме, в особенности за те внезапные приступы аритмии, которые могут вызвать сбой в работе сердца? Можно ли математически описать внезапное возникновение волны паники на финансовых рынках или даже построить математи3 ческую модель социального поведения?

Фракталы и математический хаос – подходящие средства для ис3 следования поставленных вопросов. Термин «фрактал» относится к не3 которой статичной геометрической конфигурации, такой, как мгновен3 ный снимок водопада. Хаос – термин динамики, используемый для описания явлений, подобных турбулентному поведению погоды.

Нередко то, что мы наблюдаем в природе, интригует нас бесконеч3 ным повторением одного и того же узора, увеличенного или умень3 шенного во сколько угодно раз. Например, у дерева есть ветви, а на них есть ветки поменьше и т.д. Теоретически элемент «разветвление» повторяется бесконечно много раз, становясь все меньше и меньше. То же самое можно заметить, разглядывая фотографию горного рельефа. Попробуйте немного приблизить изображение горной гряды – вы сно3 ва увидите горы. Приблизьте картинку еще – вы по3прежнему будете различать нечто, напоминающее горы, благодаря вашей способности (статистической по сути) различать тип объекта на рисунке. Так проявляется характерное для фракталов свойство самоподобия.

Во многих работах по фракталам самоподобие используется в ка3 честве определяющего свойства, согласно которому фракталы должны определяться в терминах фрактальной (дробной) размерности. Отсюда и происхождение слова «фрактал». Понятие дробной размерности представляет собой весьма сложную концепцию. Прямая – это одно3 мерный объект, а плоскость – двумерный. Хорошенько перекрутив прямую или плоскость, можно повысить размерность полученной кон3 фигурации, при этом новая размерность обычно будет дробной в некотором смысле, который нам предстоит уточнить. Связь дробной размерности и самоподобия состоит в том, что с помощью самоподобия

103

можно сконструировать множество дробной размерности наиболее простым образом. Даже в случае гораздо более сложных фракталов, когда чистое самоподобие отсутствует, имеется почти полное повто3 рение базовой формы во все более в более уменьшенном виде.

В английском языке хаос обычно определяется как состояние полного беспорядка или неразберихи. Некоторые словари прибегают к понятию состояния, в котором правит случай. Термин «хаос» в мате3 матике используется в узком смысле.

Хотя универсального определения математического хаоса не суще3 ствует, имеется полное согласие в том, что любой вид хаоса обладает свойством непредсказуемости. Как ни странно, оно не эквивалентно случайному поведению. По сути дела, математический хаос – это характерная черта именно детерминированных динамических систем. Поэтому наблюдаемые в состоянии хаоса флуктуации только кажутся случайными – их значения полностью предопределены входными параметрами. Но на практике мы никогда не располагаем абсолютно точной информацией о начальных условиях. Ошибки, пусть и ничтож3 ные, всегда имеют место при измерении входных параметров. То, что кажется нам случайным результатом на выходе динамической системы, обусловлено большими ошибками, которые могут появиться, когда система ведет себя хаотично.

Когда3то считалось, что в детерминированной системе, при наличии достаточного объема вычислительных ресурсов, мы всегда в состоянии сделать значимое предсказание (например, дать надежный прогноз погоды), несмотря на маленькие ошибки измерения текущего состояния. В присутствии хаоса это не так. Никакой самый мощный компьютер не позволит нам сделать точный прогноз на основе математической системы с существенной зависимостью от начальных условий.

Наиболее интересный вопрос теории фракталов и хаоса состоит в том, как связать эти понятия воедино. Многие важные фракталы, включая снежинку Коха, ковер Серпинского и классическое множество Кантора, могут быть получены как аттракторы систем итерированных функций. Анализ этих систем итерированных функций указывает путь к построению хаотических операторов, ассоциированных с упомя3 нутыми фракталами.

Как видим, изучение и использование фракталов и хаоса откры3 вают замечательные возможности как в исследовании бесконечного числа приложений, так и в области чистой математики.

104

3.8.2.Теория фрактальных процессов в телекоммуникациях

Вотличие от детерминированных фракталов, стохастические фрак3 тальные процессы не обладают четким сходством составных частей в мельчайших деталях. Несмотря на это, стохастическая самоподобность является свойством, которое может быть проиллюстрировано наглядно

иоценено математически.

Для количественной оценки и описания пульсирующей структуры телекоммуникационного трафика в большинстве случаев достаточно использовать статистические характеристики 23го порядка. Корреля3 ционная функция самоподобного процесса играет весьма важную роль, являясь основным критерием, относительно которого успешно опреде3 ляется масштабная инвариантность подобных процессов. Существова3 ние корреляции «на расстоянии» называется долговременной зависи3 мостью (ДВЗ). Отличием корреляционной функции самоподобных процессов от функции, которая обычно имеет место, является то, что корреляция как функция временной задержки предполагает полино3 миальное, а не экспоненциальное убывание.

В телекоммуникационных приложениях свойствам стохастической самоподобности (фрактальности) удовлетворяют измеренные трафи3 ковые трассы. Здесь предполагается, что мерой схожести является вид трафика с соответствующей амплитудной нормировкой. Для измерен3 ных трафиковых трасс сложно наблюдать четкую структуру, однако самоподобность позволяет учитывать стохастическую природу многих сетевых устройств и событий, которые совместно влияют на сетевой трафик. Будем считать, что трафик телекоммуникационной сети яв3 ляется выборкой реализации стохастического процесса. Тогда, ослабив степень схожести обоих процессов и выбрав некоторую статистиче3 скую характеристику перемасштабированного временного ряда, можно получить точную подобность математических объектов и асимптоти3 ческую подобность их конкретных выборок относительно этих ослаб3 ленных критериев схожести.

Последние исследования локального и глобального трафика пока3 зали, что сетевой трафик проявляет изменчивость в широком диапа3 зоне масштабов времени. Поразительна повсеместность этого явления, наблюдаемого в различных сетевых технологиях, от Ethernet до ATM, LAN и WAN, сжатом видео и WWW3трафике, основанном на HTTP. Такая масштабно3инвариантная изменчивость не совместима с тради3 ционными моделями сетевого трафика, которые проявляют пульси3 рующий характер на коротких масштабах времени, но сильно сглажены на больших масштабах времени, поэтому в них отсутствует ДВЗ. Поскольку инвариантная к масштабу пульсирующая структура тра3

105

фика может оказывать сильное влияние на производительность сети, то анализ причин и последствий самоподобности в трафике является очень важной задачей. Многочисленные измерения сделали очевид3 ным, что инвариантная к масштабу пульсирующая структура является не отдельным, побочным явлением, а скорее характерной особен3 ностью, сложившейся в пределах сетевых окружений.

Известны работы по физическому моделированию фрактальных процессов, в которых делаются попытки объяснить физические причи3 ны самоподобности в сетевом трафике. Эти исследования основаны на сетевых механизмах и опытно установленных свойствах распределен3 ных систем, которые совместно генерируют самоподобную пульсирую3 щую структуру, мультиплексируя процессы на сетевом уровне.

Ведутся работы по разработке математических моделей долговре3 менно зависимого трафика с позиции облегчения анализа эффектив3 ности при построении очередей. Эти работы чрезвычайно важны, поскольку позволяют очертить границы сетевой производительности, исследуя характер построения очередей с долговременно зависимым входом. В частности, показывается, что распределение длины очереди в бесконечном буфере системы при долговременно зависимом процессе на входе затухает медленнее, чем при экспоненциальном (или субэкс3 поненциальном). Напротив, для кратковременно зависимых процессов на входе затухание имеет экспоненциальный характер.

Когда трафик на входе является самоподобным, буферизация ока3 зывается неэффективной, поскольку возникают несоразмерные задер3 жки в очереди.

Самоподобность подразумевает существование корреляционной структуры на промежутке, который может использоваться с целью управления трафиком. Для этих целей на больших временных масшта3 бах извлекают информацию о корреляционных свойствах анализируе3 мых процессов, корректируя выходной характер структуры управления перегрузками.

Стохастический процесс называется фрактальным, когда некоторые из его важных статистических характеристик проявляют свойства масштабирования с соответствующими масштабными показателями.

Поскольку масштабирование математически приводит к степенным соотношениям в масштабируемых величинах (т.е. степенной зависимо3 сти статистических характеристик), можно сделать вывод, что, напри3 мер, телекоммуникационный трафик проявляет фрактальные свойства, когда некоторые из его оцененных статистических характеристик имеют степенную зависимость в широком временном или частотном диапазоне.

106

3.9. Энтропия

Установив, что случайные процессы являются адекватной моделью сигналов, мы получим возможность воспользоваться результатами и мощным аппаратом теории случайных процессов. Кроме того, обна3 ружив, что некоторые типы непрерывных сигналов допускают дискрет3 ное представление, мы упрощаем задачу, сводя все к рассмотрению случайных величин.

Это не означает, что теория вероятностей и теория случайных процессов дают готовые ответы на все вопросы о сигналах: подход с новых позиций выдвигает такие вопросы, которые раньше просто не возникали. Так и родилась теория информации, специально рассматри3 вающая сигнальную специфику случайных процессов. При этом были введены принципиально новые понятия, которые мы рассмотрим далее, и получены новые результаты, имеющие характер научных открытий.

3.9.1. Понятие неопределенности

Первым специфическим понятием теории информации является понятие неопределенности случайного объекта, для которой удалось ввести количественную меру, названную энтропией. Начнем с простей3 шего варианта – со случайного события. Пусть, например, некоторое событие может произойти с вероятностью 0,99 и не произойти с ве3 роятностью 0,01, а другое событие имеет вероятности соответственно 0,5 и 0,5. Очевидно, что в первом случае результатом опыта «почти на3 верняка» является наступление события, во втором же случае неоп3 ределенность исхода так велика, что от прогноза разумнее воздер3 жаться.

Для характеристики размытости распределений широко исполь3 зуется второй центральный момент (дисперсия) или доверительный интервал. Однако эти величины имеют смысл лишь для случайных числовых величин и не могут применяться к случайным объектам, со3 стояния которых различаются качественно, хотя и в этом случае можно говорить о большей или меньшей неопределенности исхода опыта. Следовательно, мера неопределенности, связанной с распределением, должна быть некоторой его числовой характеристикой, функционалом от распределения, никак не связанным с тем, в какой шкале из3 меряются реализации случайного объекта.

107

3.9.2. Энтропия и ее свойства

Примем (пока без обоснования) в качестве меры неопределенности случайного объекта А с конечным множеством возможных состояний

которую и называют энтропией случайного объекта А (или распределе3 ния pi ). Этот функционал обладает следующими свойствами, кото3 рые вполне естественны для меры неопределенности.

1. H p1 ,..., pn = 0 в том и только в том случае, когда какое3нибудь одно значение из множество pi равно единице (а остальные – нули).

Это соответствует случаю, когда исход опыта может быть предсказан с полной достоверностью, т.е. когда отсутствует всякая неопределен3 ность. Во всех других случаях энтропия положительна. Это свойство проверяется непосредственно.

pi const 1n .

3. Если А и В – независимые случайные объекты, то

H A B H ik piqk H pi H qk H A H B .

Это свойство проверяется непосредственно.

4. Если А и В – зависимые случайные объекты, то

H A B H A H B A H B H A B ,

где условная энтропия H B A определяется как математическое ожи3

дание энтропии условного распределения.

Это свойство проверяется непосредственно.

5. Имеет место неравенство H A H A B , что согласуется с ин3

туитивным представлением о том, что знание состояния объекта В мо3 жет только уменьшить неопределенность объекта А, а если они независимы, то оставит ее неизменной.

108

Это свойство доказывается с помощью тождественного неравенства

справедливого для любой выпуклой функции f x , если в этом нера3

венстве положить f x log x, k pk , xk qk l .

Как видим, свойства функционала Н позволяют использовать его в качестве меры неопределенности. Интересно отметить, что если пойти в обратном направлении, т.е. задать желаемые свойства меры неоп3 ределенности и искать обладающий указанными свойствами функцио3 нал, то уже только условия 2 и 4 позволят найти этот функционал, при3 чём единственным образом (с точностью до постоянного множителя).

3.9.3. Дифференциальная энтропия

Обобщение столь полезной меры неопределенности на непре3 рывные случайные величины наталкивается на ряд сложностей. Мож3 но по3разному преодолеть эти сложности; выберем кратчайший путь. Прямая аналогия

pk log pk p x log p x dx

X

не приводит к нужному результату; плотность p x является размер3 ной величиной (размерность плотности р(х) обратна размерности х, так как элемент вероятности dP x p x dx безразмерен), а логарифм размерной величины не имеет смысла. Однако положение можно ис3 править, умножив p x под знаком логарифма на величину , име3 ющую ту же размерность, что и х:

X

Теперь величину можно принять равной единице измерения х, что приводит к функционалу

который получил название дифференциальной энтропии. Это аналог энтропии дискретной величины, но аналог условный, относительный: ведь единица измерения произвольна. Запись (29) означает, что мы как бы сравниваем неопределенность случайной величины, имеющей плот3

109

ность p x , с неопределенностью случайной величины, равномерно

распределенной в единичном интервале. Поэтому величина h(X) в от3 личие от Н(Х) может быть не только положительной. Кроме того, h(X) изменяется при нелинейных преобразованиях шкалы х, что в дискрет3 ном случае не играет роли. Остальные свойства h(X) аналогичны свой3 ствам Н(Х), что делает дифференциальную энтропию очень полезной мерой.

Пусть, например, задача состоит в том, чтобы, зная лишь некоторые ограничения на случайную величину (моменты, пределы сверху и сни3 зу области возможных значений и т.п.), задать для дальнейшего – ка3 ких3то расчетов или моделирования – конкретное распределение. Один из подходов к решению этой задачи дает принцип максимума энтропии: из всех распределений, отвечающих данным ограничениям, следует выбирать то, которое обладает максимальной дифференциаль3 ной энтропией. Смысл этого критерия состоит в том, что, выбирая экс3 тремальное по энтропии распределение, мы гарантируем наибольшую неопределенность, связанную с ним, т.е. имеем дело с наихудшим слу3 чаем при данных условиях.

Важным шагом в построении теории информации является введе3 ние количественной меры неопределенности – энтропии. Оказывается, что функционал (28) обладает качествами, которые логично ожидать от меры неопределенности, и, наоборот, единственным функционалом с такими свойствами является именно функционал энтропии. Обоб3 щение понятия энтропии на непрерывные случайные величины приво3 дит к выводу, что такое обобщение – дифференциальная энтропия – возможно лишь как относительная мера.

Оказывается, что энтропия связана с глубокими свойствами слу3 чайных процессов. Например, для дискретных процессов имеет место свойство асимптотической равновероятности реализаций из высоко3 вероятной группы.

3.9.4. Фундаментальное свойство энтропии случайного процесса

Особое значение энтропия приобретает в связи с тем, что она свя3 зана с очень глубокими, фундаментальными свойствами случайных процессов. Покажем это на примере процесса с дискретным временем и дискретным конечным множеством возможных состояний.

Назовем каждое такое состояние символом, множество возможных состояний – алфавитом, их число m – объемом алфавита. Число все3 возможных последовательностей длины n, очевидно, равно mn . Появ3 ление конкретной последовательности можно рассматривать как реа3

110