Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Приложение методов фрактального анализа, теории графов и анализа сложных сетей к исследованию временных рядов.pdf
X
- •Оглавление
- •Введение
- •1.2.4. Метод усредненного вейвлет-коэффициента
- •1.1. Корреляционный анализ
- •1.1.1. Типы автокорреляции
- •1.1.2. Автомодельные процессы
- •1.2. Методы анализа долговременных автокорреляций
- •1.2.1. R/S-анализ
- •1.2.2. Флуктуационный анализ
- •1.2.3. Анализ детрендированных флуктуаций
- •1.2.5. Метод преобразования Фурье
- •1.2.6. Мультифрактальный анализ детрендированных флуктуаций
- •1.3.1. Временной ряд интенсивности новостного потока
- •1.3.2. Анализ самоподобия интенсивности новостей
- •1.4. Измерение долговременных корреляций во временных рядах настроений новостного потока
- •1.4.1. Временные ряды настроений новостей
- •1.4.2. Анализ самоподобия настроений новостей
- •1.4.3. Исследование мультифрактальности
- •2. Методы анализа данных новостной аналитики
- •2.1. Построение графа совместных упоминаний компаний в финансовых новостях
- •2.2. Анализ сети со-упоминания компаний
- •2.2.1. Сетевой анализ, методология анализа социальных сетей
- •2.2.2. Временной ряд интенсивности новостного потока
- •2.2.3. Анализ ключевых компаний
- •2.2.4. Анализ ключевых компаний по секторам экономики
- •2.2.5. Анализ ключевых компаний по биржам
- •2.2.6. Анализ распределения степеней вершин
- •2.2.7. Анализ распределения степеней вершин для подграфов
- •2.2.8. Кластерный анализ
- •2.2.9. Распределение коэффициентов кластеризации для подграфов
- •2.2.10. QAP корреляционный и регрессионный анализ
- •2.2.11. Основные выводы по анализу сети со-упоминания компаний
- •2.3.1. Распределение степеней вершин и коэффициентов кластеризации
- •2.3.2. Эволюция размера максимальных клик
- •3.1. Кластерный подход на основе графов для обнаружения событий
- •3.1.1. Обнаружение событий с помощью временных и атрибутивных ограничений
- •3.1.2. Описание данных
- •3.1.3. Результаты обнаружения событий
- •Заключение
- •Список литературы

Глава 1. Методы анализа фрактальности во временных рядах и их приложение
2) тогда для заданного масштаба a можно найти типичную амплитуду вейвлета и изучить его масштабирование. Для этого вычислим
усредненный вейвлет-коэффициент W [X](a) согласно уравнению
W [X ](a) = ⟨|W [X ](a, b)|⟩b,
где ⟨·⟩bобозначает стандартный арифметический оператор среднего
значения по отношению к b;
3) для самоподобного процесса X(t) с показателем Хёрста H спектр
W [X ](a) должен масштабироваться как a
H+0.5
[55]. Поэтому чтобы
найти H + 0.5, нужно построить зависимость на графике W [h](a) от
a в логарифмической шкале. Как указано в [55], режим масшт абирования, состоящий из прямой линии на этом графике, подразумевает самоподобное поведение данных.
1.2.5. Метод преобразования Фурье
Напомним (см. [77]), что преобразование Фурье функции f и об-
ратное преобразование определяется формулами
b
f (ζ) =
f (t) =
−iζt
e
∑
f (t), (1.4)
t
iζt
b
e
f (ζ). (1.5)
∑
ζ
Известная теорема о преобразовании Фурье утверждает, что f может
быть восстановлена изbf .
Если ρx(s) является автокорреляционной функцией x(t)
ρx(s) =
x(t)x(t +s), (1.6)
∑
t
то преобразование Фурье ρx(s) имеет вид
b
ρ(ζ) = |bx(ζ)|2. (1.7)
Следует отметить, что определение (1.6), которое является общим в теории обработки сигналов, не включает нормализирующего множителя
(чтобы значение корреляции находилось между -1 и 1). Так как этот
множитель является одинаковым для всех s, его отсутствие не влияет
на оценку показателя Хёрста.
Поэтому чтобы найти значение ρx(s), нужно сделать следующие
шаги:
21

Приложение методов фрактального анализа, теории графов
1) найтиbx(ζ), преобразование Фурье x(t), используя (1.4);
2) найтиbρ(ζ), преобразование Фурье для ρx(s), используя (1.7);
3) вычислить ρx(s) как обратное преобразованиеbρx(ζ), используя (1.5).
Заметим, чтоbρ(ζ) является спектром мощности P(ω) преобразо-
вания Фурье автокорреляционной функции C(s), ω = 0 : F s/n : F s/2 –
частота приращения (угловая частота), где F s – частота выборки, а n –
количество выборок.
Для случая, описанного формулой C(s) ∼ s−γ, имеем масштабное
соотношение
S( f ) ∼ f−β,
где β называется спектральным показателем и связана с показателем
корреляции соотношением γ = 1 − β. Преобразование Фурье является
классическим методом оценки показателя корреляции γ, но часто не
подходит для зашумленных данных, а также из-за нестационарности
временных рядов и неточного измерения значений наблюдений xt.
1.2.6. Мультифрактальный анализ детрендированных флуктуаций
Мультифрактальную систему можно рассматривать как обобщение
фрактальной системы. Мультифрактал является расширением фрактала,
в котором одного показателя Хёрста недостаточно для характеристики его поведения, поэтому нам нужен непрерывный спектр показателей
Хёрста. Многие работы определяли мультифрактальную структуру как
суперпозицию однородных монофрактальных структур.
Первоначально мультифрактальный анализ был предложен для изу-
чения турбулентности и применен для измерения скорости турбулентного потока при исследовании диссипации энергии. За последние тридцать
лет мультифрактальный, а также фрактальный анализ широко применяется для анализа медицинских данных [78–80], потоков жидкости [81],
временных рядов разной природы [82–85], трафика [86], изображений
[87], землетрясений [88, 89] и во многих других областях. Обзор методов вычисления мультифрактального спектра можно найти в [90].
Проблема существования долгосрочных зависимостей и самоподо-
бия в финансовых временных рядах также привлекала внимание многих исследователей за последние десятилетия [7,19–24,91–95]. Накоплен
некоторый опыт применения мультифрактального анализа в исследовании финансовых временных рядов [23, 24, 92–99]. Однако очень ма ло
работ посвящено анализу автомодельности или мультифрактальности
статистических свойств потока новостей.
22

Глава 1. Методы анализа фрактальности во временных рядах и их приложение
Для проведения мультифрактального анализа будем рассматривать
мультифрактальное обобщение метода DFA (Multifractal Detrended Fluctuation Analysis, MDFA) [99]. Хорошо известно, что автомодельность
фрактальных структур может быть описана глобальным показателем
Гёльдера (H ¨older) или локальным показателем Хёрста α. Если фрактал
является монофрактальным, его можно описать только одним индексом
Гёльдера, а в случае мультифрактала разные части структуры характеризуются разными значениями α, что свидетельствует о существовании
спектра f (α).
Алгоритм MDFA включает в себя семь этапов:
– суммирование. Вычислим yk=
n
=
– разбиение. Разобьем (yk)
xt;
∑
t=1
n
k=1
k
(xt− x), k = 1, 2, . . ., n, где x =
∑
t=1
на ns= [n/s] непересекающихся интер-
валов (сегментов) равной длины s начиная с первого y1;
– оценку линейного тренда. Для каждого интервала l = 1,. . ., nsоце-
ним методом наименьших квадратов параметры Plлинейного трен-
ls
да (yk)
k=(l−1)s+1
. Обозначим y
– детрендирование. Найдем остатки εk(s) = yk− y
*
= Pl(k);
k
*
;
k
вычисление дисперсии остатков εi:
s
1
F
2
(s) =
l
2
ε
∑
s
i=1
(s),l = 1,. .. , ns;
(l−1)s+i
– определение MDFA функции флуктуации как
Fq(s) =
n
1
∑
n
s
l=1
!
s
F
1/q
q
(s)
l
,
где q может принимать произвольные значения, за исключением
q = 0. Если q = 0, то
n
s
F0(s) = exp
4n
1
s
∑
l=1
ln[F
2
(s)]!≈ s
l
h
0
в соответствии с правилом Лопиталя;
– проведение расчетов для разных длин сегментов s – помогает оце-
нить параметры степенной зависимости значений Fq(s) от длины
сегмента s:
Fq(s) ∼ sh(q).
23

Приложение методов фрактального анализа, теории графов
Далее вычислим масштабный коэффициент мультифрактальности
τ(q), который можно рассматривать как характеристику мультифрактальности:
τ(q) = qh(q) − Df,
где Dfобозначает фрактальную размерно сть геометрического носителя мультифрактальной меры [99], h(q) – обобщенный показатель
Хёрста или показатель Гёльдера, который совпадает с показателем
Хёрста для q = 2, h(q). При анализе временных рядов имеем Df= 1.
Если τ(q) – нелинейная функция q, то сигнал является мультифрактальным.
Другой характеристикой мультифрактальности временных рядов может быть сингулярный спектр f (α), который связан с α(q) через преобразование Лежандра [100]:
(
α(q) = dτ(q)/dq
f (α) = qα − τ(q),
где α(q) – индекс сингулярности Гёльдера, а f (α) является мультифрактальным спектром, определяющим размеры подмножеств временных
рядов, которые характеризуются α(q) .
Кривая α ∼ f (α) является унимодальной функцией для мультифрактала и постоянной для монофрактала. Форма и длина кривой f (α) предоставляют важную информацию о характеристиках распределения набора данных. В первую очередь можно определить ширину спектра ∆α =
= α
max
− α
. Параметр ∆α описывает неоднородность распределения
min
вероятности, измеренную полной фрактальной структурой, и определяет степень мультифрактальности. Функция f(α) достигает максимума
f
при значении α0, f
max
тального спектра [89]. Большие значения ∆α и f
= f (α0), соответствующего пику мультифрак-
max
соответствуют более
max
сильной степени мультифрактальности.
1.3. Измерение долговременных корреляций
во временных рядах интенсивности потока новостей
В этом параграфе приведены результаты анализа свойств временных рядов интенсивности потока новостей и показано, что такие ряды обладают свойством самоподобия [101, 102]. В отличие от работы [101] для количественной оценки свойств автомодельности и изучения долговременной автокорреляции временных рядов интенсивности
24

Глава 1. Методы анализа фрактальности во временных рядах и их приложение
новостей здесь использованы методы детрендированного анализа флуктуаций (DFA), нормированного размаха (R/S) и преобразования Фурье
(FTM). Применение трех разных способов оценивания позволяет подтвердить надежность результатов расчетов и сделанных на их основании
выводов. Достаточная длина временных рядов позволяет найти колебания оценок показателя Хёрста на интервалах от нескольких минут до
нескольких дней.
1.3.1. Временной ряд интенсивности новостного потока
Анализируемые данные относятся к периоду с 1 января по 22 сентября 2015 г. (т. е. 189 торговых дней с частотой 1 минута). Процесс
выбора и очистки данных включал следующие действия:
1) из рассмотрения исключались выходные и праздничные дни из-за
малого числа финансовых новостей;
2) исключались дубликаты одной и той же новости. Особенностью
доступных нам данных являлось то, что новость, относящаяся одновременно к нескольким компаниям, дублировалась соответствующее число раз в новостном потоке, по этому несколько одинаковых
сообщений, поступивших в одно и то же время, рассматривались
как одна новость;
3) не рассматривались сообщения об открытии и закрытии биржевых
торгов или дисбалансе биржевого спроса и предложения, поступающие практически одновременно каждый торговый день в начале
и в конце торговых сессий.
Для построения временных рядов интенсивности потока новостей
189-дневный период ∆ разбивался на n не перекрывающихся последовательных интервалов ∆1,. . . , ∆nравной (малой) длительности δ минут,
∆ = ∆1∪ .. . ∪ ∆n[103, 104]. Для каждого временного интервала ∆t, t =
= 1, 2, .. ., n подсчитывалось количество вышедших экономических и фи-
нансовых новостей xt. Последовательность x1,x2,. . . , xn– временной ряд
интенсивности потока новостей с окном δ минут.
Использовались два значения параметра δ – 1 и 5 минут. Описа-
тельные статистики временных рядов приведены в табл. 1.1.
Анализ графиков временных рядов не позволяет определить явно
выраженную закономерность в колебаниях интенсивности новостного
потока. График интенсивности потока новостей с 1-минутным окном
для одного из календарных дней приведен на рис. 1.3. Чаще всего за
одну минуту поступает от 5 до 15 новостных сообщений, но нередко
25

Приложение методов фрактального анализа, теории графов
5
Таблица 1.1
5.4 · 10
150
100
Количество ново стей
Описательные статистики временных рядов интенсивности новостного потока, δ = 1 и δ = 5 минут
Характеристики δ = 1 δ = 5
Число наблюдений 2.7 · 10
Среднее значение 7.39 36.95
Минимум 0 0
Максимум 694 804
Стандартное отклонение 14.17 46.37
Медиана 4 24
Асимметрия 10.24 4.42
Эксцесс 213.47 36.83
50
4
0
0 8 16 24
Время, ч
Рис. 1.3. Динамика интенсивности потока новостей
(22 сентября 2015 г.)
регистрируются всплески активности, когда из разных источников одновременно поступает несколько десятков сообщений. Нет очевидной
тенденции привязки пиков активности к определенным моментам времени, например началу или концу календарного часа и т. п.
Изучению автокорреляционных свойств временного ряда посвящен
следующий параграф.
26

Глава 1. Методы анализа фрактальности во временных рядах и их приложение
1.3.2. Анализ самоподобия интенсивности новостей
Приведем результаты использования процедур R/S-анализа, метода
DFA и преобразования Фурье для исследования автокорреляции и автомодельности временных рядов интенсивности потока новостей.
Расчет значений F(si) для разных длин сегментов si∈[101,10
4.5
] методом DFA позволяет полнее охарактеризовать корреляционные и масштабирующие свойства изучаемого временного ряда. Важным аспектом
детренированного анализа флуктуаций является правильный выбор длины и числа сегментов, на которые разбивается временной ряд. Проблема
выбора оптимального диапазона для длин сегментов масштабирования
рассмотрена в [105–107]. Длина сегмента существенно влияет на эффективность оценивания большинства методов (включая DFA и DMA).
В указанных источниках по результатам имитационных экспериментов
сформулированы рекомендации о границах диапазона масштабирования, для которых воспроизводится исходное значение показателя корреляции γ. В этой связи были использованы два диапазона – [101,10
4.5
(для 1-минутных данных) и [101,104] (для 5-минутных данных).
Графики функций флуктуации, полученные методом DFA (1-го порядка) для временных рядов интенсивности потока новостей с 1-минутной и 5-минутной дискретизацией соответственно приведены на рис. 1.4.
Найденные оценки показателя Хёрста как для 1-минутных, так и 5-минутных наборов данных приблизительно равны 0.74. Такие значения
свидетельствуют о наличии в исследуемом временном ряде дальнодействующей корреляции. Качество вспомогательных моделей регрессии
высокое, так как коэффициенты детерминации R2близки к 1. Более внимательное рассмотрение позволяет обнаружить, что на графиках функций флуктуации присутствует изгиб. Он наиболее выражен в окрестностях длины сегмента, соответствующего календарным суткам. Такое
явление встречается в некоторых временных рядах и носит название
«эффект кроссовера» [70].
Графики логарифмической зависимости R/S статистики s для 1-минутного и 5-минутного временных рядов, полученных с помощью R/Sанализа, приведены на рис. 1.5. Оценки показателя Хёрста H = 0.64
оказались чуть меньше, чем в случае DFA, но попадают в диапазон значений для процессов с положительными долгосрочными корреляциями.
Качество вспомогательных регрессионных моделей также высокое. Но,
в отличие от DFA, R/S-анализ не выявил кроссовер-эффектов.
Результаты применения метода анализа флуктуаций, основанного
на преобразовании Фурье для временного ряда интенсивности пото-
]
27

Приложение методов фрактального анализа, теории графов
4
3.5
3
2.5
logF(s)
2
1.5
12
10
DFA
0.74log s + 0.31, R2= 0.99
1.5 2 2.5 3 3.5 4 4.5
logs
а
Рис. 1.4. log F(s) в зависимости от log s для метода
оценки DFA: а – δ = 1 минута, б – δ = 5 минут
R/S
0.64log s + 1.23, R2= 0.99
4
3.5
3
logF(s)
2.5
2
10
8
DFA
0.74log s + 0.84, R2= 0.99
1.5 2 2.5 3 3.5 4
logs
б
R/S
0.64log s + 1.04, R2= 0.99
8
logR/S
6
4
2 10 15 18
logs
а
Рис. 1.5. logR/S в зависимости от logs для метода R/S:
а – δ = 1 минута, б – δ = 5 мин
28
6
logR/S
4
2
2 10 15
logs
б

Глава 1. Методы анализа фрактальности во временных рядах и их приложение
ка новостей для 1-минутных и 5-минутных данных, представлены на
рис. 1.6. На графиках изображен спектр мощности P(w) в зависимости от угловой частоты w для данных интенсивности потока новостей.
Спектр мощности слишком зашумлен, это не позволяет точно оценить
показатель Хёрста и, конечно же, обнаружить эффект кроссовера. Для
уменьшения шума рекомендуется применять метод log-binning [108]. Результаты сглаживания лог-биннинга показаны на рис. 1.7. Пунктирные
линии соответствуют наклону −(2H − 1) со значениями от H = 0.675
и H = 0.686 для 1-минутного и 5-минутного временных рядов соответственно. Следует отметить, что хотя регрессии значимы, их качество
значительно хуже регрессий, полученных методом DFA и R/S. Более того, невозможно определить присутствие эффекта кроссовера даже после
сглаживания спектра мощности.
Спектр
10
5
-4 -3 -2 -1 0
Частота
а
Рис. 1.6. Результаты для метода преобразования Фурье: а – δ = 1 минута, б –
12
10
8
6
4
-3 -2 -1 0 1
Частота
б
δ = 5 минут
Спектр
Оценки показателя Хёрста, полученные методами DFA, R/S и Фурье
для 1-минутного и 5-минутного временных рядов приведены в табл. 1.2.
Оценки показателя Хёрста
Метод δ = 1 δ = 5
DFA 0.737 0.738
R/S-анализ 0.639 0.636
Преобразование Фурье 0.675 0.866
Таблица 1.2
29

Приложение методов фрактального анализа, теории графов
8.5
8
7.5
7
6.5
Рис. 1.7. Результаты для метода преобразования Фурье после сглаживания лог-
Спектр
−0.35log w + 7.29, R2= 0.86
-2 -1 0 1
Частота
а
биннинга: а – δ = 1 минута, б – δ = 5 минут
8.5
8
7.5
7
-1.5 -1 -0.5 0 0.5 1
Спектр
−0.37log w + 7.54, R2= 0.80
Частота
б
Необходимо отметить, что применение трех разных методов флуктуационного анализа подтвердило вывод, что временные ряды интенсивности экономических и финансовых новостей могут порождаться
автомодельными процессами. При этом найденные оценки экспоненты
Хёрста для временных рядов интенсивности новостей за период с 1 января по 22 сентября 2015 года близки к оценкам, полученным по данным
за период с 1 сентября по 29 октября 2010 года [101]. Таким образом,
можно утверждать, что самоподобие является устойчивым свойством
временных рядов потока финансовых новостей. Все три рассматриваемых метода обнаружения автомодельности подтвердили наличие корреляции на больших расстояниях во временных рядах интенсивности потока новостей (показатель Хёрста больше 0.5). Использование методов
флуктуационного анализа (DFA, R/S-анализа и преобразования Фурье)
позволяет сделать заключение, что интенсивность потока новостей является нерегулярным и сложным сигналом с фрактальными свойствами.
Результаты, полученные методом DFA для достаточно больших масштабов, показали эффект кроссовера (соответствующий одному дню).
Был проанализирован показатель дальнодействующей зависимости во
временном интервале от нескольких минут до трех недель. Недостаточная длина исходных временных рядов не позволяет вычислять показа-
30
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]
