Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Приложение методов фрактального анализа, теории графов и анализа сложных сетей к исследованию временных рядов.pdf
Глава 2. Методы анализа данных новостной аналитики
к бирже) проводится корреляционный анализ QAP (процедура квадратичного назначения), который был предложен и разработан в [115–118].
Корреляционный анализ QAP используется для выявления корреляций:
– между сетью совместного упоминания компаний и сетью секто-
ральной принадлежности;
– между сетью совместного упоминания и сетью биржевой принад-
лежности.
Для проведения QAP анализа соответствующие ячейки матрицы отраслевой принадлежности (а также матрицы принадлежности фондовым
биржам) сравниваются с ячейками сети со-упоминания для вычисления
значения корреляции Пирсона. Чем выше значение корреляции Пирсона,
тем теснее связь между матрицами. Для расчета значимости показателя корреляции матрица сети со-упоминания как основная сеть остается
неизменной. Далее для матриц связей компаний по биржам и секторам
многократно повторяется процесс случайной перестановки столбцов и
строк и вычисляются корреляции между такими случайными матрицами
и сетью со-упоминания.
Первая исследовательская гипотеза состоит в том, что связи в гр´афе
компаний, полученном в результате сетевого анализа, определяются секторальной или биржевой принадлежностью. Во-первых, был проведен
QAP анализ между сетью совместного упоминания и сетью отраслевой
принадлежности, чтобы выяснить, может ли отраслевая сеть предсказать структуру сети совместного упоминания. C использованием пакета
R было вычислено значение корреляции Пирсона.
QAP корреляционный анализ показывает значительную корреляцию между сетью совместного упоминания, сетью принадлежности фондовой бирже (r = 0.053, p = 0.000) и сетью принадлежности сектору
(r = 0.020, p = 0.000).
Для проверки значимости коэффициентов корреляции была использована процедура QAP. Расчетная плотность репликаций QAP для сети
со-упоминания и отраслевой сети показана на рис. 2.7. Аналогичные результаты были получены для сети со-упоминания и фондовой сети. Наблюдаемые значения коэффициентов корреляции были выше, чем у всех
моделируемых выборок (500 запусков). Таким образом, наблюдаемые
коэффициенты корреляции являются статистически значимыми. Однако
полученные показатели корреляции достаточно низки. Это может быть
объяснено тем, что матрицы смежности имели большую размерность и
были достаточно разрежены (содержали большое число нулевых яче-
61
Приложение методов фрактального анализа, теории графов
ек). Возможно, это способствовало занижению коэффициента корреляции Спирмена.
1,200
1,000
800
600
Плотность
400
200
0
-1 -0.5 0 0.5 1
Тестовая ст атистика
Рис. 2.7. Расчетная плотность репликаций QAP для отраслевой сети
·10
−3
Была также оценена линейная регрессия между элементами сетевой
матрицы со-упоминаний и матрицей принадлежности фондовой бирже,
а также элементами сетевой матрицы со-упоминаний и матрицей принадлежности сектору. Значения параметров, найденных методом наименьших квадратов, и p-значения, полученные с помощью процедуры
QAP, приведены в табл. 2.11.
Регрессионный анализ QAP
Коэффициенты Оценка P-
Константа 0.003 0.000
Отраслевая принадлежность 0.015 0.000
Биржевая принадлежность 0.033 0.000
Таблица 2.11
значение
Регрессионный анализ QAP показывает, что только 0.2% дисперсии
предсказывается моделью (R2= 0.002) (см. табл. 2.11). Это значение яв-
ляется относительно низким и указывает на недостаточное включение
62
Глава 2. Методы анализа данных новостной аналитики
объясняющих переменных. Коэффициенты модели являются статистически значимыми.
Сеть со-упоминаний компаний имеет схожую структуру с территориальными связями. Была визуализирована матрица совместного упоминания с использованием пакета R. Далее идентифицируем кластеры,
используя уровень весов ребер, который получается из частот совместного упоминания. Используем матрицу отраслевой принадлежности в
качестве данных атрибутов, чтобы увидеть, имеют ли компании одного
кластера общий атрибут. Небольшая часть сетевой карты компаний показана на рис. 2.8. Компании “Nasdaq” с Нью-Йоркской фондовой биржей и компании Dax с Лондонской фондовой биржей составляют два
Рис. 2.8. Сетевая карта компаний (цвет online)
63
Приложение методов фрактального анализа, теории графов
кластера. Лондонские компании вместе с GM (“General Motors”), скорее
всего, являются мостом для связи США с Европой.
Крупные компании генерируют гораздо больший поток новостей,
чем маленькие. По этой причине матрица со-упоминаний является плотной для крупнейших компаний и разреженной для небольших. Тем не
менее общая пространственная и отраслевая принадлежность компаний
существенно влияет на вероятность и частоту совместного упоминания.
Можно предположить, что расширение спектра анализируемых компаний вызывает разреженность матрицы со-упоминаний, что приводит к
снижению доли объясненной дисперсии.
2.2.11. Основные выводы по анализу сети со-упоминания компаний
В параграфе 2.2 была исследована сеть совме стного упоминания
компаний. Были идентифицированы ключевые компании в сети на основе разных показателей сетевого анализа, таких как частота, центральность по степени, центральность по близости, центральность по посредничеству и центральность собственного вектора. Была исследована
взаимосвязь сети совместного упоминания компаний и матрицы отраслевой принадлежности. Кроме того, были определены ключевые компании в разных секторах экономики. Было обнаружено, что компании,
являющиеся центральными по одному из показателей центральности,
не являются таковыми по другим показателям центральности. Но некоторые компании имеют высокие значения по всем рассматриваемым показателям. В то же время большинство ведущих (ключевых) компаний
принадлежат Нью-Йоркской фондовой бирже. Было показано, что распределение степеней и коэффициентов кластеризации для сетей со-упоминания придерживается степенного закона, хотя и с нестандартными
показателями степени. QAP анализ показал наличие существенной положительной корреляции между сетью совместного упоминания компаний и фондовой сетью, а также между сетью совместного упоминания
компаний и отраслевой сетью.
2.3. Анализ динамики новостного потока на основе
характеристик сети со-упоминания компаний
Наряду с исследованием сети со-упоминания компаний в статике
представляет интерес изменение свойств этой сети во времени. Для
проведения анализа были использованы данные новостной аналитики
64
Глава 2. Методы анализа данных новостной аналитики
за 72 месяца с января 2005 по декабрь 2010 года. Были построены сети
совместного упоминания компаний для каждого из 72 месяцев, а затем изучена эволюция характеристик графа с течением времени. Далее
анализируется распределение степеней вершин и коэффициентов кластеризации в этом графе, его граничная плотность и связность, а также максимальный размер клики и независимого множества. На основании анализа были сделаны некоторые выводы в отношении динамики
эволюции сети со-упоминания компаний с течением времени. Изучение
свойств графа дает новое понимание внутренней структуры потока новостей.
Анализ сети совместного упоминания компаний проводится следу-
ющим образом:
1) собираются все экономические и финансовые новости, выпущен-
ные за 6 лет (2005–2010);
2) осуществляется очистка данных: удаляются все новости, выпущен-
ные в начале и в конце биржевых торговых сессий, а также новости, содержащие аналитические отчеты с табличными материалами. Всего за 6 лет очищенный набор данных содержал более
8 550 000 новостных сообщений. Интенсивность потока новостей
оставалась относительно стабильной в течение всего периода;
3) после расчета матрицы смежности для 1500 наиболее упоминае-
мых компаний оказалось, что около трети строк заполнено нулями
(за любой период одного месяца). Поэтому анализ был ограничен
топ-500 компаниями, наиболее часто упоминаемыми в новостях за
этот период. Таким образом, в анализ были включены только данные о 40% упоминаний (690 тыс. из 1790 тыс.);
4) 6-летний период был разбит на 72-месячные интервалы;
5) для каждого временного интервала мы рассчитываем количество
со-упоминаний (вес ребра) для каждой пары компаний, упомянутых
вместе хотя бы в одной новости; если компании не упоминались
одновременно, вес ребра равен 0;
6) формируются симметричные матрицы совместного упоминания для
каждого временного интервала с использованием этих взвешенных
вычислений со-упоминания компаний;
7) анализируется эволюция этих матриц совместного упоминания с те-
чением времени, результаты визуализируются и интерпретируются.
Интенсивность потока новостей оставалась относительно стабильной в течение всего периода. Количество новостей росло в среднем на
2% в год. Величина месячного числа новостей варьировалась от 90 000
65
Приложение методов фрактального анализа, теории графов
до 145 000. Пиковые значения совместных упоминаний могут быть соотнесены с началом финансового кризиса 2007–2008 годов (рис. 2.9–
2.12).
Количество компаний, которые в течении 5 лет упоминались хотя
бы раз, составило более 24 000. Было 18 500 компаний, которые хотя
бы однажды упоминались совместно за тот же период времени.
В 92.2% всех новостей была упомянута только одна из компаний
(табл. 2.12). Две компании были упомянуты в 7.1%, три компании –
в 0.5% всех новостей. Доля новостей, относящихся к нескольким компаниям (т. е. содержащих упоминания), варьировалась в диапазоне от
5.5 до 11.4% в разные месяцы. Совместное упоминание четырех и бо-
лее компаний произошло менее чем в 0.05% сообщений. Одновременное упоминание десяти и более компаний в одной новости было очень
редко (менее чем в 50 новостях за шестилетний период). Максимальное
количество компаний, упомянутых в одной новости, было равно 14.
Количество новостей (частота) с указанием заданного количества компаний (K)
K Частота Процент Накопленная
сумма
1 7 891 180 92.22 92.22 0 0
2 610 824 7.14 99.36 1 221 648 69.5
3 43 352 0.51 99.86 260 112 84.3
4 6887 0.08 99.94 82 644 89.0
5 1553 0.02 99.96 31 060 90.8
6 650 0.01 99.97 19 500 91.9
7 928 0.01 99.98 38 976 94.1
8 1611 0.02 100 90 216 99.2
9 126 0 100 9072 99.8
10 33 0 100 2970 99.9
11 11 0 100 1210 100.0
14 1 0 100 182 100.0
Сумма 8 557 156 100 1 757 590 100
Cо-
упоминания
Таблица 2.12
Накопленный
процент со-
упоминаний
Число новостей по годам приведено в табл. 2.13.
Число новостей по годам, в которых упоминается определенное
число компаний приведено в табл. 2.14.
Общее количество пар со-упоминаний за 5 лет превысило 1 577 000.
Более 50% всех новостных сообщений и 45% упоминаний были связаны
66
Глава 2. Методы анализа данных новостной аналитики
5
·10
1.4
1.2
1
Число новостей
0.8
01.2005 01.2006 01.2007 01.2008 01.2009 01.2010
Время, год
Рис. 2.9. Ежемесячная динамика количества новостей
4
·10
1.4
1.2
1
0.8
0.6
Число со-упоминаний
01.2005 01.2006 01.2007 01.2008 01.2009 01.2010
Время, год
Рис. 2.10. Ежемесячная динамика количества новостей с со-упоминаниями
12%
10%
8%
6%
Доля со-упоминаний
01.2005 01.2006 01.2007 01.2008 01.2009 01.2010
Время, год
Рис. 2.11. Ежемесячная динамика доли новостей с со-упоминаниями
4
·10
4
3
2
Число со-упоминаний
01.2005 01.2006 01.2007 01.2008 01.2009 01.2010
Время, год
Рис. 2.12. Ежемесячная динамика количества со-упоминаний
67
Приложение методов фрактального анализа, теории графов
Количество новостей с 2005 по 2010 год
Год Общее количество
новостей
2005 1 332 680 109 560 8.22 252 344
2006 1 351 598 117 933 8.73 269 538
2007 1 460 248 124 299 8.51 422 912
2008 1 451 137 116 103 8 312 870
2009 1 471 312 101 339 6.89 254 352
2010 1 490 181 96 742 6.49 245 574
Сумма 8 557 156 665 976 7.78 1 757 590
Новости с со-
упоминаниями
Доля новостей с
со-упоминаниями
Таблица 2.13
Количество со-
упоминаний
Количество новостей, в которых упоминается определенное количество компаний (K)
с 2005 по 2010 год
K 2005 2006 2007 2008 2009 2010 Сумма
1 1 223 120 1 233 665 1 335 949 1 335 034 1 369 973 1 393 439 7 891 180
2 102 505 110 590 112 436 105 207 91 984 88 102 610 824
3 6395 6749 7408 8597 7655 6548 43 352
4 576 533 1384 1433 1335 1626 6887
5 65 45 449 309 300 385 1553
6 13 11 404 112 48 62 650
7 2 3 781 126 11 5 928
8 3 2 1314 276 3 13 1611
9 0 0 94 30 1 1 126
10 0 0 23 10 0 0 33
11 1 0 6 3 1 0 11
14 0 0 0 0 1 0 1
Сумма 1 332 680 1 351 598 1 460 248 1 451 137 1 471 312 1 490 181 8 557 156
Таблица 2.14
с компаниями, акции которых торгуются в США. Более 90% новостей и
упоминаний были связаны с компаниями (акциями), которые торгуются
на 15 крупнейших биржах.
Самая упоминаемая компания (лидер) была отмечена в новостном
потоке вместе с другими компаниями в среднем в 220 сообщениях за
месяц. За 4 года вместе с лидером было упомянуто более 4000 активов.
Но только около 200 компаний упоминались вместе с лидером более
одного раза в год.
68
Глава 2. Методы анализа данных новостной аналитики
2
1.5
1
Число новостей
0.5
01.2005 01.2006 01.2007 01.2008 01.2009 01.2010
Время, год
Рис. 2.13. Месячная динамика показателя степени γ (сплошная линия)
и коэффициента кластеризации β (пунктирная линия)
γ
β
2.3.1. Распределение степеней вершин и коэффициентов кластеризации
Динамика показателей степени вершин и коэффициентов кластеризации с января 2005 по декабрь 2010 года представлена на рис. 2.13.
Эволюция графа со-упоминания компаний демонстрирует, что показатель степени достаточно стабилен, а граф со-упоминаний компаний соответствует степенному распределению. Значения степени вершин γ лежат между 1.3 и 1.6, в то время как для многих реальных сетей они
находятся в диапазоне от 2 до 3. Значения коэффициентов кластеризации β варьируются от 0.4 до 1, т. е. лежат вне интервала (1; 2).
Следует отметить, что как показатели степени вершин, так и коэффициенты кластеризации имеют самые низкие значения в начале финансового кризиса 2007–2008 годов. Распределение степеней вершин и
коэффициентов кластеризации графа представляет общие характеристики потока новостей. Результаты, представленные в табл. 2.15, позволяют
нам сделать вывод, что глобальная новостная структура довольно стабильна во времени.
Граф со-упоминания компаний имеет самую большую плотность
в начале финансового кризиса 2008 года, что видно из табл. 2.16 и
рис. 2.14. Фактически плотность графа в 2008 году примерно в 1.5 раза
выше, чем за ост авшиеся периоды времени. Этот скачок говорит о том,
что существует тенденция к глобализации рынка ценных бумаг во время
кризиса.
Распределение степеней (в логарифмическом масштабе) для некоторых экземпляров графа совместного упоминания, соответствующих
разным периодам времени, представлено на рис. 2.15.
69
Приложение методов фрактального анализа, теории графов
Характеристики графов со-упоминания компаний с 2005 по 2010 год
Период, год Диаметр Число
ребер
Январь–июнь 2005 г. 9 1010 0.202 1.433 0.774
Июль–декабрь 2005 г. 8 1038 0.208 1.467 0.795
Январь–июнь 2006 г. 8 1041 0.208 1.476 0.808
Июль–декабрь 2006 г. 9 1036 0.207 1.493 0.815
Январь–июнь 2007 г. 8 1348 0.270 1.427 0.654
Июль–декабрь 2007 г. 8 1343 0.269 1.399 0.600
Январь–июнь 2008 г. 8 1336 0.267 1.396 0.571
Июль–декабрь 2008 г. 9 1161 0.232 1.392 0.596
Январь–июнь 2009 г. 9 1062 0.212 1.431 0.656
Июль–декабрь 2009 г. 9 972 0.194 1.504 0.712
Январь–июнь 2010 г. 9 963 0.193 1.454 0.668
Июль–декабрь 2010 г. 9 891 0.178 1.484 0.731
Плотность
граф, %
КоэффициентγКоэффициент
Таблица 2.15
β
Характеристики графов со-упоминания компаний с января по декабрь 2008 года
Период Диаметр Число ребер Плотно сть
графа, %
Январь 8 1605 0.321 1.323 0.53
Февраль 9 1465 0.293 1.367 0.574
Март 8 1316 0.263 1.401 0.471
Апрель 8 1238 0.248 1.451 0.538
Май 7 1249 0.25 1.383 0.676
Июнь 8 1145 0.229 1.453 0.634
Июль 8 1312 0.262 1.378 0.558
Август 9 1003 0.201 1.374 0.61
Сентябрь 9 1385 0.277 1.306 0.429
Октябрь 8 1333 0.267 1.379 0.553
Ноябрь 9 1037 0.207 1.445 0.661
Декабрь 9 894 0.179 1.467 0.766
Коэффициент
распределения
степеней γ
Таблица 2.16
Коэффициент
локальной
кластеризации
β
Можно видеть, что эти графики могут быть хорошо аппроксимированы прямыми линиями, а следовательно, они представляют степенное
распределение.
70