задания / Инф.каскады / СИНЕРГЕТИЧНІ ТА ЕКОНОФІЗИЧНІ МЕТОДИ ДОСЛІДЖЕННЯ - монографія Дербенцев, Сердюк, Соловьйов, Шарапов

Згідно з визначенням Больцмана, ентропія є функцією стану. Більш того, оскільки (Ω) може бути тільки натуральним числом (1,2,3,...), ентропія повинна бути додатньою – виходячи з властивостей логарифма.

Клод Шеннон [154] запропонував формулу для оцінки невизначеності кодової інформації в каналах зв’язку, відому як ентропія Шеннона:

n

S k pi ln pi ,

i 1

де pi – ймовірність того, що символ i зустрічається в коді, який містить N

символів, k – розмірний множник.

Концепція термодинамічної ентропії як міри хаосу системи добре відома у фізиці, однак, останніми роками поняття ентропії було застосоване до складних систем іншої природи (біологічних, економічних, соціальних тощо) [259].

Аналогія між кількістю інформації та ентропією S , що визначається згідно із принципом Больцмана, очевидна. Досить покласти множник k рівним постійній Больцмана kB . Саме з цієї причини величину I називають

інформаційною ентропією. Інформаційна ентропія (кількість інформації) була визначена по аналогії із звичайною ентропією, і вона має властивості, характерні для звичайної ентропії: адитивність, екстремальні властивості тощо. Проте ототожнювати звичайну ентропію з інформаційною не можна, оскільки не є зрозумілим, яке відношення до інформаційних систем має другий початок термодинаміки.

Нагадаємо, що екстенсивна величина – це така характеристика системи, яка зростає із збільшенням масштабів (розміру) системи, тобто, якщо система складається з двох незалежних підсистем A і B , то ентропію всієї системи можна одержати додаванням ентропій підсистем:

S(A B) S(A) S(B) .

Саме ця властивість і означає екстенсивність, або адитивність ентропії. Константіно Тсалліс [169] узагальнив формулу Шеннона на випадок

неекстенсивності (неадитивності) ентропії.

У статистичній фізиці ентропія трактується через кількість мікростанів системи. Прагнучи, проте, визначити ентропію так, щоб вона залишалася екстенсивною величиною, статистична фізика (а точніше, кінетика) вимушена привертати дискусійну гіпотезу молекулярного хаосу. Ця гіпотеза полягає у тому, що будь-які молекули, що стикаються, були до зіткнення ніяк не корельовані, тобто ніяк „не відчували” присутність одна іншої. Для багатьох (але не для всіх!) систем це є цілком природним припущенням. І саме з нього випливає згаданий вище вираз для ентропії

51

замкненої системи. У статистичній фізиці показується, що така ентропія дійсно є адитивною величиною і приймає максимальне значення в стані рівноваги.

Причина цього полягає в тому, що у більшості систем сили взаємодії між частинами системи короткодіючі: кожна молекула відчуває лише декілька найближчих сусідів. Саме звідси випливає те, що термодинаміка таких макроскопічних систем – екстенсивна. Саме такі системи оточують нас в повсякденному житті. Але в природі є і „далекодіючі” сили: гравітаційні, інформаційні та ін. Виявляється, що в складних системах їх еволюція в даний момент часу залежить не тільки від параметрів системи в цей конкретний момент часу, але і від її параметрів за деякий минулий проміжок часу. Ефекти пам’яті можуть привести до порушення гіпотези про молекулярний хаос. Дійсно, вони можуть означати, що окремі частинки перед зіткненням „пам’ятають” одна іншу, їх рух не є повністю некорельованим. Але оскільки припущення про молекулярний хаос знаходиться в основі больцманівського виразу для ентропії, то цей вираз не придатний для систем з пам’яттю.

Таким чином, можна зробити наступний висновок: існують системи, в яких є сильні кореляції, сильна взаємодія між всіма частинами системи; це приводить до порушення термодинамічної адитивності системи, тому їх не вдається описати больцманівською статистикою та термодинамікою. Тому для опису таких систем необхідний інший підхід, який би враховував наявність сильного зв’язку між всіма частинками системи.

Один із таких підходів базується на наступній ідеї Тсалліса: цілком можливо, що сильна взаємодія в термодинамічно аномальних системах настільки змінює картину, що приводить до абсолютно нових ступенів свободи, до абсолютно іншої статистичної фізики не-больцманівського типу. На теперішній час ця гіпотеза поки що не доведена. Більш того, незрозуміло, що це за нові ступені свободи. Тому це твердження залишається поки лише гіпотезою. Але з іншого боку, інтуїція підказує, що такий перехід у тому або іншому вигляді насправді може мати місце і важливо зрозуміти, до чого це може привести.

Якщо майже нічого не відомо про ці нові ступені свободи, то як же тоді можна одержати щось конструктивне? Тсалліс запропонував наступний підхід: оскільки статистика буде не-больцманівською, то вираз для ентропії буде вже іншим і тому необхідно обрати такий вираз для ентропії, який, поперше, співпадав би із стандартним для випадку існування слабкого зв’язку між елементами системи, а по-друге, описував би неекстенсивні системи. З цією метою Тсалліс запропонував для стандартного виразу для ентропії обрати нову функцію – степеневу:

ln(x) ln q (x) (x1 q 1) /(1 q)

52

з числовим параметром q . Якщо q прямує до 1, ln q (x) переходить в

логарифм, у чому можна переконатися простим диференціюванням. Нова формула для q-ентропії має вигляд:

Sq ( piq ln q ( pi )) (1 piq ) /(q 1) .

i

Якщо q 1, то q -ентропія переходить в стандартну больцманівську

ентропію.

Головний наслідок такої заміни полягає в тому, що q -ентропія є вже

неекстенсивною (неадитивною) функцією. Якщо всю систему розбити на дві незалежні підсистеми A і B , то одержимо:

Sq (A B) Sq (A) Sq (B) (1 q)Sq (A)Sq (B).

Отже, параметр q – це міра неекстенсивності системи.

В останні роки було показано, що часові ряди, які характеризують фінансово-економічні системи характеризуються неекстенсивними величинами [20].

Не менш різноманітні і приклади застосування ентропії. Ідея всіх таких додатків пов’язана з екстремальними принципами природознавства – зростаюче значення ентропії характеризує зміну стану систем найрізноманітнішої природи в процесі їх природної еволюції. Відповідний принцип розвитку одержав назву „принцип максимуму ентропії”. Для закритих термодинамічних систем їх ентропія зростає (другий початок термодинаміки). Розповсюдження другого початку на Всесвіт і всі процеси в ньому привело до уявлення про ентропійну „стрілу часу”. Принцип максимуму ентропії застосовується, зокрема, у фізиці, лінгвістиці, екології, математиці, механіці, економіці, інформатиці тощо.

Актуальним є питання щодо напрямків застосування різних видів ентропійних показників щодо аналізу економічних часових рядів [208]. На даний момент в економічних застосуваннях використовується багато методів розрахунку ентропій [289]: ентропія подібності [83, 138] ентропія шаблонів [35, 83], багатомасштабова ентропія [106, 107], вейвлет-ентропія [31, 148, 143, 160, 157]. Всі види ентропій використовують в якості початкових даних часові ряди. В той час як для перших трьох ентропій не передбачається будь-яке перетворення вихідного ряду, остання розраховується на основі вейвлет-розкладу ряду, що, враховуючи сутність вейвлет-перетворення, може бути джерелом додаткової інформації про стан системи. Саме такі міркування нами було покладено в основу вибору методів дослідження критичних явищ в економічних системах.

53

2.2.1 Ентропія подібності та ентропія шаблонів

Метод розрахунку ентропії подібності наведено, зокрема, у [83, 138]. Ентропія подібності (Approximate Entropy, ApEn) є „статистикою регулярності”, що визначає можливість передбачення флуктуацій в часових рядах. Інтуїтивно це означає, що наявність повторюваних шаблонів (послідовностей певної довжини, побудованих із чисел ряду, що слідують одне за іншим) флуктуацій у часовому ряді призводить до більшої передбачуваності часового ряду порівняно із рядами, де повторюваності шаблонів немає. Порівняно велике значення ApEn показує ймовірність того, що подібні між собою шаблони спостережень не будуть слідувати один за одним. Іншими словами, часовий ряд, що містить велику кількість повторюваних шаблонів, має порівняно мале значення ApEn, а значення ApEn для менш передбачуваного (більш складного) процесу є більшим.

При розрахунку ApEn для даного часового ряду SN , що складається із N значень t 1 , t 2 , t 3 , …, t N , вибираються два параметри, m та r.

Перший з цих параметрів, m, вказує довжину шаблона, а другий – r – визначає критерій подібності. Досліджуються підпослідовності елементів часового ряду SN , що складаються з m чисел, взятих, починаючи з номера i,

і називаються векторами pm i . Два вектори (шаблони), pm i та pm j ,

будуть подібними, якщо всі різниці пар їх відповідних координат є меншими за значення r, тобто якщо

t i k t j k r для 0 k m .

Для множини Pm всіх векторів довжини m часового ряду SN обраховуються значення

де nim r – кількість векторів у Pm , що подібні вектору pm i (враховуючи вибраний критерій подібності r). Значення Cim r є часткою векторів

довжини m, що мають схожість із вектором такої ж довжини, елементи якого починаються з номера i. Для даного часового ряду обраховуються значення Cim r для кожного вектора у Pm , після чого знаходиться середнє

значення Cm r , яке виражає розповсюдженість подібних векторів довжини m у ряді SN . Безпосередньо ентропія подібності для часового ряду SN з

використанням векторів довжини m та критерію подібності r визначається за формулою:

54

при розрахунку значень умовних ймовірностей SampEn не використовується довжина векторів.

На основі роботи [35] можна зробити висновок про те, що SampEn:

більше, ніж ApEn, відповідає теорії випадкових чисел для ряду із відомою функцією щільності розподілу;

зберігає відносну щільність, в той час як ApEn втрачає дану характеристику;

додає значно меншу помилку до розрахованого значення у випадку використання векторів малої розмірності.

2.2.2 Ентропії Шеннона і Тсалліса

Для запропонованої ентропії Тсалліса можна ввести функцію розподілу. Для цього перепишемо формулу ентропії у вигляді:

57

1

exp(x) [1 (1 q)x]1 q , (exp(x) e x ) , ми можемо переписати (2.14) у вигляді p(z) Aeq Bz 2 . Цей розподіл будемо називати q -Гаусовим розподілом.

Однієї з головних переваг ентропії Тсалліса є те, що її розподіл (2.14) показує степеневі хвости, які, як вже показано в багатьох роботах, відіграють дуже важливу роль при аналізі часових рядів із пам’яттю. Оскільки ми акцентуємо увагу на процесах із важкими хвостами, то

визначаємо проміжок для значень q (1; 53] , оскільки для інших значень q

важкі хвости не спостерігаються.

На рис. 2.10 побудовані розподіли з важкими хвостами для індексу Доу Джонса, обрахованого для різних часових лагів – від однієї хвилини до однієї години. Для порівняння нанесені розподіли Гауса та узагальнений q- гаусіан.

Рис. 2.11 ілюструє поведінку ентропії Шеннона для тестових рядів. Порівнюючи цей результат з даними ентропії подібності, відмітимо, що динаміка ентропій схожа, але ентропія подібності має значно більший інтервал змін, а тому дозволяє виділяти ширший спектр можливих станів складної системи.

Відмітимо, що ентропії можна розраховувати не тільки для вихідних даних, а і для його похідних – прибутковостей, волатильностей тощо. У деяких випадках це дає можливість ідентифікувати особливості динаміки складних систем.

58

2.2.3 Багатомасштабна вейвлет-ентропія

Вейвлет-аналіз є методом, що полягає у введенні відповідного базиса та характеристиці сигналу шляхом розподілу амплітуд (відліків сигналу) у введеному базисі. Якщо при введенні базису висувається вимога до його ортогональності, будь-яка досліджувана функція може бути єдиним чином розкладена в ньому, причому такий розклад дозволяє відновлювати сигнал.

При використані вейвлет-перетворення часто застосовують термінологію цифрової обробки сигналів, де часовий ряд називають сигналом, а його елементи часовими відліками.

Дискретне вейвлет-перетворення дозволяє отримувати представлення сигналу, коли його значення складаються з коефіцієнтів у послідовності вейвлетів. Такі вейвлет-коефіцієнти надають повну інформацію про сигнал та дозволяють безпосередньо отримувати локальні енергії складових сигналу на різних масштабах. Більш того, інформація може бути організована у вигляді ієрархічної схеми вкладених підпросторів, що дістала назву багатомасштабного аналізу. Базою вейвлет-перетворення є деяка функція , що називається материнським вейвлетом.

Для опису основ вейвлет-ентропії звернемось до [181, 296].

Нехай маємо часовий ряд (сигнал) X , що складається зі значень (відліків) xi , i 1,..., M , поданих на рівномірній сітці з частотою (часом

вибірки) s (ts ). В результаті, при використанні множини масштабів 1,..., N , буде отримано наступне вейвлет-перетворення:

rj t містить інформацію про ряд X відповідно на частотах

2 j 1 s s 2 j s .

Оскільки сімейство j ,k t є ортонормованим базисом в L2 R , можна

використовувати концепцію енергії з використанням відповідної термінології, взятої з теорії розкладів Фур’є. Вейвлет-коефіцієнти, що

отримуються як C j k S, j ,k , дозволяють енергію на кожному масштабі j 1,..., N інтерпретувати як енергію елементів ряду

Загальна енергія ряду може бути отримана у вигляді

60