1.10. Новий підхід до прогнозування поведінки складних систем і катастрофічних процесів (русла і джокери)

Однією з основних проблем у нейронауці є обробка великих об­сягів інформації. Всі методи прогнозу, що пропонувалися раніше, ефек­тивні тільки для маломодових систем. Відзначимо, що фазовий простір динамічної системи (ДС) неоднорідний, тому в ньому може бути місце, де для опису динаміки необхідна менша кількість змінних. Коли траєкторія пролягає через такі ділянки, то протягом певного часу її поведінку можна приблизно описати за допомогою маломодової моделі.

Отже, ДС можна характеризувати за допомогою її проекції не­знач­ної розмірності. Такі проекції називаються руслами. Якщо траєкторія пролягла руслом достатню кількість разів, то за часовими рядами у принципі можна знайти цю проекцію (русло). Це означає, що з’яв­ляється можливість прогнозування. Але багатошарові НМ виконують операції, що дуже нагадують проеціювання, – в них обчислюється зважена сума вхідних сигналів.

Таким чином, якщо необхідна проекція (русло) малої розмірності існує, тоді НМ могла б її знайти. Відзначимо, що проеціювання є не­обхідним елементом більшості систем, що передбачають, – пре­ди­к­торів.

Отже, ідеї нейронауки дозволяють прийти до висновку, що мож­ливим шляхом дослідження складних ДС є пошук таких локальних маломодових русел. Тоді в якихось місцях фазового простору русла втрачають здатність прогнозування, тобто існують об’єкти, де начебто детермінована поведінка швидко змінюється майже неперед­бачу­ва­ною, яка здається випадковою. Такі області ймовірного опису нази­ва­ються областями джокерів, а правила (алгоритми), які діють у таких областях, – джокерами. Тому важливою проблемою є дослідження властивостей маломодових ДС із джокерами.

Задачі прогнозу часових рядів (ЧР). Нехай – процес, що досліджується, де x(t) – реалізація випадкового процесу X(t), тобто одна з траєкторій, є ЧР: x₁, x₂, …, x_i, …, x_N. Задача прогнозування (передбачення) полягає в оцінці майбутніх значень x_N+1, x_N+2, ….

У наш час існує кілька підходів до вирішення цієї проблеми.

У прикладній статистиці постулюється, що щільність розподілу x_i залежить від m попередніх членів, і тому для прогнозування можна використовувати умовне середнє

Нелінійна динаміка (НД) дозволила пояснити виникнення зазна­че­ної залежності та дати оцінку величини m (тобто обсяг вибірки).

Теорема Такенса. Припустимо, що існує динамічна система (тобто вимірювані величини є функціями стану певної динамічної системи):

(1.8)

Зазначимо, що така форма дозволяє з єдиних позицій розглядати як відображення x_t+1 = F(x_t), так і системи диференційних рівнянь виду

Нехай вимірювана величина є функцією стану системи, тобто:

(1.9)

Тоді майже для всіх і m  2n + 1 має існувати функційне се­ред {x_i-1, x_i-2, …, x_i-m} і x_i, тобто {x_i-1, x_i-2, …, x_i-m} x_i, i = m + 1, m + 2, ….

У літературі описано ряд методів апроксимації відображення Ф за таблицею пар < z, Ф(z) >, де z_i = (x_i, x_i=1, …, x_i+m-1) або z_i-m = (x_i-1, x_i-2, …, x_i-m), z R^m... .

1. Локально-лінійні та нелінійні апроксимації:

Ф(z) = Ф(z₀) + A₁( z) + A₂( ) + … , z = z – z₀,

де А_к – поліном ступеня k від своїх аргументів;

2. Глобальні поліноміальні апроксимації:

Ф(z) = Ф₀ + А₁(z) +A₂(z, z) + …...

3. Метод радіальних функцій:

4. Багатошарові нейронні мережі.

Далі відзначимо, що довжина ЧР і розмірність атрактора d пов’я­за­ні співвідношенням: Наголосимо, що тришарові мережі фак­тично втілюють основну вимогу теореми Такенса: проектування + апроксимація. Це дозволяє пояснити ще один факт, відомий з літе­ра­тури: збільшення числа шарів, як правило, не поліпшує ситуацію. Тому можна чекати, що основні властивості багатошарових НМ можна одер­жати і на тришарових – за відповідного вибору кількості при­хо­ваних нейронів і сигмоїдальної передатної функції.

5. Предиктори і тришарові НМ.

Тут – сигмоїдальна функція (наприклад, m, q – кіль­кість нейронів у 1-му і 2-му шарі, відповідно. Оскільки нас ці­кавить прогноз наступних членів ЧР за m попередніх, припустимо таку архітектуру мережі: m вхідних нейронів, певна кількість нейронів у прихованому шарі та єдиний вихідний нейрон, тобто на вхід мережі подаються m попередніх значень x_i-1, …, x_i-m або z_i-m = (x_i-1, …, x_i-m)... .

Лінійні комбінації вигляду

можна розглядати як одночасне обчислення компонентів для де­кіль­кох проекцій. Потім обчислюється сигмоїдальна функція За допомогою складових робочий інтервал можна зсунути, до­ма­гаю­чись того, щоб для даного набору вхідних параметрів значення y_j або потрапляло всередину нього («компонент активний») або поза ним («компонент неактивний»). На наступних двох етапах обчис­лю­ється функція – це і є локальна лінійна апро­кси­ма­ція невідомої функції Ф. Причому всі ці локальні апроксимації виявляються погодженими («зшитими») між собою, як сплайни.

Отже, тришарові НМ фактично втілюють основну вимогу теореми Такенса: проеціювання + апроксимація.

6. Передбачуваність складної динаміки системи з джокерами.

Нагадаємо, що складну динамічну систему можна представити в просторі станів у вигляді:

   (1.10)

тобто або як або а в m-вимірному просторі – в «z-представленні» як

(1.11)

Питання щодо «глобальної» передбачуваності складної динаміки, тобто можливості відновити повну динамічну систему, в z-пред­став­лен­ні зіштовхується з деякими обмеженнями (за горизонтом і точ­ністю).

Для складної системи ця задача в загальному вигляді є не­розв’яз­ною. Але, можливо, є здійсненними локальні прогнози?

На користь цієї ідеї свідчить здатність НМ до побудови таких про­гнозів. Оскільки НМ мають високі «здібності щодо проеціювання», доцільно розглянути питання про передбачуваність у проекції малої розмірності.

Припустимо, що локальна в деякій області n-вимірного фазо­во­го простору поведінка складної системи приблизно, але з «гарною» точ­ністю може бути описана маломодовою моделлю з розмірністю r < n. Тоді якщо ця траєкторія протягом часу спостереження достатню кіль­кість разів пролягла через область , цього може бути недостатньо для того, щоб відновити повну вхідну n-вимірну систему, але дос­татньо для відновлення r-вимірної функції, що дає можливість здій­снювати локальний прогноз.

Відзначимо ще раз, що НМ формує велику кількість проекцій вхід­ного фазового простору, і якщо для прогнозування достатньо r < n параметрів, то в принципі можна виявити існування області і сфор­мувати відповідний маломодовий предиктор.

Отже, ми знову прийшли до концепції русел і джокерів, тобто до спроби використати ідеї маломодової НД для аналізу динаміки склад­них систем великої розмірності.

Як можуть виникати русла? Припустимо, що для динамічної сис­теми (1.10), тобто або , існує область , де функція f(x) має такий вигляд:

де , а P_r – проектор на підпростір розмірності r < n .

Цю проекцію можна розглядати як площину (у загальному випад­ку – поверхню) Р, що проходить через якусь точку а оператор P_r – як проектор на неї.

Позначимо r координат на Р як y¹ = P_r x, а інші (n – r) координат – через y² = (I – P_r)x.

Тоді і на поверхні Р ми будемо мати наступне відображення:

Якщо точність необхідного прогнозу дозволяє відкинути другий член, наприклад, якщо то динаміку системи можна приблизно звести до r-вимірної моделі:

   (1.12)

Отже, компонент y¹ можна передбачати проектором P_r, а про­гно­зування компонента y² також іноді можливо, якщо їхня залежність від самих себе несуттєва або має дуже простий вид. Формула (1.12) є рівнянням русла, пов’язаного з областю .

Яким чином ідею русел можна застосувати для прогнозування ЧР?

Розглянемо в цьому випадку динамічну систему в z-представленні:

а також відповідно до теореми Такенса врахуємо залежність:

x_i = Ф(x_i-1, …, x_i-m) Ф(z_i-m).

Припустимо, що повна система має велику розмірність, але десь у реконструйованому просторі R^m (тобто в z-представленні) існує область R_k, де можна використовувати підхід маломодових русел. Розмірність русла можна приблизно обчислити.

Приміром, нехай необхідна точність тобто 1 %, і при­пус­тимо, що і N = 10³ . Тоді для мето­ду ап­ро­ксимації Ф 1-го порядку , або

Отже, необхідно шукати область, де динаміку можна передбачати за найбільш важливими компонентами вектора z, або, іншими словами, визначити проектор P_r. Зауважимо, що вектор z може або навіть повинен мати велику розмірність, тобто довгі ЧР.

Нагадаємо, що y¹_i+1 = g(y¹_i). Можна довести, що оцінка прогнозу (в руслі) для 1-го компоненту вектора z_i є такою:

де р – обчислений (за визначеною схемою) вектор.

Це співвідношення дає загальний вигляд предиктора, що ви­ко­ристовує підхід русел, – це є сума нелінійної функції від координат русла y¹ і лінійної функції попереднього стану z.

Отже, використання русел може дозволити спростити структури предикторів, а тому дає можливість робити прогнози для систем ве­ликої розмірності, що у загальному випадку знаходяться поза межами методів маломодової НД.

Як шукати русла? Пошук русел є складною задачею. Задача ця тісно пов’язана з іншими методами, що раніше пропонувалися в НД і статистиці. Можна згадати методику помилкових найближчих сусідів (FNN), пошук залежних змінних або спробу використати ідеї аналізу головних компонентів. Однак усі ці методи мають глобальний ха­рактер, тоді як русла вимагають локальних підходів. Тому необхідно розвивати нові способи аналізу.

Очевидно, найбільш перспективним є стандартний підхід пошуку функціональної залежності між послідовними реконструйованими векторами, що зазвичай використовується для визначення правильної розмірності.

Ідея методу є досить простою: якщо існує функціональна залеж­ність між z_i і z_i+1, то якщо мале, тоді теж має бути малим.

Інший шлях використання тієї ж ідеї полягає в порівнянні від­ста­ней у реконструкціях для розмірності ЧР m і m+1.

Таким чином, ми підходимо до наступної задачі: для реконструкції великої розмірності (m може бути великим) слід знайти проекцію малої розмірності, тобто r = ортогональних векторів а_к, що ви­зна­чають проектор:

де , а також область , де природно очікувати функ­ціо­наль­ну залежність між P_rz_i і P_rz_i+1 .

Одним з можливих підходів може бути дослідження спів­відно­шен­ня між і аналіз розподілу потенційно залежних пар у проекції та підбір векторів а_к.

Ця задача вимагає величезних обчислювальних витрат і, можливо, необхідно спочатку побудувати ефективні чисельні алгоритми для цієї мети, щоб досягти продуктивності, порівнянної з НС.

Що знаходиться на межі русла? Як було сказано вище, всередині русла може бути отримано простий маломодовий опис складної системи. А що відбудеться, коли русло закінчиться (тобто траєкторія системи потрапить до області ), тоді як нам хотілося б залишатися в рамках маломодового опису реальної системи?

Прості моделі були нездатні давати детермінований прогноз, і єдиний спосіб певною мірою залишитися в рамках парадигми ма­ло­модової НД – це припустити ймовірнісну поведінку (опис) моделі системи. Тобто ми припускаємо, що існують області J_k (джокери), де траєкторія стає випадковою.

Зауважимо, що присутність джокера може різко змінити бі­фу­рка­ційну діаграму і навіть пригальмувати виникнення хаосу.

Висновки та гіпотези. Отже, для складної системи великої роз­мірності може виявитися корисним опис у термінах джокерів і русел. У певному значенні їх можна розглядати як узагальнення символічної динаміки, в інших аспектах – як систему сполучених простих мо­де­лей. У природничих науках такий опис не надто поширений, але він може виявитися дуже корисним у біологічних і соціальних науках, у завданнях управління ризиками, де зазвичай застосовується безліч моделей для опису різних сторін складного об’єкта. Ймовірно, такі моделі можна розглядати як різні русла.

Тоді, наприклад, динаміка суспільства може розглядатися як по­слідовність русел (стабільний розвиток) і джокерів. Такий погляд міг би бути корисним і при перевірці правильності різних моделей: кілька моделей можуть співіснувати як різні можливі русла. Завдання по­лягає в тому, щоб зрозуміти, які з них відповідають поточній ситуації, як близько знаходиться найближчий джокер, чи можна його уникнути і т. ін.

Такий підхід здатний допомогти й у задачах опису (ідентифікації) складних систем. Загалом русла не мусять бути саме математичними моделями, це можуть бути просто певні типові ситуації, комбінації ознак, найбільш істотних деталей. Тобто об’єкт може бути охарак­те­ризований як «альбом» таких типових ситуацій з найбільш імовірними наслідками.

Цікаво, що мозок має величезні можливості для пошуку таких важ­ливих деталей, побудови русел і вироблення прогнозів. Якщо набір істотних параметрів виявиться неповним, виникатиме багато помилок, тому попередній досвід може відповідати здатності створювати пра­вильні проекції реальності. Очевидно, ця здатність частково успад­ко­вана і НМ та слугує однією з причин їх успішного застосування. Можна очікувати, що запропонований підхід русел і джокерів буде корисним і в розв’язанні низки задач управління ризиком, прогно­зу­вання небезпечних ситуацій.