Оценка сложности

Алгоритм Беллмана-Форда завершает свою работу в течение времени  поскольку инициализация в строке 1 занимает время , на каждый из проходов по ребрам в строках 2-4 требуется время в а на выполнение цикла в строках 5-7 — время

3. Нейронні мережі в системі пожежного спостереження.

Так как поставленная задача относится к оптимизационным задачам, то перечисленные алгоритмы не подходят для ее решения. Для этой цели предложено использовать нейронные сети.

Согласно [12], нейронные сети имеют некоторые достоинства и преимущества перед традиционными вычислительными системами, а именно следующие.

1. Решение задач при неизвестных закономерностях, используя способность обучения на множестве примеров.

2. Возможность работы при наличии большого числа неинформативных, шумовых входных сигналов.

3. Адаптирование к изменениям окружающей среды.

В частности, нейронные сети, обученные действовать в определенной среде, могут быть легко переучены для работы в условиях незначительных колебаний параметров среды. Более того, для работы в нестационарной среде (где статистика изменяется с течением времени) могут быть созданы нейронные сети, переучивающиеся в реальном времени.

4. Потенциальное сверхвысокое быстродействие за счет использование массового параллелизма обработки информации.

5. Отказоустойчивость при аппаратной реализации нейронной сети (при неблагоприятных условиях их производительность падает незначительно).

Для решения поставленной задачи предложено использовать сеть Хопфилда[7].

3.3.1. Дискретна модель Хопфілда як асоціативна пам'ять

Визначення. Асоціативна пам'ять — система, здатна відновлювати збережені в ній стани за неповною або зашумленою інформацією.

Асоціативна пам'ять відображає реальні образи в стійкі точки динамічної системи (рис. 3.3.1.1).

Рис. 3.3.1.1. Схема роботи асоціативної пам’яті

Якщо на вхід системи подати неповний або зашумлений образ, то завдяки динаміці НМ траєкторія системи зійдеться до стійкого стану (атрактору) — мережа "згадає" образ.

Стан мережі визначається вектором

Постсинаптичний потенціал обчислюється за формулою

Модифікація стану мережі:

Якщо то можна вибрати довільне значення , однак краще залишити нейрон у попередньому стані. Тоді діаграма станів буде симетрична.

3.3.2. Фази функціонування дискретної мережі Хопфілда

Фаза запам'ятовування

Нехай необхідно запам'ятати -мірних бінарних векторів

Де  — прототипи, що запам'ятовуються.

За правилом навчання Хебба:

де  — -ий компонент вектора . У векторній формі

Запам'ятовування виконується за один прохід. Нейрони не мають зворотних зв'язків із самими собою, тому для кожного :

, і

При такому навчанні виконуються наступні умови.

1. Вихід кожного нейрона пов'язаний із входами всіх інших нейронів.

2. Нейрон не має зв'язків із самим собою.

3. Матриця вагових коефіцієнтів симетрична: .

Фаза відновлення

У мережу подається пробний вектор  —з числа незаписаних у мережі (неповний або зашумлений еталон):

.

Елементи вектора x оновлюється асинхронно, по одному в кожен момент часу:

де  — матриця синаптичних вагових коефіцієнтів ,  — вектор відхилення.

Процес припиняється, якщо

,

де  — вихід мережі.

Таким чином, алгоритм функціонування мережі Хопфілда має наступний вигляд:

1. Навчання. Нехай N-мірні прототипи. За правилом Хебба

.

Після обчислення синаптичні вагові коефіцієнти фіксуються.

2. Ініціалізація. Стан нейронів мережі в початковий момент часу при подачі нового (зашумленого) образу:

3. Ітераційний процес збіжності мережі до стійкого стану. Вектор обробляється за формулою:

.

4. Завершення роботи алгоритму. Якщо

 –– вихід мережі.

Пункт 1 описує фазу запам'ятовування, пункти 2–3 — фазу відновлення.

Запам'ятовуюча здатність мережі:

де  — число нейронів,  — число образів. [4]

В залежності від вигляду активаційної функції розрізняють

дискретну та аналогову моделі мереж Хопфілда.

3. Бінарна модель

Бінарна модель базується на використанні порогової активаційної функції, яку задають виразом:

Такий вигляд активаційної функції був запропонований Хопфілдом. У сучасній літературі частіше зустрічається порогова активаційна функція зі зміною знака

В і через позначається величина порога чутливості довільного нейрона мережі Хопфілда. Якщо для виходу y кожного нейрона поставити у відповідність двійковий розряд, то поточний стан мережі Хопфілда може бути виражений числом у двійковій системі числення, а множина допустимих сусідніх станів є множиною чисел з одиничною відстанню Хеммінга. Якщо стани нейронної мережі позначити точками з відповідними координатами у просторі та з’єднати дугами ті точки, між якими допустимий перехід, одержимо граф переходів мережі. Для мережі, що складається з трьох нейронів, такий граф має вигляд куба (рис.3.3.3.1). Мережі з кількістю нейронів більше трьох утворюють гіперкуби вищих порядків, що не мають графічної інтерпретації. У загальному випадку множина сусідніх вершин для довільної вершини визначається з виразу:

Функціонування мережі Хопфілда полягає в пересуванні вздовж ребер переходів, поки мережа не досягне стійкого стану, умови наявності якого вперше сформульовані в [13]. Мережа Хопфілда має стійкий стан у випадку, коли матриця вагових коефіцієнтів симетрична і має нулі на головній діагоналі, тобто

Для пояснення факту стійкості мережі за згаданих умов введемо функцію енергії довільної пари нейронів:

Виходячи з умови симетричності матриці вагових коефіцієнтів, загальну енергію E нейронної мережі визначають за функцією Ляпунова:

Рис.3.3.3.1. Граф переходів.

Розглянемо стан мережі перед спрацьовуванням нейрона , виділивши з загальної суми складову , що не пов’язана зі зміною енергії:

Тоді загальна енергія мережі

Враховуючи умови симетричності , одержимо вираз

На момент розгляду стану мережі вихід нейрона є константою, і може бути винесеним за знак суми.

Загальна енергія перед черговим спрацьовуванням -го нейрона дорівнює , а після спрацьовування ― . Зміну енергії задамо виразом:

і розглянемо такі умови:

1. За цієї умови :

отже,

2. В цьому випадку :

отже,

2. Згідно з активаційною функцією у цьому випадку не відбувається жодних змін, тобто . Відповідно

Отже, загальна енергія мережі Хопфілда за умов завжди або зменшується, або залишається незмінною. Стійкий стан мережі відповідає мінімуму її енергії.

4. Асоціативна пам’ять

Поверхня енергії в просторі станів мережі має складну форму, яка характеризується великою кількістю локальних мінімумів. У випадку застосування мережі Хопфілда в ролі запам’ятовуючого середовища стійкі стани, що відповідають локальним мінімумам енергії, інтерпретують як образи пам’яті. Під час переходу мережі від одного стану до такого, що характеризується меншим рівнем енергії, завжди відбувається пошук сусіднього стану за формулою (3.3.3.3). Тому мережа завжди знаходить локальний енергетичний мінімум, який розміщується на мінімальній відстані Хеммінга від початкового стану. Нехай вектор вхідних сигналів відповідає ідеальному образу пам’яті, тобто локальному мінімуму енергії мережі. Тоді надходження на вхід мережі вектора приводить до еволюції мережі у напрямку локального мінімуму, що відповідає відновленню ідеального образу по його неповній копії. Така пам’ять відрізняється від тієї, що використовується в традиційних обчислювальних структурах. Вона більше нагадує людську пам’ять, для якої характерний асоціативний, а не адресний принцип запам’ятовування інформації. Асоціативна пам’ять є значно стійкішою щодо різного роду помилок та шумів за рахунок того, що має здатність відновлення ушкодженого образу, на відміну від адресної пам’яті, у якій помилка адресації призводить до неправильного зчитування значних фрагментів. Недоліком асоціативної пам’яті, яка реалізується на мережі Хопфілда, є незначний її об’єм, пропорційний кількості нейронів. У цьому випадку об’єм адресної пам’яті пропорційний , де ― кількість двійкових розрядів. Згаданий недолік та ряд інших, які характерні для побудованої на основі класичної мережі Хопфілда асоціативної пам’яті, роблять її малопридатною для практичного використання.

4. Неперервна модель

Принциповою відмінністю неперервної моделі від бінарної стало використання сигмоїдальної активаційної функції

а також введення показника швидкості зміни активності, що визначається за формулою:

Де – константи, а значення аргументу активаційної функції відповідно до і після спрацьовування нейрона .

Як і в попередньому випадку, простором зміни станів мережі є гіперкуб розмірності, яка дорівнює кількості нейронів. Оскільки виходи нейронів неперервні зі зміною в діапазоні від 0 до 1, то допустимими станами мережі в даному випадку стають не тільки вершини, а й увесь внутрішній простір гіперкуба.

Принципи стійкості бінарної моделі поширені також на неперервну модель. Доведено, що ця модель має стійкий стан у випадку симетричності матриці вагових коефіцієнтів та рівності нулю її головної діагоналі Від коефіцієнта крутизни активаційної функції залежить відстань від вершини гіперкуба до точки, яка характеризується мінімумом енергії. Коли активаційна функція за формою нагадує порогову, точки стійких станів максимально наближаються до вершин гіперкуба. З точки зору стійкості бінарна модель може розглядатися як граничний стан неперервної моделі.

Більша наближеність неперервної моделі до її біологічного аналога та відносна легкість реалізації зробили цей варіант мережі Хопфілда популярним. У такому варіанті вона часто використовується в сукупності з іншими видами мереж з метою підвищення ефективності обробки інформації.

4. Комбінаторна оптимізація

Цікаве застосування неперервної моделі для розв’язування задач комбінаторної оптимізації було запропоноване в [13]. Типовим представником таких задач є задача комівояжера [13], яка полягає в тому, щоб знайти найкоротший шлях між містами, відвідавши кожне з них тільки один раз. Розв’язок цієї задачі шукають на матриці нейронів розмірністю . У даній матриці кожному місту відповідає рядок, а номером стовпця задають послідовність їх відвідування.

Активаційну функцію вибирають типу (3.3.5.1) з такими коефіцієнтами які забезпечують її максимальне наближення до порогової функції (3.3.3.1). Правила роботи мережі задають шляхом конструювання відповідної функції енергії, яка повинна задовольняти таким умовам:

1. Мінімальне значення енергії для кожного стовпця матриці досягається у випадку, коли в даному стовпці залишається активним лише один нейрон:

2. Мінімальне значення енергії для кожного рядка матриці досягається у випадку, коли в даному рядку залишається активним лише один нейрон:

3. Мінімальне значення енергії для всієї матриці досягається, коли кількість активних нейронів дорівнює , тобто в кожному стовпці матриці та в кожному її рядку існує активний нейрон, і до того ж тільки один:

4. Енергія мережі досягає мінімального значення у випадку, коли між можливими парами нейронів вибирається тільки така пара, яка характеризується мінімальною відстанню :

Загальна енергія мережі визначається за формулою:

3. 7. Двонаправлена асоціативна пам’ять

Основною властивістю асоціативної пам’яті, що реалізована на мережі Хопфілда, є здатність відтворювати образи шляхом їх асоціації з частково помилковим запитом. Таку мережу ще називають автоасоціативною. В [13] запропоновано більш досконалу версію асоціативної пам’яті ― двонаправлену асоціативну пам’ять (ДАП), що отримала назву гетероасоціативної. Ця структура дозволяє додатково встановлювати асоціативні зв’язки між різними образами. На (рис.3.3.7.1) показана структурна схема такої мережі.

Рис.3.3.7.1. Двонаправлена асоціативна пам’ять.

Вектор вхідних сигналів +, відповідно промасштабований елементами матриці вагових коефіцієнтів , надходить на вхід першого шару нейронів. Результатом спрацьовування цього шару є вихідний вектор сигналів , який надходить на вхід другого шару з транспонованою матрицею вагових коефіцієнтів . До моменту його спрацьовування зовнішній вхідний вектор знімається і заміщується тим, який є результатом роботи другого шару. Далі починається новий цикл рекурентних обчислень, і він продовжується до того часу, поки мережа не досягне стійкого стану, в якому вектори та залишаються незмінними.

Активаційна функція першого шару нейронів визначається за формулою :

де ― ваговий коефіцієнт, що є елементом транспонованої матриці .

Найчастіше в ролі активаційної функції використовують традиційну сигмоїдальну функцію (3.3.5.1) з великими значеннями коефіцієнта , що наближає її до порогової функції.

За принципами роботи розрізняють синхронні та асинхронні ДАП. У синхронному режимі відбувається одночасне спрацьовування всіх нейронів одного шару під дією зовнішнього синхронізуючого сигналу. Найчастіше у цьому випадку використовують порогову активаційну функцію. Для досягнення більшої подібності з біологічним прототипом застосовують асинхронний режим функціонування ДАП з сигмоїдальною активаційною функцією. В цьому режимі кожний нейрон обробляє неперервні сигнали і може бути змодельований на операційному підсилювачі з нелінійним зворотним зв’язком.

ДАП ― більш стійкі структури, ніж мережі Хопфілда. Для них притаманним є прагнення до пошуку локального енергетичного мінімуму у випадку, коли матриця вагових коефіцієнтів має довільну форму. Спільним недоліком для цих мереж є незначна ємність пам’яті. В роботі [13] наводиться оцінка, за якою кількість образів, що можуть запам’ятовуватись мережами такого типу, пропорційна , де ― кількість нейронів.

властивості ДАП і, відповідно, збільшити кількість образів, що можуть викликати адекватні асоціації. До таких підходів слід віднести застосування нейронів з різними порогами спрацьовування активаційних функцій. Мережі, що мають такі властивості, називають адаптивними ДАП. Активаційні функції нейронів адаптивної ДАП визначаються за формулою (3.3.3.1) у випадку синхронного режиму функціонування. При цьому для кожного нейрона j встановлюється свій поріг спрацьовування . Асинхронний режим функціонування використовує неперервну сигмоїдальну активаційну функцію, амплітуда якої визначається параметром окремо для кожного нейрона . Активаційна функція у цьому випадку:

Алгоритм настройки порогів підвищує чутливість мережі у вибраному діапазоні вхідних сигналів. Ще одним підходом такого типу є застосування конкурентних зв’язків на кожному шарі нейронів, що приводить до формування нової матриці вагових коефіцієнтів. Як і в попередньому випадку, підвищення чутливості відбувається за рахунок зниження допустимого діапазону вхідних образів.