Тема 4. Мережі з симетричними зв'язками. Ансамблеві нейроні мережі.

Багатошарові мережі їх переваги. Моделювання функцій мозку за Хеббом. Ефективність зв'язків. Ідеї Хебба про створення нейронихмоделей довгострокової пам'яті. Модель пам'яті на основі ансамблевої нейроної мережі. Кількість образів, яку можна запам'ятати в мережа. Процес навчання. Недоліки ансамблевої нейроної мережі.

Моделювання функцій мозку за Хеббом.Ідеї Хебба про створення нейронихмоделей довгострокової пам'яті.

Ідеї Хебба зробили великий вплив на уявлення про мозок і стало основою для створення нейроних моделей довгострокової пам'яті. Дійсно, ансамблеву нейрону мережу можна розглядати як структуру, що реалізує функції розподіленої асоціативної пам'яті. Формування ансамблів у такій мережі відповідає запам'ятовуванню образів (ознак, об'єктів, подій, понять), закодованих паттерном активності нейронів, а сформовані ансамблі є їх внутрішнім представленням. Процес збудження всього ансамблю при активації частини його нейронів можна інтерпретувати як витяг запом’ятованої інформації з її частини - ключу пам'яті.

Модель пам'яті на основі ансамблевої нейроної мережі має деякі властивості, властивої біологічної пам'яті, таким, як ассоціативність, роспреділеність, паралельність, стійкість до шуму і збоїв, надійність. Проводяться також структурні аналогії між ансамблевими моделями нейроних мереж і будівлею кори головного мозку. Маються експериментальні дані про синоптичну пластичность, постульованої Хеббом.

Модель ансамблевої мережі складається з великої кількості нейро-подібних елементів, кожний з який звичайно з'єднаний із всіма іншими елементами мережі. Вхідний образ подається на мережу шляхом акти-вації потрібних нейроподібних елементів. На відміну від персептрона ансамблева мережа може навчатися як із учителем, так і без нього, Навчання проводиться за правилом Хебба (1.5) чи одному з його варіантів. Значення коефіцієнта К в (1.5) при навчанні з учителем визначає величину підкріплення, а при навчанні без учителя ця величина може бути встановлена, наприклад, постійної. Відзначимо, що правило Хебба (1.5) формує симетричну матрицю зв'язків.

У процесі навчання при подачі на мережу набору вхідних образів — представників середовища — в мережі формуються ансамблі, що можуть мати складну структуру, що відображає властивості середовища. Дійсно, зв’язок усередині груп нейроподібних елементів, що найбільше часто збуджувалися одночасно, буде значно вище, ніж у середньому по мережі. Так утворяться ядра ансамблів, у яких накопичуються комбінації ознак, що найбільше зустрічаються у вхідних образах. Їх можна розглядати як внутрішнє представлення образів-прототипів класів, що об'єктивно існують у зовнішнім середовищі. Більш рідкі комбінації збуджених нейроподібних елементів утворять бахрому ансамблів, де фіксуються індивідуальні особливості образів, внутрішній і зовнішній контексти і т.д.

Кількість образів, яку можна запам'ятати в мережі, сильно залежить від їхнього розміру, тобто від кількості нейроподібних елементів, які активізуються образом, а також від ступеня кореляції образів. Аналітично й експериментально показано, що кількість стохастичних образів, яке можна запам'ятати та відновити в ансамблевій мережі, при малому розмірі образа може значно перевищувати число нейроподібних елементів мережі.

При подачі на навчену ансамблеву мережу деякого вхідного образу шляхом установки початкового паттерна активності здійснюється відновлення найбільш близького до нього образа з числа запам’ятованих в мережі. Мережу представляють самої собі, і в ній починається звичайний процес (синхронний чи асинхронний — у залежності від використовуваного алгоритму) зміни станів нейроподібних елементів. При цьому через наявність тільки збудливих зв'язків виникає проблема регулювання рівня активності мережі, тобто кількості одночасно активних елементів. Для її рішення був запропонований ряд внутрімережних і зовнішніх механізмів. Якщо рівень активності мережі підтримується приблизно рівним величині ансамблю, тоді міжансамблева конкуренція приводить до релаксації мережі з початкового до кінцевого стійкого стану, що відповідає запам’ятованому образу (також п. 1.4.2 подп. 2).

У ряді робіт теоретично і експериментально досліджуються кількісні характеристики функціонування ансамблевих мереж, наприклад якість відтворення образа в залежності від кількості запам’ятованих в мережі образів і їхнього розміру, а також від ступеня близькості до них вхідного образа і т.д.. Цікавий метод аналітичного дослідження мереж зі зворотними зв'язками запропонований Хопфілдом.