Нейронні мережі Хопфілда і Хемінга

У таких мережах вагові коефіцієнти синапсів розраховуються тільки один раз перед початком функціонування мережі на основі інформації про вхідні дані, і все навчання мережі зводиться саме до цього розрахунку.  Мережа Хопфілда складається з єдиного шару нейронів, число яких є одночасно числом входів і виходів мережі. Кожен нейрон зв'язаний синапсами з всіма іншими нейронами, а також має один вхідний синапс, через який здійснюється введення сигналу. Вихідні сигнали, як звичайно, утворюються на аксонах. 

1. Складність інтерпретації змісту інтенсивності вхідних сигналів і вагових коефіцієнтів - "проблема інтерпретації вагових коефіцієнтів".

2. Складність змістовної інтерпретації й обґрунтування аддитивності аргументу і виду активаційної (передатної) функції нейрона - "проблема інтерпретації передатної функції".

3. "Комбінаторний вибух", що виникає при визначенні структури зв'язків нейронів, підборі вагових коефіцієнтів і передатних функцій - "проблема розмірності".

4. "Проблема лінійної разділимості", що виникає тому, що збудження нейронів приймають лише булеві значення 0 чи 1.

Машина Больцмана являє собою стохастический варіант мережі Хопфилда. Бінарні нейроподiбi елементи (блоки) трактуються тут як представники елементарних гіпотез, а ваги - як слабкі парні взаимоограничения між ними. Позитивна вага зв'язку вказує, що дві гіпотези прагнуть підтримувати один одного, а негативний - на їхню несумісність. 

На жаль, алгоритм навчання машини Больцмана має типові недоліки, властивим процедурам градієнтного спуску в багатопараметричних просторах. Насамперед це неточність обчислення градієнта, обумовлена неповним досягненням теплової рівноваги й обмеженим часом збору статистик. Через своєї стохастичностiалгоритм вимагає набагато великих тимчасових витрат у порівнянні навіть з алгоритмом навчання багатошарового персептрона методом зворотного поширення помилки. Наявна апаратна реалізація, однак, зм'якшує цей недолік принаймні для невеликих мереж. Відомі приклади застосування машини Больцмана для вирішення класичних персептронних задач, таких, як задача « що виключає ЧИ», виявлення симетрії у вхідному образі і т.д., а також для розпізнавання мови. 

Лекція 5 нейромережі

Моделі нейронних мереж. Мережі з прямими зв'язками. Багатошарові нейронні мережі

Типовий персептрон складається з трьох основних компонент:

1. матриці бінарних входів (сенсорних нейронів чи «сітківки», куди подаються вхідні образи);

2. набору бінарних нейроподібних елементів (чи предикатів у найбільш загальному випадку) з фіксованими зв'язками до підмножин сітківки («детектори ознак»);

3. бінарного нейроподібного елемента зі зв'язками, що модифікуються, до цих предикатів («вирішувач»). Число вирішальних елементів вибирають рівним кількості класів, на яке необхідно розбити пропоновані персептрону образи.

Перцептрон навчається шляхом подання навчальної послідовності зображень об'єктів, що належать образам V1 і V2. У процесі навчання змінюються ваги vi А-елементів. Зокрема, якщо застосовується система підкріплення з корекцією помилок, насамперед враховується правильність рішення, прийнятого перцептроном. Якщо рішення правильне, то ваги зв'язків всіх А-елементів, що спрацювали, які ведуть до R-елемента, що видали правильне рішення, збільшуються, а ваги А-елементів, що неспрацювали, залишаються незмінними. Можна залишати незмінними ваги А-елементів, що спрацювали, але зменшувати ваги що неспрацювали. У деяких випадках ваги зв'язків, що спрацювали, збільшують, а що неспрацювали - зменшують. Після процесу навчання перцептрон сам, без учителя, починає класифікувати нові об'єкти.  Якщо перцептрон діє за описаною схемою й у ньому допускаються лише зв'язки, що йдуть від бінарних S-елементів до A-елементів і від A-елементів до єдиного R-елемента, то такий перцептрон прийнято називатиелементарним  -перцептроном.  Основні властивості перцептрона:  Теорема 1. Клас елементарних A-перцептронів, для яких існує рішення для будь-якої задуманої класифікації, не є порожнім.  Теорема 2. Якщо для деякої класифікації C(W) рішення існує, то в процесі навчання   -перцептрона з корекцією помилок, що починається з довільного вихідного стану, це рішення буде досягнуто протягом кінцевого проміжку часу. 

Когнітрон і неокогнітрон Фукушими

У цілому когнітрон являє собою ієрархію шарів, послідовно зв'язаних один з одним:

1. Нейрони утворюють не одномірний ланцюжок, а покривають площину, аналогічно шаруватій будові зорової кори людини.

2. Когнітрон складається з ієрархічно зв'язаних шарів нейронів двох типів – гальмуючих і збудливих.

У когнітроні кожен шар реалізує свій рівень узагальнення інформації:

• вхідні шари чутливі до окремих елементарних структур, наприклад, ліній визначеної орієнтації чи кольору;

• наступні шари реагують уже на більш складні узагальнені образи;

• у шарі найвищого рівня ієрархії активні нейрони визначають результат роботи мережі – розпізнавання визначеного образу, при цьому результатам розпізнавання відповідають ті нейрони, активність яких виявилася максимальною.

Однак домогтися незалежності (інваріантості) результатів розпізнавання від розмірів і орієнтації зображень вдалося лише в неокогнітроні, що був розроблений Фукушимою у 1980 році і являє собою суперпозицію когнітронів, навчених розпізнавати об'єкти різних типів, розмірів і орієнтації. 

Лінійна розділимість і персептронна представленість

При прямокутній передатній функції кожен нейрон являє собою граничний елемент, що може знаходитися тільки в одному з двох станів:

• збудженому (активному), якщо зважена сума вхідних сигналів більше деякого граничного значення;

• загальмованому (пасивному), якщо зважена сума вхідних сигналів менше деякого граничного значення.