Кибернетика
Теория передачи сигналов |
Искусственный интеллект |
|
Теория управления |
||
Кибернетика второго порядка |
||
Теория автоматов |
||
Компьютерное зрение |
||
Теория принятия решений |
||
Системы управления |
||
Синергетика |
||
Эмерджентность |
||
Теория алгоритмов |
||
Обучающиеся организации |
||
Распознавание образов |
||
Новая кибернетика |
||
Теория оптимального управления |
||
Теория общения |
||
Теория обучающихся систем |
||
|
Биоинженерия Биологическая кибернетика Биоинформатика Бионика Медицинская кибернетика Нейрокибернетика Гомеостаз
Синтетическая биология Системная биология
|
|
|
|
|
|
|
|
|
Нейронные сети |
|||||
|
Нейрон |
|
|
w0 |
|
|
|
|
n |
|||||
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
y (g) ( wi xi w0 ) |
|
|
|||||||
x1 |
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
||||||||
|
w1 |
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
||||||||
x2 |
|
|
|
|
|
|
|
|
|
i 1 |
|
|
||
|
w2 |
|
∑ |
|
|
|
ф(g) |
|
y |
|||||
|
|
|
|
|
|
|
||||||||
xn |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Функция активации |
|||||||
|
wn |
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
w - весовые |
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
||||
коэффициенты |
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
(g) |
|
|
|
|
|
|
|
|
(g)
g
(g) 1
1 exp( a g)
Пороговая функция активации |
Сигмовидная функция активации |
|
|
Виды нейронных сетей |
||
f(h1) |
|
n(h1) |
f(h1) |
|
f(h3) |
|
n(h1) |
||
|
|
f(h3) |
||
|
|
n(h2) |
n(h ) |
|
|
|
|
2 |
|
f(hn) |
|
n(hn) |
n(hn) |
|
|
|
f(hn) |
||
|
|
|
||
Трехслойная нейронная сеть |
Однослойный персептрон |
|||
n(h1) |
n(h2) |
n(hn) |
Число связей в многослойном персептроне |
|
|
|
|
||
|
|
|
N Nin N1 ... Ni Ni 1 Nn 1Nout |
|
|
|
|
Число связей в полно-связной нейронной |
|
|
|
|
сети для обработки вектора данных из 512 |
|
|
|
|
точек |
|
f(h1) |
f(h2) |
f(hn) |
N 3 512 512 786432 |
|
Сеть Хопфилда |
||||
|
||||
Методы обучения нейронной сети
E 1 |
M |
N |
( yi (W ) dl,i )2 min |
||
2 l 1 |
i 1 |
|
Метод обратного Распространения ошибки
w (t 1) w (t) h |
E |
|
||||||||
|
|
|||||||||
ij |
|
|
|
ij |
|
|
wij |
|||
|
|
|
|
|
|
|
||||
|
|
|
(n) |
|
|
|
|
|
|
|
j(n) |
y j |
j(n 1) w(jkn 1) |
||||||||
(n) |
||||||||||
|
|
|
S j |
k |
|
|
|
|
|
|
(n) |
( y(n) |
d |
) |
y(jn) |
|
|||||
S (jn) |
||||||||||
j |
|
|
i |
i |
|
|||||
w |
|
h (n) xn |
|
|
|
|
||||
ij |
|
|
j |
i |
|
|
|
|
||
wij (t 1) wij (t) h wij
Стратегии улучшения работы алгоритма обучения
Устранение возможной блокировки сети
wij (t) h (j n) xin wij (t 1)
Устранение переобучения, путем кросс-проверки точности сети на другой выборке
Обхождение локальных минимумов с помощью увеличения нейронов скрытого слоя. Случайное изменения весовых коэффициентов
Метод регрессии
Y F K W K F K 1 F 2 W 2 F1 W 1 X
Однослойный персептрон 
Многослойный персептрон
W F 1 (Y ) X T (X X T ) 1
Преимущества метода
Высокая скорость обучения
Определение глобального минимума
WK (F K ) 1 (Y ) FI K 1
WK 1 (F K 1 ) 1 (WI K (F K ) 1 (Y )) FI K 2
W1 (F1 )1 (WI 2 (F 2 ) 1 (...WI K (F K ) 1 (Y))) X T (X X T ) 1
FI K FFT ,K (FF K FFT ,K ) 1
WI K ((W K )T W K ) 1 (W K )T
Сеть с комбинированным обучением
ń(h1) |
|
f(h1) |
|
ń(h3) |
|
n(h1) |
|
|
PI |
||
|
|
f(h3) |
|
|
n(h1) |
|
n(h2) |
|
|
|
|
|
|
PI |
|
ń(hn) |
n(h2) |
|
|
f(h1) |
|
n(hn) |
|
|
|
||
|
|
|
|
f(h3) |
|
PI |
|
|
n(hn) |
|
|
|
|
|
f(hn)
f(hn)
•Управляют беспилотником
•В 1996 году фирмой Accurate Automation Corp(http:// www.accurate-automation.com), Chattanooga, TN по заказу NASA и Air Force был разработан экспериментальный автопилотируемый гиперзвуковой самолет-разведчик LoFLYTE (Low-Observable Flight Test Experiment — рис. 4). Самолет имел длину всего 2,5 м и вес 32 кг и был предназначен для исследования новых принципов пилотирования. LoFLYTE использовал нейронные сети, позволяющие автопилоту обучаться, копируя приемы пилотирования летчика. Поскольку самолет был предназначен для полетов со скоростью 4-5 махов, то быстрота реакции пилота-человека могла быть недостаточной для адекватного отклика на изменение режима полета. В этом случае на помощь приходили нейронные сети, которые перенимали опыт управления у летчика и за счет высокой скорости обработки информации позволяли быстро находить выход в аварийных и экстремальных ситуациях
Нейронные сети рисуют картины
Предсказание, прогнозирование
Оптимизация с использованием генетического алгоритма
Генерация нескольких популяций
|
|
1 |
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
N |
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
выбор двух особей из |
|
|
|
|
|
|
|
|
|
выбор двух особей из |
|||||||||||||||||||||||||
|
одной популяции с большой |
|
|
|
|
|
разных популяций с малой |
|||||||||||||||||||||||||||||
|
вероятностью |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
вероятностью |
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
кроссинговер x x1 x3 x2 sign( fit(x3) fit(x2)) 0.001
xv xv a 2 xi xi a
мутация |
добавление особи |
|
в родительскую популяцию |
||
|
отбор слабых особей в соответствии оптимизируемой функцией
