- •В. Г. Потемкин
- •Предисловие
- •Введение
- •Используемые обозначения
- •Часть 1. Ппп Neural Network Toolbox
- •1. Система matlab 6
- •1.1. Операционная среда matlab 6
- •Окно запуска
- •Окно текущего каталога
- •Командное окно
- •Окно предыстории
- •Окно рабочей области
- •Справочная подсистема
- •1.3. Демонстрационные примеры ппп nnt
- •2. Модель нейрона и архитектура сети
- •2.1. Модель нейрона
- •2.1.1. Простой нейрон
- •2.1.2. Функция активации
- •2.1.3. Нейрон с векторным входом
- •2.2. Архитектура нейронных сетей
- •2.2.1. Однослойные сети
- •2.2.2. Многослойные сети
- •2.2.3. Сети с прямой передачей сигнала
- •2.3. Создание, инициализация и моделирование сети Формирование архитектуры сети
- •Инициализация сети
- •Моделирование сети
- •3. Обучение нейронных сетей
- •3.1. Процедуры адаптации и обучения
- •Явление переобучения
- •Свойство обобщения
- •3.1.1. Способы адаптации и обучения
- •Адаптация нейронных сетей
- •Xlabel(''), ylabel('Выходы a(I)'),grid
- •Xlabel(''), ylabel('Веса входов w(I)'),grid
- •Xlabel(' Циклы'), ylabel('Ошибка'),grid
- •Xlabel(''), ylabel('Выходы a(I)'),grid
- •Xlabel(''), ylabel('Веса входов w(I)'),grid
- •Xlabel('Циклы'), ylabel('Ошибка'),grid
- •Xlabel(''), ylabel('Выходы a(I)'),grid
- •Xlabel(''), ylabel('Веса входов w(I)'),grid
- •Xlabel('Циклы'), ylabel('Ошибка'),grid
- •Обучение нейронных сетей
- •3.2. Методы обучения
- •3.2.1. Обучение однослойной сети
- •3.2.2. Обучение многослойной сети
- •Метод обратного распространения ошибки
- •Характеристика методов обучения
- •3.3. Алгоритмы обучения
- •3.3.1. Градиентные алгоритмы обучения Алгоритм gd
- •Алгоритм gdm
- •Алгоритм gda
- •Алгоритм Rprop
- •3.3.2. Алгоритмы метода сопряженных градиентов
- •Алгоритм cgf
- •Алгоритм cgp
- •Алгоритм cgb
- •Алгоритм scg
- •3.3.3. Квазиньютоновы алгоритмы Алгоритм bfgs
- •Алгоритм oss
- •Алгоритм lm
- •3.3.4. Алгоритмы одномерного поиска
- •Алгоритм gol
- •Алгоритм bre
- •Алгоритм hyb
- •Алгоритм cha
- •Алгоритм bac
- •3.3.5. Расширение возможностей процедур обучения
- •Переобучение
- •Метод регуляризации
- •Формирование представительной выборки
- •Предварительная обработка и восстановление данных
- •Пример процедуры обучения
- •4. Персептроны
- •4.1. Архитектура персептрона
- •4.2. Модель персептрона
- •Моделирование персептрона
- •Инициализация параметров
- •4.3. Процедуры настройки параметров
- •Правила настройки
- •Процедура адаптации
- •5. Линейные сети
- •5.1. Архитектура линейной сети
- •5.2. Создание модели линейной сети
- •5.3. Обучение линейной сети
- •Процедура настройки
- •Процедура обучения
- •5.4. Применение линейных сетей Задача классификации векторов
- •Фильтрация сигнала
- •Предсказание сигнала
- •Подавление шумов
- •Многомерные цифровые фильтры
- •6. Радиальные базисные сети
- •Модель нейрона и архитектура сети
- •Создание сети
- •Радиальная базисная сеть с нулевой ошибкой
- •Итерационная процедура формирования сети
- •Примеры радиальных базисных сетей
- •Синтез сети
- •6.1. Сети grnn
- •Архитектура сети
- •6.2. Сети pnn
- •Архитектура сети
- •Синтез сети
- •7. Сети кластеризации и классификации данных
- •7.1. Самоорганизующиеся нейронные сети
- •7.1.1. Слой Кохонена
- •Архитектура сети
- •Создание сети
- •Правило обучения слоя Кохонена
- •Правило настройки смещений
- •Обучение сети
- •7.1.2. Карта Кохонена
- •Топология карты
- •Функции для расчета расстояний
- •Архитектура сети
- •Создание сети
- •Обучение сети
- •Одномерная карта Кохонена
- •Двумерная карта Кохонена
- •Архитектура сети
- •Создание сети
- •Обучение сети Правила настройки параметров
- •Процедура обучения
- •8. Рекуррентные сети
- •8.1. Сети Элмана
- •Архитектура
- •Создание сети
- •Обучение сети
- •Проверка сети
- •8.2. Сети Хопфилда
- •Архитектура сети
- •Синтез сети
- •Синтез сети
- •Проверка сети
- •9.1.2. Слежение за нестационарным сигналом
- •Инициализация сети
- •Проверка сети
- •9.1.3. Моделирование стационарного фильтра
- •Постановка задачи
- •Синтез сети
- •Проверка сети
- •9.1.4. Моделирование нестационарного фильтра
- •Постановка задачи
- •Инициализация сети
- •Проверка сети
- •9.2. Распознавание образов
- •Постановка задачи
- •Нейронная сеть
- •Архитектура сети
- •Инициализация сети
- •Обучение
- •Обучение в отсутствие шума
- •Обучение в присутствии шума
- •Повторное обучение в отсутствие шума
- •Эффективность функционирования системы
- •9.3. Нейронные сети и системы управления
- •9.3.1. Регулятор с предсказанием
- •9.3.2. Регулятор narma-l2
- •9.3.3. Регулятор на основе эталонной модели
- •Функции инициализации, адаптации и обучения
- •10.2. Описание элементов сети
- •Описание входов
- •Описание слоев
- •Описание выходов
- •Описание целей
- •Описание смещений
- •Описание весов входа
- •Описание весов слоя
- •Матрицы весов и векторы смещений
- •Информационные поля
- •11. Формирование моделей нейронных сетей
- •11.1. Модели сетей
- •11.1.1. Однослойные сети Персептрон
- •Линейные сети
- •11.1.2. Многослойные сети
- •Радиальные базисные сети
- •Самоорганизующиеся сети
- •Сети – классификаторы входных векторов
- •Рекуррентные сети
- •11.2. Функции активации
- •Персептрон
- •Линейные сети
- •Радиальные базисные сети
- •Самоорганизующиеся сети
- •Рекуррентные сети
- •11.3. Синаптические функции
- •Функции взвешивания и расстояний
- •Функции накопления
- •11.4. Функции инициализации
- •11.5. Функции адаптации и обучения Функции адаптации
- •Функции обучения
- •Градиентные алгоритмы обучения
- •Алгоритмы метода сопряженных градиентов
- •Квазиньютоновы алгоритмы обучения
- •11.5.1. Функции оценки качества обучения
- •11.6. Функции настройки параметров
- •11.6.1. Функции одномерного поиска
- •11.7. Масштабирование и восстановление данных
- •11.8. Вспомогательные функции
- •Утилиты вычислений
- •Операции с массивами данных
- •Графические утилиты
- •Информация о сети и ее топологии
- •11.9. Моделирование нейронных сетей и система Simulink Функции моделирования сети
- •11.9.1. Применение системы Simulink
- •Библиотеки блоков для моделирования нейронных сетей
- •Построение моделей нейронных сетей
- •Индексный указатель Команды, функции и операторы ппп Neural Network Toolbox
- •Предметный указатель
- •Литература Книги на английском языке:
- •Книги на русском языке:
- •Оглавление
- •Часть 1. Ппп Neural Network Toolbox 9
- •1. Система matlab 6 9
- •2. Модель нейрона и архитектура сети 33
- •3. Обучение нейронных сетей 47
- •Часть 2. Операторы, функции и команды 204
- •10. Вычислительная модель нейронной сети 204
- •11. Формирование моделей нейронных сетей 204
Предметный указатель
A
ADAPT · 320, 475
ADAPTWB · 322, 475
B
BOXDIST · 305, 474
C
CALCA · 420, 478
CALCA1 · 422, 478
CALCE · 424, 478
CALCE1 · 425, 478
CALCGX · 430, 478
CALCJEJJ · 433, 478
CALCJX · 432, 478
CALCPD · 423, 478
CALCPERF · 429, 478
CELL2MAT · 436, 478
COMBVEC · 437, 478
COMPET · 292, 474
CON2SEQ · 438, 478
CONCUR · 439, 478
D
DDOTPROD · 298, 474
DHARDLIM · 282, 474
DHARDLMS · 283, 474
DISP · 454, 479
DISPLAY · 454, 479
DIST · 300, 474
DLOGSIG · 294, 474
DMAE · 381, 476
DMSE · 378, 476
DMSEREG · 379, 476
DNETPROD · 309, 475
DNETSUM · 307, 475
DOTPROD · 298, 474
DPOSLIN · 285, 474
DPURELIN · 284, 474
DRADBAS · 289, 474
DSATLIN · 286, 474
DSATLINS · 288, 474
DSSE · 377, 476
DTANSIG · 296, 474
DTRIBAS · 290, 474
E
ERRSURF · 451, 479
F
FORMX · 426, 478
G
GENSIM · 465, 479
GENSIMM · 470, 479
GETX · 428, 478
GRIDTOP · 457, 479
H
hardlim · 282, 474
hardlimS · 283, 474
HEXTOP · 457, 479
HINTONW · 448, 479
HINTONWB · 449, 479
I
IND2VEC · 440, 478
inIT · 310, 475
inITCON · 318, 475
inITLAY · 312, 475
inITNW · 313, 475
inITWB · 313, 475
inITZERO · 314, 475
L
LEARNCON · 394, 476
LEARNGD · 387, 476
LEARNGDM · 388, 476
LEARNH · 476
LEARNHD · 477
LEARNIS · 395, 477
LEARNK · 392, 477
LEARNLV1 · 389, 477
LEARNLV2 · 391, 477
LEARNOS · 396, 477
LEARNP · 383, 477
LEARNPN · 384, 477
LEARNSOM · 397, 477
LEARNWH · 385, 477
LEARNН · 399
LEARNНD · 401
linkdist · 306, 474
logsig · 294, 474
M
mae · 381, 476
mandist · 303, 475
MAT2CELL · 441, 478
MAXLINLR · 400, 477
midpoint · 315, 475
MINMAX · 441, 478
mSe · 378, 476
mSeREG · 379, 476
N
negdist · 302, 475
netprod · 309, 475
netSUM · 307, 475
netWC · 271, 473
netWORK · 245, 473
neWCF · 260, 473
neWELM · 277, 473
neWFF · 255, 473
neWFFTD · 258, 473
neWGRNN · 267, 473
neWHOP · 280, 473
neWLIN · 250, 473
neWLIND · 253, 473
neWLVQ · 276, 473
NEWP · 248, 473
neWPNN · 269, 473
neWRB · 263, 473
neWRBE · 265, 473
neWSOM · 273, 473
NNTOOL · 459, 479
NORMC · 442, 478
nORMPRod · 299, 475
NORMR · 442, 478
P
PLOTEP · 452, 479
PLOTES · 451, 479
PLOTPC · 446, 479
PLOTPERF · 450, 479
PLOTPV · 445, 479
PLOTSOM · 455, 479
PLOTV · 443, 479
PLOTVEC · 444, 479
PNORMC · 442, 478
POSLIN · 285, 474
POSTMNMX · 413, 477
POSTREG · 415, 477
POSTSTD · 414, 477
PREMNMX · 410, 477
PREPCA · 477
PRESTD · 411, 477
PREРСА · 412
purelin · 284, 474
Q
QUANT · 443, 478
R
RADBAS · 289, 474
RANDN · 475
randnc · 317
randnR · 318, 475
randS · 316, 475
RANDTOP · 458, 479
REVERT · 319, 475
S
satlin · 286, 474
satlinS · 288, 474
SEQ2CON · 438, 479
SETX · 428, 478
SIM · 459, 479
softmax · 293, 474
SRCHBAC · 409, 477
SRCHBRE · 405, 477
SRCHCHA · 408, 477
SRCHGOL · 404, 477
SRCHHYB · 406, 477
sSE · 377, 476
SUMSQR · 443, 479
T
TANSIG · 296, 474
train · 328, 475
trainb · 331, 475
trainbfg · 365, 475
trainbr · 373, 475
trainc · 334, 476
traincgb · 361, 475
traincgf · 356, 476
traincgp · 358, 476
traingd · 344, 476
traingda · 346, 476
TRAINGDM · 348, 476
traingdx · 351, 476
TRAINGSCG · 476
trainlm · 370, 476
trainoss · 368, 476
trainr · 337, 476
trainrp · 353, 476
trains · 325, 476
trainscg · 363
TRAMNMX · 417, 477
TRAPCA · 418, 477
TRASTD · 417, 477
tribas · 290, 474
V
VEC2IND · 440, 479
