12.4 Блок «Оценка»

Обучение НС на некотором задачнике означает мин-ю функционала невязки м/у вых-ми сигналами сети и сигналами, кот-е треб-ся получить. Для этого и служит блок оценки. При мин-и функционала оценки производ-ся подстройка обучаемых параметров (семантич-их коэф-в), чтобы функционал оценк достиг мин-ма. Н=|Yi – Yi0| -> min. Для минимизации функц-ла исп-ся градиентные методы нелин-го прогр-я (метод наискорейшего спуска, модифицированный Parton и т.д.) При обучении нейросети все эти методы объединены в группу методов обратного распр-я ошибки. При составлении прогр-мы обучения сети градиентными методами в кач-ве станд. оценки работы НС (функцииошибки) выступает оценка по методу наим. квадратов.

Н=1/S*s[p(Fsp(a,xs) - ysp)], где

Н – оценка работы нейросети,

Fsp(a,xs) – значение р-й компоненты вектора выходн сигнала НС,

a,xs - векторы,

ysp – исходное значение,

s – число примеров,

p – размерность вых-го сигнала.

Кроме этого метода исп-ся спец. методы оценки. Например, оценка расстояния до множества правильных ответов.

12.5 Блок «Сеть» нейроимитатора

Привести общую стр-ру. РИС

Р ис –структура нейросетевого блока

Сеть- связанные м-у собой нейроны. Искусственная нейронная сеть – некот-е выч-е электр-е устр-ва обработки информации, состоящие из большого числа параллельно работиющих простых процессорных элементов – нейронов, связанных м/у собой линиями передачи информации – связями или синапсами. Бывают двух видов: слоистые и полносвязные. см. вопрос №24.

12.6 Блок «Конструктор»

Консутруктор НС – формирует ее структуру, начиная с минимальной до достаточной сложности, обеспечивающей требуемые параметры обучения, т.е наилучшую оценку.

При проектировании интелл. компонентов важным этапом является настройка структуры НС на ПО и на параметры обучающей выборки. Под выбором стр-ры в случае многослойной сети прямого распр-я понимается определение числа слоев k и числа нейронов mk в каждом слое. Слои нумеруются от слоя, принимающего вход. сигналы к слою, формирующему вых. сигналы.

Конструирование сети- процесс последоват. формирования стр-ры, начиная с 1 слоя, 1 нейрона до слоя k и нейрона mk. При этом должна быть достигнута заданная точность решени задачи.

(Берется один нейрон, нач-ся обуч-е, добавл-ся нейрон, еще обуч-тся. Нейроны добавляются пока не достигнута заданная ошибка).

4.3.8. Конструктор нейронной сети

При проектировании интеллектуальных компонентов важным этапом является настройка структуры нейронной сети на предметную область, структуру и параметры обучающих данных. Под выбором структуры в случае многослойной сети прямого распространения (4.2) понимается определение числа слоев k нейронной сети и числа нейронов m_k на каждом слое. Слои нумеруются от слоя, принимающего входные сигналы (1-й слой) к слою, посылающему сигналы выходному слою (k-й слой). Выходной (k+1-й) слой обычно формируется автома­тически в соответствии с поставленной задачей. Выбор структуры нейросетевой модели для решения конкретной задачи обычно возложен на пользователя в связи с тем, что в настоящее время отсутствуют уни­версальные методы определения оптимальной структуры нейросети. В литературе приводится несколько практических замечаний по поводу определения структуры сети в зависимости от задачи. В [41], напри­мер, предлагается сравнить оценку константы Липшица для выборки (4.5) и для нейросетевой функции. Для нейронной сети вида (4.2) кон­станта Липшица определяется по формуле

(4.27)

где с - характеристика крутизны функции (4.3); mi — число нейронов на i-м слое;

m0 - число входных параметров;

k - число слоев в сети.

Тогда нейросеть может аппроксимировать выборку только в слу­чае, если L_S<L_NN. Другим принципом построения структуры сети мо­ет быть условие, по которому нейронная сеть должна иметь меньшее число настраиваемых параметров, чем число примеров в обучающей выборке.

Как отмечалось ранее, методы автоматизированного формирования структуры нейросети делятся на методы наращивания и методы прореживания. В [40,41] отмечается преимущество методов наращива­ния. В соответствии с принципом автоматизации построения решателя предлагается эвристический метод автоматизированного наращивания структуры нейросети, основанный на методе динамического создания узлов (Dynamic Node Creation) [261] (рисунок 4.19):

1. Пользователем задается число слоев k и строится начальная структура сети, содержащая минимальное число нейронов на каж­дом слое. Определяется максимальное число нейронов на каждом слое

2. Инициализация сети случайными параметрами, t =1, to =1.

3. Такт обучения всех нейронов с незафиксированными параметрами, t = t+1;

4. Проверка условий:

H(t)<H_min;

(4-28)

где t - номер текущего такта обучения;

H(ti) - оценка обучения сети на t такте;

δ - константа, 0< δ < 1 ;

δ и q задаются пользователем.

5. Если условия (4.28) не выполняются, то перейти к п.З, иначе перейти к следующему пункту.

6. Если H(t) < H_min , то КОНЕЦ ОБУЧЕНИЯ, иначе перейти к следующему пункту.

7. Проверка условия

(4.29)

где t0- момент добавления первого нейрона из тех, параметру которых не зафиксированы;

t_l - момент добавления текущего нейрона;

σ - константа, 0<σ < 1 .

Такт t0.

Инициализация сети начальной структуры.

Обучение до выполнения условия останова.

Такт ti.

ecjiи

│H(t0)-H(ti)│/H(t0)>σ, 0 <σ<1

то параметры n1 и n2 фиксируются,

t0+ti;

иначе n1 и n2 инициализируются и

обучаются. Инициализация и добавление нового

нейрона.

Обучение до выполнения условия останова.

Такт ti.

Еcл и

│H(t0)-H(tj)│/H(t0)>σ, 0 <σ<1

то параметры n3 фиксируются,

t0=tj;

иначе n3 инициализируется и

обучается.

Инициализация и добавление нового нейрона.

Фиксированные параметры

Обучаемые параметры

Рисунок 4.19 - Алгоритм автоматизированного формирования структуры многослойной нейронной сети

8. ЕСЛИ условие (4.29) не выполняется, ТО параметры ней­ронов, добавленные после момента t0 , фиксируются и в дальнейшем обучении не участвуют, ИНАЧЕ нейроны, добавленные после момента t0, не внесли существенного улучшения в качество обучения сети, и они маркируются для инициализации.

9. Инициализация нового нейрона и всех маркированных нейронов.

10. Добавление нового нейрона в слой с наименьшим номером k, для которого m_k < m_k^max.

11. Переход к п.3

Надо заметить, что параметры нейронов выходного слоя не фиксируются и всегда участвуют в обучении.

В [239] отмечается, что для ряда задач применение метода динамического создания узлов может приводить к значительному увеличе­нию времени построения нейросети, т.к. вся сеть переобучается после добавления каждого нейрона. Предлагаемый алгоритм отличается от метода динамического создания узлов тем, что часть параметров сети фиксируется и не участвует в обучении. Это достигается введением условия в п.5 и константы, регулирующей количество обучаемых ней­ронов. При задании значения о, близкого к 1, вся сеть будет инициали­зироваться случайными параметрами после добавления каждого ново­го узла, что соответствует созданию новой сети. При задании значения а, близкого к 0, обучаться будет только добавленный нейрон. Фикса­ция части параметров сети может значительно ускорить процесс обу­чения [239].