2.4.2. Варианты алгоритмов функционирования и обучения

Алгоритм функционирования однослойной искусственной нейросети (рис. 2.1.б) обычно имеет вид [55]

(2.32)

Пороги могут вводиться неодинаковыми β=β_i при выборе функций f_i(w)=f(w+β_i).

В случае трехслойного персептрона (рис. 2.1,а) часть введенных значений a_ik обращается в нуль. Отсчеты z_i, а именно, входные, выходные и "скры­тые", принимают вид

(2.33)

(2.34)

(2.35)

Алгоритмы обучения (адаптации). Вводятся обычно из условия минимизации суммы квадратов невязок выходных отсчетов z_l с отсчетами z_pl, заранее заданными в процессе предъяв­ления обучающих входных многомерных реализации y_i=y_pi . Задав минимизируемую функцию стоимости потерь аддитивной и квадратичной, можно представить ее в виде

. (2.36)

Аргументом функций является вектор весовых коэф­фициентов а_lj, a_ji . Переменная суммирования l заменена в (2.36) на λ.

Для минимизации можно использовать численные методы поиска безуслов­ных экстремумов: метод Ньютона, градиентный метод.

При градиентном поиске начальное значение вектора получает по­следовательные приращения

(k=0,1,2,….) (2.37)

где - градиент функции , а γ - постоянный коэффициент.

Процесс градиентного поиска может осуществляться в ходе последователь­ного предъявления обучающих реализаций. Предыдущее равенство переходит тогда в

(p=0,1,2,…) (2 .38)

Для составляющих a_s вектора отсюда следует

(2.39)

Если составляющая a_s относится к выходному слою трехслойного персеп­трона a_s=a_ij то ненулевую производную по а_lj имеет только слагаемое λ=l выражения (2.36). Тогда [56]

(2.40)

- производная функции f_l(w) по ее аргументу.

Если составляющая a_s относится к "скрытому" слою a_s=a_lv , то в образовании производной по а_jv участвуют все слагаемые выражения (2.36) , но лишь одно слагаемое i = v весовой суммы (2.35), причем - только одной j-й суммы . Тогда

(2 .41)

Значения δ_pl вычисляются согласно (2.40).

Для часто используемых функций значения

. (2 . 42)

Градиентная процедура настройки неодинаковых порогов β, в выходном и "скрытом" слоях соответственно, определяется выражениями

(2.43)

2.4.3. Нейробайесовские алгоритмы

Представляют собой комбинацию байесовских и нейрокомпьютерных алгоритмов. Возможны различные варианты их построения. Например, предварительно, с использованием части элементов "скрытого" слоя (рис. 2.1,а) строится жесткий байесовский алгоритм распознавания; например, корреляционный на основе (2.19). Остальные элементы "скрытого" слоя используются для его корректировки в процессе обучения с учетом флюктуаций формы портретов (в классах или подклассах) для каждого сектора ракурсов.