Вопрос 25:аглоритм обратного распространения ошибки

Ответ: Основная идея этого метода состоит в распространении сигналов ошибки от выходов сети к её входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Барцев и Охонин предложили сразу общий метод («принцип двойственности»), приложимый к более широкому классу систем, включая системы с запаздыванием, распределённые системы, и т.п.

Для возможности применения метода обратного распространения ошибки передаточная функция нейронов должна быть дифференцируема. Недостатки алгоритма

Несмотря на многочисленные успешные применения обратного распространения, оно не является панацеей. Больше всего неприятностей приносит неопределённо долгий процесс обучения. В сложных задачах для обучения сети могут потребоваться дни или даже недели, она может и вообще не обучиться. Причиной может быть одна из:1Паралич сети 2Локальные минимумы 3Размер шага

34 Радиальные сети

Ответ:

Радиальные сети строятся с использованием радиальных нейронов, функция активации которых имеет ненулевые значения только в окрестностях своего центра . Поэтому аппроксимация с помощью таких сетей называется локальной аппроксимацией.

Радиальная сеть имеет двухслойную структуру, первый слой составляют радиальные нейроны, выходной - один или несколько линейных. На рисунке представлена структурная схема радиальной сети с одним выходным нейроном.

35:Обучение радиальной сети

Ответ:Процесс обучения радиальной сети распадается на два этапа:

1подбор параметров радиальной функции fi для каждого радиального нейрона (в случае функции Гаусса это центр Ci и параметр ширины si); 2подбор весов выходного слоя нейронов.

При этом второй этап значительно проще первого, поскольку сводится к вычислению выражения W=G+*D, где основные вычислительные затраты - расчет псевдоинверсии матрицы Грина G.

Задача отыскания параметров радиальных функций Гаусса для всех нейронов первого слоя в свою очередь распадается на две подзадачи: 1определение центров Ci; 2расчет параметров ширины si.

Понятно, что основными требованиями к расположению центров Ci в области определения входных данных X являются: 1полнота покрытия области определения; 2равномерность распределения.

Именно этим требованиям отвечает решение по кластеризации данных, даваемое ИНС с самоорганизацией на основе конкуренции. Следовательно, алгоритмы обучения, используемые в этих сетях для отыскания усредненных векторов в кластерах данных, непосредственно применимы и в радиальных сетях для отыскания центров радиальных функций.

После определения местоположения всех центров радиальных функций Ci производится подбор параметров si, определяющих величину области охвата, в которой значение радиальной функции превышает пороговое значение e. Такой подбор должен обеспечить, с одной стороны, покрытие всего пространства входных данных и, с другой стороны, незначительность перекрытия соседних зон.

Проще всего в качестве значения si принять эвклидово расстояние от центра Ci до ближайшего соседа. Можно учитывать более широкое соседство, используя формулу

si=sqrt((1/L)*sum[j=1:L](|Cj-Ci|22)), где L - количество ближайших соседей центра Ci (обычно L=3...5).