Лекция №12 16.04.2012г
Сравнение RBF-сетей и многослойных персептронов.
RBF-сети и многослойные персептроны это не линейные сети прямого распространения. Оба типа сетей обучаются с учителем и являются универсальными апроксиматорами.
1. RBF-сети в свой базовой форме имеют один скрытый слой, а много слойный персеиптрон может иметь большее количество скрытых слоев. Поскольку RBF-сети моделируют произвольную не линейную функцию с помощью одного промежуточного слоя, они избавляют от необходимости решать вопрос о числе слоев НС.
2. В многослойном персептроне для скрытых слоев и выходного слоя используется одна и та же модель нейрона, в RBF-сети скрытого (шаблонного) слоя могут в корне отличатся от нейронов выходного слоя, и служить разным целям.
3. Скрытый слой с RBF-сети является не линейным, а выходной линейным. В многослойном персептроне который используется в качестве классификатора, скрытые и выходной слой являются не линейными. При использовании многослойного персептрона для решения задач регрессии в качестве выходных нейронов обычно выбираются линейные нейроны. Параметры линейной комбинации в выходном слое RBF-сети можно оптимизировать с применением известных методов линейной оптимизации, эти методы не испытывают трудности с локальными минимумами. Которые мешают при обучении многослойных персептронах с применением алгоритма обратного распространения ошибки. По этому RBF-сеть обучается на порядок быстрее чем с использованием алгоритма обратного распространения ошибки.
4. Аргумент каждого скрытого нейрона RBF-сети представляет собой евклидову норму (расстояние между входным вектором и центром радиальной функции) Аргумент функции активации каждого скрытого нейрона многослойного персептрона – это скалярное произведение входного вектора и вектора синоптических весов данного нейрона.
5. Многослойный персептрон в котором не нулевое значения сигмоидальной функции распространяется от некоторой точки в пространстве до бесконечности обеспечивает глобальную апросимакцию нелинейного отображения. RBF-сеть с помощью экспонициально уменьшающихся функции гаусса создает локальную апросимакцию не линейного отображения. Это означает что при одинаковой точности вычислений для апросимакции с помощью многослойного персептрона может потребоваться меньше число параметров чем для RBF-сети.
6. При наличии в RBF-сетях только одного скрытого слоя а так же тесной связи активности нейрона соответвуещей области пространства обучающих данных точка начала обучения оказывается ближе к оптимальному решению чем это имеет место при обучении многослойных персептронах.
7. RBF-сети по сравнению с многослойными персептронами получаются очень громоздкими при большой размерности входного вектра.
Самоорганизующиеся нс
Рассмотрим особый класс НС котрой называется картами самоорганизации. Эти сети основаны на конкуретном обучении.
Определение
Самоорганизация – это активное изменение структуры НС или соответствующих ей синоптических весов в результате отклика на обучающие символы. Основой самоорганизации является закономерность которая сотоит в том что глобалтное кпорядочиние глобальной сети возмодно в результате саморгранизующих самооперации которые не зависимо друг от друга проводтится в различных локальных сегментах сети. В соответствии с поданными выходными сигналами происходит активация нейронов. В следствии изменения синоптических весов нейроны адаптируются к поступающим обучающим выборкам. В процессе обучения наблюдается тендеция к росту синоптических весов что приводит к созданию положительной обратной связи: Более мощные возбуждающие стимулы, более высокие значения синоптических весов – большая активность нейронов. В этом случаи происходит естественное расслоение нейронов на различные группы, отдельные нейроны либо их группы сотрудничают между собой, они активируются , в ответ на возбуждение которые создается конкретными обучающими выборками подавляя своей активностью другие нейроны. При этом может быть сотруднечество между нейронами внутри группы так и конкуренция между ними, а так же между различными группами, существует 4 принципа самоорганизации:
1. Изменения синоптических весов ведет к само-усилению НС.
2. Ограниченность ресурсов ведет к конкуренции между синапсами и к успеху более развивающих синапсов за счет других, т.е. наиболее подходящих.
3. Модификация синоптических весов ведет к кооперации. Присутвие сильноко синапса может усилить и другие синапсы при общей конкуренции в сети.
4. Порядок и структура образов активации содержит избыточную информацию которая накапливается сетью в форме знаний являющихся не обходим условием самоорганизующиеся обучения.
Данные принципы СО образуют нейробиологический базис для самоорганизующиеся карт кохонина. В картах самоорганизации нейроны помешаются в одно или двухмерной, карты более высокой размерности используются редко. Однако процесс сигментации т.е. сжатие данных большой размерности некоторого набора кластера позволяет визуализировать данные, которые иным способом понять не возможно.