Нс прямого распространения сигмоидального типа.
Здесь речь пойдет об персепейтронах, понятие вот этого как первой модели возможности обучения вел в 1958 году Френк Розенблат.
Персептрон это однонаправленная Нс или сеть MLP. Состоит их нейроном сигмоидально типа, передача сигналов от исходного типа происходит от входа к выходу. Простейшей формой Нс которая предназначена для класиффикации линейно разделах сигналов когда образы разделяются некоторой гиперплоскостью является персептрон роземн-блата. Персепторон состоит из одного нейрона с синаптическими весами и порога.
При этом он формирует поверхность решений по форме гипер плоскости разделяющий эти два класса . Персейптрон построенный на одном нейроне(рис 2) выпоняет задачу разделения только двух классов, каждый логичкий уровень 1 или 0 будет обозначать отдельный класс. При увеличении размерности выходного размера персептрона включившего в него нескольго нейронов можно решать задачи классификации на большее число классов. На двух выходах можно закодировать четыре класса. Примером нелинейрной проблемы является проблема моделирования отношения хор(исключаешее или) логическая функция хор при выводе дает 1 только тогда когда одно из выводимых значений дано 1 иначе 0. Покажем ограниченный возможности однослойных сетей на примере реализации двух-входовой. Не возмодно провести единственную линию разделяюшую пространство данных на два класса.
Лекция №11 12.04.12
Задача создания библиотечной картотеки
Сведенья о книге: Фамилия автора, Место издания, Издательство, год издания, кол-во страниц. Нужно внести книгу в картотеку, потов вывести номера. Данные о книгах могут быть внесены в начало, середину, или конец списка книг. Подбельский Язык с++.
В нейронах сетях с радиальными базисами функции, РБЕ в сетях. Нейроны реализуют функции которые радиально изменяются вокруг С и принимают не нулевые значения только в окрестности С. Скрытый нейрон отображает радиальные пространства, вокруг одиночной заданной точки, либо группы образующих кластер. Супер позицию сигналов поступающих от всех скрытых нейронов выполняет выходной нейрон. Тем самым получается отображения всего многомерного пространства. RBF сети, это сети без образных связей. Базовая архитектура предпологает наличие трех слоев, нейроны которых выполняют различные действия. Входной слой содержит сенсорные элементы которые связывают НС с внешней средой. Второй слой это единственный скрытый слой сети. Который называется шаблонным слоем и содержит нейроны радиального типа. Он выполняет нелинейное преобразование входного пространства в скрытое пространство. Выходной слой слой как правило состоит из одно или нескольких нейронов. Отображение скрытого слоя в выходной является линейным.
RBF – сети.
Это связанной с тем, что если не линейную проблему разместить в пространстве высокой размерности некоторым нелинейном образом. То вероятность того что она будет линейно отделимой должна быть выше.
Радиально симметричный шаблонный слой.
НС с радиальными баисными функциями содержат скрытой слой радиально симметричных скрытых нейронов – шаблонный слой. Для того что бы шаблонный слой был радиально симметричным нужно выполнить:
1. Наличие центра который представляется в виде вектора во сходном пространстве. Этот вектор обычно сохраняется в пространстве весов от входного слоя к слою шаблона.
2. Наличие способа измерения расстояния между входным вектором и центром. В качестве этого расстояния обычно принимает стандартное евклидово расстояние.
3. Наличие специальной функции прохождения от одного аргумента который определяет выходной сигнал нейрона путем отображения функции расстояния. Обычно это функция гаусса.
= exp(-s2)
С каждым шаблонным
нейроном связывается некоторая функция
Каждая из этих функции берет комбинированный вход, и порождает значения активности подаваемые на выход. Связи шаблонного нейрона определяют центр радиальной функции для данного скрытого нейрона выходной сигнал шаблонного нейрона, это функция только от расстояния между входным вектором x и сохраненным центром сj .
Гиперплоскость разделяет это пространство на два класса в которых выполняет одно из условий
В отличие от сигмо-идального нейрона радиальный нерон представляет собой гипер сферу. Это гиперсфера производит шаровое разделение пространства вокруг центарльной точки.
Радиальный нейрон можно считать естественным дополнением сигмоидального нейрона поскольку в случаи круговой симметрии данных уменьшается количество нейронов которые необходимы для разделения различных классов.
Математические основы RBF – сети.
Для решения сложных задач классификации образов основная идея заключается в нелинейном преобразовании входных данных в пространстве более высокой размерности. Математическую основу составляет теорема Ковера.
Нелинейное преобразование сложной задачи классификации образов в пространство более высокой размерности повышает линейной разделимости образа. Она базируется на двух основных положениях:
1. Определение нелинейной скрытой функции i X (фор 3)
2. Высокая размерность скрытого пространства по сравнении с размерностью скрытого пространства. Определяется числом скрытых нейронов L.
Этапы обучения НС.
Процесс создания RBF – сети можно расматриматть как задачу аппроксимации кривой кривой по точки пространстве высокой размерности. В соответствии с этим обучения еквивалентно обучению такой поверхности в пространстве, которая наиболее точно соответствует обучающим данным. Обуения RBF – сети происходит в 2 этапа:
1. Определяются центры и отклонения (сигма итое) для радиальных элемнетов
2. Оптимизируются параметры Wij линейного выходного слоя.
Располоджения центра должно соответствовать кластерам которые реально присутввуют в исходных данных. Для этого часто ипользуются 2 метода:
1. Выборка из выборки. В качетве центров радиальных элементов берутся несколько случайных точек из обучаешего множества. В силу случайного выбора они представляют распределения обучающих данных в статисчиском смысле. Однако при малом чиле радиальнрых элементов такое представление может быть не удовлетворительным.
2. Алгоритм К – средних. Данный алгоритм стремится выбрать оптимальное множества точек которые являются центройдами кластеров в обучающих данных. При L большое раждиальных элеменетов(нейронов) их центры распологаются так что бы:
А) Каждая обучающая точка относилось к центру кластера и лежали к нему ближе чем к другому.
Б) Каждый центр кластера был центройдом множества обучающих точек относящихся к этому кластеру.
После того как найдены центры необходимо найти откланения (сигма итое) величина откланения называется так же сглаживаюшим фактором, она показывает на сколько остр будет график функции гаусса.
Если графики функции гаусса будут очень широкими то Нс не будет воспринимать мелкие детали. Обычно отклонения(сигма итое)выбирается так , что калпак графика каждой фкнкции гаусса. Методы:
1. Явный(мы сами задаем)
2. Изотропный(берется одинаковое отклонения для всех элеметов. Определяется с учетом кол-ва элементов и объема открываемого пространства)
3. К – ближайших (отклонение каждого элемента индиаидуально устанавливается элементом до К- ближайших соседей, при этом отклонения меньше где точки расположены густо, следовательно здесь будут хорошо учитываться детали, а где точек мало отклонения будут большими и будет производится интерполяция.)
После того как выбранны центры отклонения нужно оптимизировать параметры выходного слоя. Эти параметры модно оптимизировать параметры выходного слоя.