Аппроксимация многомерных функций полутораслойным предиктором с произвольными преобразователями

М.Г. Доррер

Сибирский государственный технологический университет,

660049, Красноярск, пр. Мира 82

E-mail: dorrer@sibstu.kts.ru

В работе описаны теоретические предпосылки и программная реализация искусственной нейронной сети, обладающей важным новым свойством: генерацией структуры «от простого к сложному». Описан итерационный процесс наращивания объема сети. Использованы два условия на ограничение требуемого объема - по достижению требуемой точности или по критерию сравнения константы Липшица для сети и выборочной константы Липшица.

1. Постановка проблемы

Функция F на Rзадана набором своих значений в случайных точках пространства . Построим ее аппроксимацию при помощи комбинаций- функций из набора, гладких и непрерывно дифференцируемых. Тогда

- ошибка аппроксимации F функцией;

- ошибка предыдущего шага аппроксимации

Аппроксимация может вестись не только подбором коэффициентов, но и выбором на каждом шаге функций из. Таким образом, может быть получено разложение функции F в сходящийся ряд вида:

Решение задачи аппроксимации может быть получено путем минимизации функционала качества, соответствующего квадрату отклонения:

,

Задача состоит в приближении функции F, заданной исходной выборкой точек, при помощи нейросети-предиктора с неизвестным заранее количеством нейронов и видом функции, используемой в преобразователе каждого из нейронов.

Решение может быть представлено как итерационный процесс, состоящий из следующих шагов:

- Подключение нового нейрона;

- Оптимизация ошибки предсказания значений в заданных точек для текущего нейрона путем подбора функции преобразователя, ее параметров и весов синапсов;

Если заданная точность достигнута, то процесс можно остановить, в противном случае - процесс повторяется сначала, причем параметры уже обученных нейронов фиксируются, так что каждый новый нейрон обучается вычислять погрешность, оставшуюся от предыдущих.

Количество итераций процесса исчерпания ошибки может быть также ограничено из условия превышения нижней оценки константы Липшица для конструируемой нейронной сети над верхней оценкой выборочной константы Липшица.

2. Аналитическое решение

Пусть - приближаемое очередным слоем значение. Тогда- само значение приближаемой функции в точках экспериментальной выборки, аи последующие - погрешности вычисления на соответствующем шаге.

Обучение ведется оптимизацией параметров сети каким либо из градиентных методов по всему задачнику.

Тогда при обучении k-го нейрона

,

соответственно H (функция ошибки) для всего задачника будет иметь вид

,

то есть в качестве критерия близости аппроксимируемой и аппроксимирующей функций выбрана сумма квадрата ошибки по всей обучающей выборке.

Для обучения каждого очередного нейрона используются частные производные функциипо весам синапсов первого слоя:

,

параметру нейрона

и весу синапса второго (выходного) слоя соответствующему данному нейрону

,

где - число примеров обучающей выборки.

Однако, если вычисление функции H связано с затратами процессорного времени порядкаT_H, то вычисление ее градиента традиционным способом потребует времени порядка

T_gradH=nT_H,

где n - число переменных функцииH. Учитывая, что в задачах, для которых традиционно применяются нейросети, величинаn может достигать нескольких тысяч, аналитическое решение для вычисления градиента функции ошибки следует признать неприемлемым.

Однако при описании решающей функции F в виде сети автоматов вычисление градиента функции ошибкиH может быть представлено как функционирование системы, двойственной исходной. При таком подходе

,

где C - константа, не зависящая от размерностиnи в большинстве случаев примерно равная 3.

Таким образом, мы приходим к записи решения исходной задачи в идеологии нейронных сетей.