5. Гарантированные интервальные оценки погрешностей весов синапсов

Вычислим сначала допустимые погрешности весов синапсов для одного примера из обучающей выборки. Считаем, что на входы сети с точными весами синапсов были поданы точные входные сигналы и, после необходимых вычислений, получены точные выходные сигналы. Таким образом, нам известны точные сигналы для всей сети.

Нам задана допустимая погрешность выходного сигнала сети, который одновременно является выходным сигналом нейрона последнего слоя сети. Пользуясь методом обратного распространения точности, вычислим допустимую погрешностьвходного сигнала этого нейрона по полученной выше формуле:, где– точный выходной сигнал сумматора последнего слоя сети.

Таким образом, мы вычислили допустимую погрешность выходного сигнала сумматора. Теперь нам следует вычислить допустимые погрешности весов синапсов этого сумматора, а также погрешности его входных сигналов, которые образуются при прохождении предыдущих слоев сети. Это можно сделать двумя способами: распределяя допустимую погрешность выходного слоя сумматора по его входам пропорционально или равномерно.

Рассмотрим сначала пропорциональное распределение погрешностей. Обычно принято рассматривать адаптивный сумматор как устройство с входными сигналами , умножающеена весаи затем их складывающее. В данном конкретном случае нам будет удобнее рассматривать адаптивный сумматор в следующем виде (рис.2).

Будем считать, что входными сигналами сумматора являются не , а уже преобразованные весами синапсов, которые затем складываются уже без умножения.

Рассмотрим сумматор с входами. Допустимая погрешность выходного сигнала сумматора равна. Будем распределять эту погрешность поровну по входам сумматора. То есть погрешность каждого входа равняется. Пусть– точныйi-ый входной сигнал сумматора,– точный вес синапса его-го входа,– погрешность входного сигнала-го входа,– погрешность-го веса синапса. Рассмотрим следующие интервалы:– возможные значения входного сигнала,– возможные значения веса синапса,– интервал в котором может изменяться значение произведенияi-го входного сигнала с погрешностью наi-ый вес синапса с погрешностью. Нам требуется, чтобы

(1)

Интервалы перемножаются следующим образом:

.

Рассмотрим возможные расположения интервалов ина числовой оси.

1) ; .

Перемножим интервалы:

=

=

Таким образом, мы получили интервал, в котором изменяются погрешность i-го входного сигнала и погрешностьi-го веса синапса:

.

Этот интервал должен быть меньше, либо равен интервалу изменения погрешности произведения входного сигнала и веса синапса: . Но интервал симметричен относительно 0, а интервал сдвинут вправо. Поэтому для выполнения условия (1) нам достаточно, чтобы выполнялось условие .

2) , , .

Пусть , . Рассуждая аналогично случаю 1), получаем:

.

Отсюда .

При , получаем неравенство .

3) ,,,.

При , получаем .

При , получаем .

При , получаем .

При , получаем .

4) , , .

При получаем .

При получаем .

5) , .

В этом случае .

6) , , .

При получаем .

При получаем .

7) ,, .

При получаем .

При получаем .

Как видно из рассмотренных выше случаев, вид неравенства зависит не от расположения интервалов на числовой оси, а от знаков и .

Из рассмотренных случаев выделим виды неравенств, которые получаются при умножении интервалов в зависимости от знаков и :

1) : ;

2) : ;

3) : ;

4) : .

Таким образом, общая формула для и любого знака: .

Отсюда можем получить формулу для вычисления допустимой погрешности -го входного сигнала:

.

В этой формуле две неизвестных величины: и . Для того, чтобы вычислить , необходимо присвоить какое-либо значение. Представим в виде , где – некоторый коэффициент. Тогда предыдущая формула принимает вид:

.

Вынося в числителе множитель , получаем . Для нас имеет смысл только положительное значение . Поэтому нам нужно, чтобы выполнялось неравенство , то есть . Выбирая с учетом полученного неравенства, находим значение и затем, используя , можем вычислить . Получили формулу для пропорционального распределения погрешности по входам сумматора.

Перейдем теперь к другому способу вычисления и . Рассмотрим равномерное распределение погрешности по входам сумматора. Пусть – точный выходной сигнал сумматора, – допустимая погрешность его выходного сигнала. Выходной сигнал сумматора с погрешностями должен попадать в интервал . С другой стороны, погрешность выходного сигнала сумматора складывается из погрешностей его входных сигналов и погрешностей весов синапсов:. Нам требуется, чтобы

.

Как было показано выше, при перемножении интервалов получаются интервалы, несимметричные относительно 0. Максимальные по модулю концы интервалов погрешности вычисляются по следующей формуле:. Предполагаем, чтодля каждого конкретного сумматора равны между собой иравны между собой. Складывая максимальные по модулю концы перемноженных интервалов, получаем следующую оценку:

.

Отсюда получается оценка для допустимых погрешностей входных сигналов:

.

Из этой формулы нам требуется найти значения и. Чтобы иметь возможность вычислить, представим погрешностькак, где– некоторый коэффициент. Тогда предыдущая формула принимает вид:

.

Преобразуем числитель правой части неравенства, вынося множитель :. Так какопределяет концы интервала, в котором может изменяться погрешность, то для нас имеет смысл только положительное значение. Поэтому нам нужно, чтобы выполнялось неравенство, то есть. Выбираяс учетом полученного неравенства, находим значениеи затем, используя, вычисляем. Получили формулы для равномерного распределения погрешности выходного сигнала сумматора по его входам.

Мы вычислили погрешности для весов синапсов и сигналов одного слоя. Погрешности являются допустимыми погрешностями входных сигналов сумматора и, одновременно, погрешностями выходных сигналов нелинейных преобразователей предыдущего слоя. Погрешности предыдущего слоя вычисляются так же, как было описано выше. Сначала вычисляются погрешности входного сигнала нелинейного преобразователя, затем погрешности весов синапсов и погрешности входных сигналов сумматора. После этого переходим к следующему слою и так до тех пор, пока не дойдем до первого слоя сети.

Так как мы предположили, что входные сигналы сети не имеют погрешностей, то формула для вычисления весов синапсов первого слоя сети отличается от формулы, по которой вычисляются все остальные погрешности весов синапсов. В этом случае . Для пропорционального распределения допустимых погрешностей весов синапсов получаем следующую формулу вычисления погрешностей весов синапсов:, где– допустимая погрешность выходного сигнала сумматора первого слоя. Для равномерного распределения допустимых погрешностей формула имеет вид:.

Если считать, что входные сигналы сети имеют некоторые погрешности, то можно пользоваться формулами для вычисления допустимых погрешностей внутренних слоев сети. Эти формулы позволяют вычислить допустимые погрешности и входных сигналов сети.

Так как для величины на каждом шаге возможен выбор из некоторого интервала значений, то, вообще говоря, для каждого примера из обучающей выборки можно вычислять различные варианты допустимых погрешностей весов синапсов и сигналов. Если на каком-то слое допустимые погрешности нас не устраивают, мы можем вернуться к предыдущему слою, выбрать новые значения, удовлетворяющие условию, и пересчитать допустимые погрешности с учетом новых значений.