5.11.1 Модель сети

Нейронная сеть LVQ (рис. 5.6) состоит из двух последовательно соединенных слоев нейронов: конкурирующего слоя и линейного слоя. Оба слоя НС LVQ содержат по одному конкурирующему и одному линейному нейрону на каждый подкласс / целевой класс. Обозначим S¹ – количество подклассов, S²– количество целевых классов (S¹ всегда будет больше, чем S²).

Рис. 5.6 - Схема LVQ - нейронной сети

Конкурирующий слой производит разделение входных векторов x на классы, выделяя центры сосредоточения входных векторов m_i. Для этого определяются расстояния n¹=||x-m_i|| между входными векторами x и начальными значениями центров сосредоточения векторов m_i, i=1,2,..,q, где q-количество входных векторов.

Линейный слой преобразует класс входного вектора, определенный конкурирующим слоем -подкласс a¹, в класс, определенный пользователем - целевой класс a², путем умножения a¹ на значения весов LW линейных нейронов, которые устанавливается равными 1, если целевой класс и подкласс совпадают и 0 – в противном случае. Соответствующие произведения n²=a¹LW подаются на выходы всех линейных нейронов, образуя двоичный вектор a², все элементы которого равны 0, за исключением элемента, который соответствует целевому классу (этот элемент равен 1).

5.11.2 Алгоритм обучения lvq1

Пусть некоторое количество векторов со свободными параметрами m_i помещено во входное пространство для аппроксимации различных областей входного вектора x их квантованными значениями. Каждому классу значений x назначается несколько векторов со свободными параметрами, и затем принимается решение об отнесении x к тому классу, к которому принадлежит самый близкий вектор m_i. Пусть индекс с определяет самый близкий к x вектор m_i, обозначенный далее как m_c:

.

Значения для m_i, минимизирующие ошибку классификации, могут быть найдены как асимптотические значения в следующем процессе обучения. Пусть x(t) – входная выборка, m_i(t) -представление последовательности m_i, дискретизированной по времени. Начиная с правильно определенных начальных значений, основной процесс алгоритма LVQ1 определяют следующие выражения:

m_c(t + 1) = m_c(t) + α(t)[x(t) - m_c(t)],

если x и m_c принадлежат одному и тому же классу;

m_c(t + 1) = m_c(t) - α(t)[x(t) - m_c(t)],

если x и m_c принадлежат разным классам;

m_i(t + 1) = m_i(t) , ic.

Здесь 0 < α(t) < 1, α(t) может быть константой или монотонно уменьшаться со временем. Для алгоритма LVQ1 рекомендуется, чтобы первоначальное значение α было меньше 0.1.

5.11.3 Алгоритм обучения lvq2

Решение задачи классификации в алгоритме LVQ2 идентично алгоритму LVQ1. Однако в процессе обучения LVQ2 два вектора со свободными параметрами m_i и m_j, являющиеся самыми близкими соседями x, модифицируются одновременно. Один из них должен принадлежать к классу 1, а другой - к классу 2. Кроме того, x должен находиться в зоне значений, называемой “окном”, которое определено вокруг середины плоскости, образуемой векторами m_i и m_j. Пусть d_i и d_j – эвклидовы расстояния x от m_i и m_j, тогда x определенно попадет в “окно” относительной ширины w, если

, где.

Рекомендуется, чтобы значения относительной ширины “окна” w находились в пределах от 0.2 до 0.3.

Алгоритм обучения LVQ2 имеет вид:

m_i(t + 1) = m_i(t) - α(t)[x(t) - m_i(t)],

m_j(t + 1) = m_j(t) + α(t)[x(t) - m_j(t)],

где m_i и m_j - два самых близких к x вектора со свободными параметрами, причем x и m_j принадлежат к одному и тому же классу, в то время как x и m_i принадлежат различным классам, кроме того, x должен попадать в “окно”.

На рис. 5.7 квадратами обозначены значения признаков экземпляров, а крестами – значения весов НС LVQ. Штриховка фигур обозначает их принадлежность к классу (сплошная – класс 1, пунктирная – класс 2). Ошибочно классифицированные экземпляры выделены окружностями.

а) б) в)

Рис. 5.7 - Процесс квантования обучающих векторов

На рис 5.7 а) показано начальное расположение весов НС LVQ - все экземпляры классифицированы неверно. На рис 5.7 б) для тех же экземпляров показано положение весов НС LVQ после одной итерации обучения с помощью алгоритма LVQ 2 – одновременно модифицированы значения двух векторов, количество неправильно классифицированных экземпляров уменьшилось. На рис 5.7 в) показано положение весов НС LVQ после 10 итераций обучения – все экземпляры классифицированы верно.