3.6.3. Правило Видроу-Хоффа

Если Z^TZ сингулярная или операции по нахождению Z^# громоздки, можно минимизировать J_s(w) при помощи процедуры градиентного спуска:

1. Выбрать w(0) произвольно

2. Задать весовой вектор следующим образом:

w(k+1) = w(k) - _kJ(w)|_w=w(k)

или

w(k+1) = w(k) - _kZ^T[w(k)Z – b]

Если выбрать _k = ₁/k, можно показать, что это сводится к ограничению весового вектора w требованию:

J_s(w) = Z^T(wZ – b) = 0

В этом алгоритме также требуются операции с матрицами, но требования к хранению обычно ниже, чем в приведенном выше методе с Z^#.

Проблемы

3.1. Даны следующие вектора образцов:

z₁ = (0,0)

z₂ = (-1,-1)

z₃ = (2,2)

z₄ = (4,0)

z₅ = (4,1)

где [z₃, z₄, z₅]₂, а [z₁, z₂]₁. Если они представлены в порядке перечисления многократно, дайте последовательность весовых векторов и решение, полученное по правилу коррекции фиксированного инкремента. Начните с W^T(1) = 0.

3.2. Повторите проблему 3.1 со следующими векторами образцов:

z₁ = (0,0)  ₁

z₂ = (3,3)  ₂

z₃ = (-3,-3)  ₃

Начните с W₁(1) = W₂(1) = W₃(1) = (0,0,0)^T.

3.3. Дано следующее множество данных:

Н айдите решение весового вектора с использованием персептронного алгоритма. Начните с W(1) = (-1, -2, -2, 0)^T.