2.2.2. Закономерности процесса обучения системы управления при последовательном предъявлении ситуаций

Процедура обучения состоит в поочередном предъявлении ситуаций обучаемой выборки, причем каждое предъявление ситуации – это шаг обучения. На каждом шаге обучения происходит корректировка проводимостей резисторных элементов преобразующей матрицы. Обучение может быть циклическим, когда предъявление ситуаций обучаемой выборки повторяется в одном и том же порядке до конца обучения. Может быть установлен и любой другой определенный порядок предъявления ситуаций. Кроме этого, обучение может быть произвольным (неупорядоченным), когда порядок предъявления ситуаций не устанавливается и может носить случайный характер.

Допустим, для обучения робота с обучаемой системой управления использовалось N ситуаций, составляющих обучаемую выборку. Обучение закончилось за M шагов. Для определения закономерностей процесса обучения будем рассматривать обучение не как циклическое, произвольное или с заданным порядком предъявления ситуаций, а как последовательное предъявление M ситуаций. Такое представление включает в себя все многообразие возможных процедур обучения. Кроме этого, реально при обучении методом “вождения за руку” ситуации абсолютно точно могут и не повторяться вообще, однако такое обучение возможно, и его можно считать последовательным. Далее обучение может идти с учетом фактора времени, т.е. в систему очувствления могут быть включены датчики времени, и уже поэтому такие ситуации не могут повториться (как говаривал Гераклит: “Нельзя дважды войти в одну и ту же реку”). Такое обучение может быть только последовательным. В связи с этим следует отметить, что обучение биологических систем (выработка условных рефлексов), строго говоря, – последовательное [67].

Можно показать, что, исходя из формул алгоритма обучения, величина фактического сигнала управления по шагам обучения будет изменяться следующим образом.

Примем исходные значения весовых коэффициентов равными нулю, тогда на первом шаге обучения получим фактическое значение выходного сигнала E₁^(f) = 0.

После корректировки весовых коэффициентов на этом шаге обучения получим выходной сигнал, равным E₁.

Фактический выходной сигнал на втором шаге обучения будет определяться весовыми коэффициентами, полученными после первого шага обучения и равными

в соответствии с формулой

Подставив (2.18) в (2.19), получим

E₂^(f) = E₁·Z₂₁ ,

где Z₂₁ – коэффициент приведения второй ситуации к первой. Повторив те же математические операции, на третьем шаге обучения, получим:

E₃^(f) = E₂ ·Z₃₂ + E₁· (Z₃₁ – Z₂₁·Z₃₂) ,

где Z₃₁ – коэффициент приведения третьей ситуации к первой, Z₃₂ – коэффициент приведения третьей ситуации ко второй.

На четвертом шаге обучения:

E₄^(f) = E₃ ·Z₄₃ + E₂ · (Z₄₂–Z₃₂ ·Z₄₃) + E₁ · (Z₄₁ – Z₂₁ ·Z₄₂ – Z₃₁ ·Z₄₃ + Z₂₁ ·Z₃₂ ·Z₄₃) ,

На пятом шаге обучения:

E₅^(f) = E₄ ·Z₅₄ + E₃ · (Z₅₃ – Z₄₃ ·Z₅₄) + E₂ · (Z₅₂ – Z₃₂ ·Z₅₃ – Z₄₂ ·Z₅₄ + Z₃₂ ·Z₄₃ ·Z₅₄) + + E₁ · (Z₄₁ – Z₂₁·Z₅₂ – Z₃₁·Z₅₃ – Z₄₁·Z₅₄ + Z₂₁ ·Z₃₂ ·Z₅₃ + Z₂₁ ·Z₄₂ ·Z₅₄ + Z₃₁ ·Z₄₃ ·Z₅₄ – Z₂₁ ·Z₃₂ ·Z₄₃ ·Z₅₄) ,

и т.д.

Число членов с одинаковым числом сомножителей Z в скобках соответствует числам так называемого треугольника Паскаля, каждое из которых получается сложением соседних чисел вышестоящей строки:

1 1____1 1____2____1 1____3____3____1 1____4____6____4____1 1____5____10____10____5____1 1____6____15____20____15____6___01 ._._._._._._._._._._._._._._._._._._._._._._._._.

Так число членов с одинаковым числом сомножителей Z в скобках четвертого слагаемого соответствует четвертой строке треугольника Паскаля. Таким образом, на любом шаге величина фактического сигнала управления обучения будет определяться выражением

где Г( , ) = 1 при  =1, при  =1 и при  = ; Г( , ) =  –1 при  =2 , Г( , ) =  при  –  =1 и Г( , ) = Г( –1,  –1) + Г( –1,  ) при  –  > 1 ,

Индексы J₁ и J₂ чередуются определенным образом, охватывая ситуации в интервале от j– до j . При  = 1 первый индекс J₁(j, , , , ) = j –  , во всех остальных случаях J₁(j, , , , ) = J₂(j, , , –1, ) . При  =  второй индекс J₂(j, , , , ) = j , если    и  = 1 , то J₂(j, , , , ) = J₁(j, , , , )+1 , если    и   1 и при этом для данного  индекс J₂ уже рассчитывался по формуле: J₂(j, , , , ) = J₂(j, , , , –1)+1 , то в этом случае второй индекс будет определяться выражением: J₂(j, , , , ) = J₂(j, , , –1, )+1, если    и   1 и при этом для данного  индекс J₂ еще не рассчитывался по формуле: J₂(j, , , , ) = J₂(j, , , , –1)+1, и выполняется условие, которое заключается для  –  2 в том, что ни при каких f, изменяющихся в пределах от  до  +2 не может быть J₂(j, , ,f, –1) – J₁(j, , ,f, –1) > 1, а для  – =1, наоборот, должно быть J₂(j, , ,f, –1) – J₁(j, , ,f, –1) > 1 при f= , то в этих случаях второй индекс будет определяться выражением: J₂(j, , , , ) = J₂(j, , , , –1)+1 , в остальных случаях: J₂(j, , , , ) = J₂(j, , , , –1) .

Формула (2.20) показывает, что фактический сигнал управления в некоторой ситуации зависит от всех предшествующих ситуаций, в которых происходила корректировка весовых коэффициентов: как от возбуждений рецепторов в этих ситуациях, так и от заданных для них выходных сигналов. Соответственно, значения весовых коэффициентов при последовательном обучении на j-м шаге обучения (в j-й ситуации) можно определить по формуле:

где Г( , ) = 1 при  =  и при  =1, Г( , ) =  при  = 1 и при  –  = 1 , и Г( , ) = Г( –1,  –1) + Г( –1,  ) , при  –  > 1 , индексы J₁ и J₂ определяются аналогично тому, как это делается в формуле (2.20), а индекс J₃ равен значению индекса J₂ при  =  .