книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

Обратная постановка задачи синтеза является практи­ чески менее пригодной, нежели прямая, так как задание ограничения на количество входных каналов в СР физи­ чески более оправдано, нежели несколько расплывчатое ограничение на число областей.

Пример 1. Покажем, что структура многослойной СР, оптималь­ ная по верхней оценке количества областей с ограничением на число элементов, будет в одномерном случае оптимальна по верхней оценке с ограничением по суммарному числу входов. Согласно ме­ тоду множителей Лагранжа и (4-31) при N = 1 оптимальные иЯц? являются решениями следующей системы уравнений:

Из (4-34) и следует исходное утверждение.

Пример 2. Рассмотрим синтез СР с учетом (4-32), где определяется выражением (4-17). Отметим, что при перенесении

а суммарное увеличение числа входов остальных элементов сети

120

Из (4-28) и (4-29) следует, что условиям оптимальности (4-32) отвечают две структуры с суммарным числом ЛПЭ в сети Н = = [log2 'F], где квадратные скобки означают округление до ближай­ шего целого в сторону увеличения:

Обеим этим структурам отвечает одинаковое число входов, определяемое (4-30).

Рассмотрим оптимизацию структуры СР, оптимальной по длине связей.

Припишем каждой связи, идущей из Д-го в /-й слой, не­ который вес U. .. Физическим смыслом такого веса наряду

с длиной в обычном понимании может быть, например, ве­ личина, обратная помехозащищенности. Через Uoj обозна­ чим длину связей входного вектора с /-м слоем.

Тогда суммарная длина .связей ЛПЭ в /-м слое будет:

Суммарная длина связей в W-слойной сети будет, оче­ видно, равна:

В (4-40) и (4-41) ¥ , как и ранее, определяются выраже­ нием (4-17) или (4-18) в зависимости от вида оценки. От-

121

Естественно теперь рассмотреть наиболее общие огра­ ничения на структуру СР, включающие в себя как частные случаи все остальные вышеперечисленные ограничения. С этой целью назначим цену одного ЛПЭ |3Н, цену одного

входа ра и цену единицы длины связи р„. Тогда на основа­ нии (4-30) и (4-39) суммарная стоимость запишется следую­ щим образом:

Аналогично (4-31) и (4-32) сформулируем задачи синтеза многослойной СР с ограничением по стоимости S ^ в сле­ дующем виде:

и Ри в выражениях (4-43) и (4-44) могут быть получены все

рассмотренные выше формулировки задач синтеза струк­ туры СР.

4-8. Оптимизация структуры многослойных СР

сК р решениями

Вданном случае многослойная СР с полными перекрестными связями составлена из элементов, описываемых соотношением (4-2).

Каждый такой элемент реализует в своем пространстве признаков совокупность параллельных разделяющих гиперплоскостей. Оче­ видно, что максимальное число областей, выделяемых в исходном

122

пространстве признаков эквивалентной разделяющей поверхностью, в данном случае не превышает Кр, где Н — число ЛПЭ в сети.

Эта оценка достигается только для многослойных СР с полными перекрестными связями.

Оценим количество областей, на которое пространство призна­ ков размерности N может быть разбито Я х группами гиперплоско­ стей по (Кр — 1)-й гиперплоскости в каждой группе. Обозначим

на число областей, образуемых на гиперплоскости линиями ее пере­ сечения с остальными гиперплоскостями пространства, т. е. на

шк р

Т Я — 1 [ Я ,— 1]-

Отсюда

z = [ /^p _ i ] ^ L 1

слое многослойной СР с полными перекрестными связями. Входные

вектор-строка выходных и промежуточных сигналов (/ — 1) -слой- ной СР. Пусть (/ — 1)-слойная СР выделяет в исходном простран-

Уравнение для выходного сигнала hj-го ЛПЭ с Кр решениями может быть записано в следующем виде:

Ah и A hx — векторы весовых коэффициентов соответственно для х и у.

123

Геометрически, как следует из (4-48), каждый из Hj ЛПЭ с Кр решениями реализует в пространстве входных сигналов CP (/С —

— 1) ЧгдГР|у_цпараллельных гиперплоскостей. Допуская, что сущест­

вует метод настройки коэффициентов СР, при котором для каждого hj-го ЛПЭ каждые (Кр — 1) гиперплоскостей, порожденных вариан­ том вектора у, проходят через область исходного пространства признаков, соответствующую ему, запишем выражение для верхней оценки числа областей, на которое пространство X разбивается рассматриваемой /-слойной СР:

считать (4-49) рекуррентным выражением и вспомнить, что первый

Выражение (4-50) позволяет поставить и решить задачу син­ теза структуры СР, оптимальной по верхней оценке количества

Следовательно, оптимальной по верхней оценке числа областей будет СР с полными перекрестными связями такая, что число ЛПЭ с Кр решениями в любом ее слое не превышает размерности исход­ ного пространства признаков.

Г л а в а п я т а я

АНАЛИЗ РАЗОМКНУТЫХ СР

5-1. Законы распределения аналоговой и дискретной ошибок СР

Исходным материалом для анализа разомкнутых СР являются заданная в общем виде плотность распределения входного сигнала и структура разомкнутой СР. Рассмат­ риваются такие структуры разомкнутых СР, как ЛПЭ

124

с двумя, Кр и континуум решений, нелинейные и много­ слойные СР из ЛПЭ. Варианты характеристик входного сигнала представлены случаями двух, К и континуума клас­ сов образов при произвольной квалификации учителя.

Целью анализа разомкнутых СР является вывод и ис­ следование выражений для распределений и моментов рас­ пределений промежуточных и выходных сигналов СР. В данной главе в основном производится анализ распреде­ лений и моментов распределений ошибок СР. На основании результатов анализа разомкнутых СР выбираются функ­ ционалы вторичной оптимизации.

Под функционалом вторичной оптимизации понимается функционал, выражаемый через параметры распределений текущих сигналов и ошибок СР и непосредственно миними­ зируемый в многослойных СР при настройке по замкнутому циклу. При этом основной является задача формирования функционала вторичной оптимизации, соответствующего заданному критерию первичной оптимизации; соответствие понимается в смысле совпадения параметров СР при обес­ печении минимума функционалов первичной и вторичной оптимизации.

Преобразование, осуществляемое разомкнутым ЛПЭ с двумя решениями, может быть представлено в следующем виде:

B2 = [2 + (ся —Ci) — b2(ci-\- c2)} p2.

125

Распределение аналоговой ошибки рассматриваемой СР имеет вид:

126

Выражения для моментов г-го порядка распределения аналоговой и дискретной ошибок рассматриваемой СР можно представить в виде

В частном случае при с1 = с2 '= 1 и br = b2 = Ь рас­ пределение аналоговой ошибки рассматриваемой СР имеет вид (5-3) с заменой

Распределение дискретной ошибки:

■ Y (Pi (1 + Ь ) (1- Ф 0 + р2 (1 - 6 ) (1 — Ф.2)], xg= - 2 ; .

^-[1 + 6 ( р 2— Pi) + 2/?i60i — 2р2М>2], хй = 0;

- i - [ ( l — 6 ) p 1O i + ( l + b) р2ф 2], x g = 2.

Выражение для моментов распределения дискретной ошибки СР в данном случае имеет следующий вид:

а ,й = 2{р1[1 + 6 (1 - 2 Ф 1)] + р2[ 1 - М 1 - 2 Ф 2)]},

и отдельно для совокупностей образов первого и второго класса:

127

представлено в следующем виде:

В случае континуума классов образов на входе СР

/(х, е) = /' (хъ . . . , xN/e)fe(n).

Совместное распределение сигнала е (п) и аналогового выходного сигнала g (п) имеет следующий вид:

N —1

Распределение аналоговой ошибки СР

N — 1

00 -

Отсюда можно получить выражение для момента г-го порядка аналоговой ошибки в следующем виде­

ла

Распределение дискретной ошибки СР

128

dF 1(s — x g)

X

d (s — xg)

В частном случае при обучении распознаванию двух

классов образов

N — 1