книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

Учитывая, что

получаем окончательное выражение для средней функции риска

Это есть уравнение для оптимальной разделяющей по­ верхности, определяющее оптимальную модель СР.

Система распознавания 8. При оптимизации СР с кон­ тинуумом классов образов и двумя решениями по крите­ рию минимума средней функции риска необходимо ввести в рассмотрение матрицу (вектор-строку) L = [1Х(е), /2 (е) ] функций потерь, возникающих при отнесении образов, объективно подчиняющихся закону f' (х/е), к областям многомерного пространства признаков, соответствующих 1-му и 2-му решениям. Условная функция риска есть функ­ ция риска принятия решения о принадлежности образов

и /2 (е) представлены на рис. 2-11. В этом случае выраже­

Средняя функция риска получается усреднением услов­ ной функции риска по всем значениям е следующим обра­ зом:

50

Преобразовывая, получаем окончательное выражение для средней функции риска:

Рис. 2-11. Функции потерь для случая континуума классов и двух решений.

а — два класса; б — континуум классов.

Отсюда следует, что минимум R обеспечивается при ус­ ловии, когда подынтегральное выражение отрицательно внутри области и положительно вне данной области. Сле­ довательно, минимум R обеспечивается при условии

00

S (x )= j [li (е) — /2 (е)] /Е (е) /' (x/e) de.

—00

51

Система распознавания 10. В случае континуума клас­ сов образов и Кр решений СР строит в многомерном про­ странстве признаков К р— 1 разделяющую поверхность.

При оптимизации по критерию минимума средней функ­ ции риска вводится матрица (вектор-строка)

L = [ M e)’ • •• ’ 1к РЩ

функций потерь, возникающих при отнесении образов, объективно подчиняющихся закону /' (х/е), к областям многомерного пространства признаков, соответствующим 1, 2, Кр-му решению СР. В данном случае выражение для условной функции риска имеет следующий вид:

кN

Система распознавания 11. Эти система распознавания континуума классов образов, имеющая континуум реше­ ний. При оптимизации по критерию минимума средней функции риска вместо матрицы функций

L = [7х (е), . .., lkp (e)j,

введенной в случае континуума классов и Kv решений, необходимо ввести функцию потерь / (xk, е), возникающих при принятии СР решения при наличии на входе образа, принадлежащего совокупности с распределением f' (х/е).

52

?

Выражение для условной функции риска имеет следующий вид:

N

— CO

Тогда выражение для средней функции риска примет следующий вид:

Учитывая свойства функции G (xk, x), указанные и ис­ пользуемые ранее, получаем:

где xk =s P (x) — оптимальная модель CP. Решение задачи минимизации R дает выражение для оптимальной модели СР в следующем виде:

— Э С

53

Это наиболее общее выражение для оптимальной модели СР, из которого легко получить любой рассмотренный выше случай.

Для решения практических задач функция распределения / е (е) может в простейшем случае быть представлена или аппрокси­

мирована суммой одномерных нормальных законов с различными дисперсиями и математическими ожиданиями, а также любым из известных типовых законов распределения вероятностей.

2-3. Оптимальная модель СР для многомерных сигналов s (п) и xk (п)

Выражение для условной функции риска в случае кон­ тинуума решений СР имеет следующий вид:

N N

или, иначе, при введении дополнительных обозначений

Как указывалось выше, Е представляет собой прост­ ранство указаний учителя СР; N* — размерность Е и вы­ ходного сигнала системы. Остановимся на свойствах функ­

54

Для многомерных пространств Е и X k преобразование, описываемое системой, может быть записано в следующем виде:

Если N* = const и СР имеет дискретное число выход­ ных градаций, т. е. Кр решений, функция имеет вид:

и соответственно для континуума решений СР:

С учетом замечаний о функции G можно записать выра­ жение для средней функции риска следующим образом:

ций по амплитуде. Тогда выражение для условной функ­

55

Отсюда получаем среднюю функцию риска Ко к,

N

в режиме самообучения в СР не указывается принадлежность об­ разов к тому или иному классу. В случае обучения СР получаем информацию об организации внутри классов в виде указаний учи­ теля. В случае самообучения эта информация должна быть зало­

56

жена в СР априори. Наверное, разумно при определении класса в режиме самообучения наложить следующее ограничение. Каж­ дому классу образов должна соответствовать одна мода функции плотности распределения вероятностей входного сигнала х (п) СР.

От априорной информации о входном сигнале систем распозна­ вания образов существенно зависят методы решения задачи само­ обучения. Указанную априорную информацию о входном сигнале

можно с методологической точки зрения разделить на три основ­ ные части.

1. Априорная информация о числе классов или, что то же са­ мое, информация о числе мод функций плотности распределения входного сигнала. На основании данной априорной информации и предположения о том, что каждый класс имеет свое собственное одномодальное распределение, распределение входного сигнала системы распознавания образов может быть представлено в виде

К

2.Априорная информация о виде плотностей распределения образа в каждом из классов.

3.Априорная информация о величинах вероятностей появле­ ния образов из различных классов р*.

Априорная информация о числе классов К (мод функции плот­ ности распределения входного сигнала) может быть трех типов (по мере уменьшения априорной информации): точно известно К — число классов (т. е. мод); число К классов (мод) не более заданного

случае необходимо создавать алгоритм самообучения, который, будучи оптимальным для максимального числа классов К макс,

будет оптимальным и для меньшего, каким и может оказаться дей­ ствительное число классов. В третьем случае, пожалуй, единст­ венным путем качественного решения задачи самообучения яв­ ляется построение алгоритма самообучения для постепенно уве­ личивающегося числа /Смаке- В таком алгоритме нужно вводить

критерий остановки алгоритма при увеличении максимального числа классов /Смаке- Критерием остановки может являться либо

отсутствие увеличения качества самообучения при увеличении /Смаке, либо невозможность реализации алгоритма ввиду его слож­

ности.

Априорная информация о виде распределения для каждого из классов может быть трех типов (по мере уменьшения): точно (с точ­ ностью до конечного числа неизвестных параметров) известен вид распределения; вид распределения неизвестен, но может быть при­ нята некоторая аппроксимация распределения, которая, естественно, в общем случае приводит к тем большим ошибкам, чем больше не­ соответствие реальных и аппроксимирующих распределений; вид распределений неизвестен.

57

В зависимости от количества априорной информации о виде распределения для каждого из классов выбирается способ реали­ зации оптимальной модели СР.

Априорная информация о вероятностях появления образов из различных классов. При представлении суммарного распределения вероятностей входного сигнала системы распознавания образов в виде (2-22) для создания системы представляется априорная ин­ формация следующих типов о вероятностях появления образов из

нительных ограничений на методы решения задач самообучения. Во втором случае введение более широких диапазонов изменения параметров входного сигнала вследствие неравенства р/^ приводит к усложнению процесса самообучения ввиду необходимости при настройке определять кроме параметров распределений для каждого подкласса еще и коэффициенты р*.

2-5. О критериях первичной оптимизации СР в режиме самообучения

Критерий первичной оптимизации также является дополни­ тельной информацией, закладываемой в систему распознавания образов априорно, наряду с априорной информацией о входном сигнале. Необходимость задания этого критерия заключается в том, что он определяет качество системы распознавания, которого она должна достигнуть в режиме самообучения.

Во всех случаях, описанных выше, когда распределения об­ разов в классах известны, аппроксимируемы или вообще неизвестны, в принципе возможно применение критерия первичной оптимиза­ ции самообучающихся систем распознавания образов, по которому разделяющая поверхность (в частном одномерном случае — порог) вычисляется в соответствии со следующим выражением:

В случаях, когда распределения образов в классах могут быть определены или аппроксимированы, можно применить следующий

которому (на рис. 2-12) отвечает порог h2.

Применение вводимого критерия (2-23) первичной оптимиза­ ции в режиме самообучения оправдывается нашим представлением о работе человека в режиме самообучения, когда он в случае двух признаков и двух классов (рис. 2-13) делит множество образов на подмножества, проводя разделяющую поверхность по местам наи­ меньшего сгущения образов.

Легко показать, что решения, оптимальные по данным крите­ риям первичной оптимизации СР в режиме самообучения, отли­ чаются друг от друга. Частный случай, изображенный на рис. 2-14,

58

иллюстрирует дополнительные свойства указанных критериев. Здесь можно выделить три возможных случая:

в этом случае не ясен качественный смысл разделения одного «горба» на два класса, тогда как в случаях пп. 1 и 3 пороги разделяют «горбы» двумодального распределения входного сигнала.

Последнее, по нашему мнению, является весомой причиной для введения в определение класса для задачи самообучения огра­ ничения, связанного с модальностью функции плотности распреде-

59