Признаковое пространство.

Одним из основных этапов процесса распознавания образов является этап создания системы признаков по выбранному исходному описанию.

При создании признаков преследуются две цели:

— сокращение числа параметров для описания реализаций образов;

— упрощение решающего правила.

В практических задачах, как правило, число параметров исходного описания очень велико, и исходное описание характеризуется большой избыточностью. Надо устранить избыточность описания так, чтобы сокращенное описание заключало в себе только ту информацию, которая сохраняет свойства разделимости образов. Очевидно, такое преобразование является вырожденным. Пространство, полученное из исходного с помощью вырожденного преобразования, в котором избыточность описания существенно уменьшена, а свойства разделимости образов сохранены или даже улучшены, называется пространством признаков.

Координатными осями пространства признаков являются векторы (признаки), полученные из параметров исходного описания при помощи заданного класса операций. Признаки ищутся (только здесь) в классе линейных операций, следовательно, признаки будут линейными, а пространство признаков — пространством линейных признаков.

Оптимальной в рамках предлагаемого подхода явилась бы система из минимального числа признаков, сохраняющих —не пересекаемость образов, где —не пересекаемость образов — расстояние в исходном пространстве между множествами точек, принадлежащих к различным классам, больше некоторой конечной, не малой величины .

Система признаков, оптимизированная по этому критерию, описывает образы минимальным числом параметров, почти не ухудшая их разделимость. Однако реализация алгоритма по этому критерию наталкивается на весьма большие вычислительные трудности.

В различных критериях в разной мере разрешается противоречие между сложностью вычислений и степенью приближения к оптимальной системе признаков. В большинстве случаев чем сложнее критерий, тем проще будет его реализация на машине, одновременно тем больше затраты машинного времени потребуются на нахождение признаков.

Сокращение размерности исходного описания.

В большинстве практических задач опознания образов исходное описание выбирается или задается значительно большим количеством параметров.

Сокращение числа исходных параметров уменьшает весьма сложный сбор первичной информации. Но возникает вопрос, все ли параметры необходимы, и если нет, то какие из них могут быть отброшены без значительного ухудшения требуемой надежности опознавания.

Выбор достаточно полного исходного описания образов обусловлен тем, что не существует каких-либо формальных правил, позволяющих до обучения узнать такую совокупность параметров, которую необходимо использовать в дальнейшем и которая окажется наилучшей с точки зрения, например, надежности распознавания. Лишь после того, как достаточно полное описание классов выбрано, задача его сокращения может быть поставлена формально.

Вообще говоря, процедуру уменьшения размерности пространства исходного описания следовало бы согласовывать с процедурой нахождения пространства признаков и построения решающего правила, т. е. оптимизировать совокупность нескольких этапов.

При оптимизации этапа сокращения размерности исходного описания в зависимости от того, что является практически более важным, можно сформулировать две задачи:

1) максимально упростить пространство признаков и решающее правило, после чего, по возможности, уменьшить размерность исходного описания;

2) минимизировать пространство исходного описания, сохраняя разделимость образов, возможно, за счет некоторого увеличения размерности пространства признаков и усложнения решающего правила.

Примерами первой задачи могут служить задачи опознавания зрительных образов, исходное описание которых представляет собой совокупность сигналов на выходе ретины. Здесь важным является получение небольшого числа признаков и простого решающего правила, а сокращение числа элементов ретины играет второстепенную роль.

Примерами второй задачи являются некоторые задачи медицинской диагностики и прогнозирования, в которых сбор информации сопровождается небезразличными для пациентами процедурами. Здесь более важно максимально возможное сокращение исходного описания, возможно, с учетом «стоимости» получения каждого исходного параметра.

Эти две задачи приводят к двум различным подходам для их решения.

При первом подходе сокращение исходного описания производится с точки зрения наблюдателя, находящегося в сокращенном подпространстве признаков, в котором принимается решение. Этот наблюдатель, отбрасывая часть исходных параметров, тщательно следит за тем, чтобы в подпространстве выбранных признаков разделимость образов не слишком ухудшалась. Такая процедура не приводит к предельному сокращению исходного описания.

При втором подходе сокращение числа исходных параметров производится с точки зрения наблюдателя, находящегося в исходной системе координат. Этот наблюдатель стремится избавится от как можно большего числа исходных переменных при условии сохранения разделимости образов.

В таких задачах пространство признаков, как правило, не формируется, и решение принимается непосредственно в пространстве оставшихся исходных параметров.

Каждая из поставленных задач может быть решена экстремизацией некоторого функционала, который рассматривается как критерий качества сокращенного исходного описания. Экстремум этого функционала соответствует выбору наилучшего в смысле введенного критерия оптимальности подмножества координат исходного описания.

Большинство методов сокращения размерности исходного описания отличаются друг от друга формулировкой критериев оптимальности, которые в различной степени разрешают противоречия между близостью формальных критериев к описанным выше задачам и сложностью вычислительных процедур.