5.12 Контрастирование нейронных сетей

Известно, что НС с минимальным количеством нейронов должна более гладко аппроксимировать функцию, но выяснение этого минимального количества требует больших затрат времени и ресурсов ЭВМ. Если число нейронов избыточно, то можно получить результат с первой попытки, но существует риск построить “плохую” аппроксимацию. Поэтому нужно выбирать число нейронов большим, чем необходимо, но не намного. Наиболее надежным способом оценки минимального числа нейронов является использование процедуры контрастирования, предполагающей выявление и удаление малоинформативных избыточных связей.

При постановке задачи для НС не всегда удается точно определить сколько и каких входных данных нужно подавать на вход. Поэтому применение методов, позволяющих осуществлять отбор информативных признаков представляется достаточно важным. Одним из таких методов является контрастирование.

После осуществления контрастирования НС ее стуктура будет более простой и менее избыточной, что на практике позволяет ускорить работу НС, а также упростить извлечение знаний из сети в удобной для человека форме.

5.12.1 Контрастирование на основе показателей значимости

С помощью этой процедуры можно контрастировать, как входные сигналы, так и параметры сети. Далее в данном разделе будем предполагать, что контрастируются параметры сети. При контрастировании входных сигналов процедура остается той же, но вместо показателей значимости параметров сети используются показатели значимости входных сигналов. Обозначим через – показатель значимостиp-го параметра; через– текущее значениеp-го параметра; через– ближайшее выделенное значение дляp-го параметра.

Используя введенные обозначения процедуру контрастирования можно записать следующим образом:

1. Вычислить показатели значимости.

2. Найти минимальный среди показателей значимости – .

3. Заменить соответствующий этому показателю значимости параметр на, и исключаем его из процедуры обучения.

4. Предъявить сети все примеры обучающего множества. Если сеть не допустила ни одной ошибки, то перейти ко второму шагу процедуры.

5. Обучить полученную сеть. Если сеть обучилась безошибочному решению задачи, то перейти к первому шагу процедуры, в противном случае перейти к шестому шагу.

Восстановить сеть в состояние до последнего выполнения третьего шага. Если в ходе выполнения шагов со второго по пятый был отконтрастирован хотя бы один параметр, (число обучаемых параметров изменилось), то перейти к первому шагу. Если ни один параметр не был отконтрастирован, то получена минимальная сеть.

5.12.2 Контрастирование без ухудшения

Пусть нам дана только обученная нейронная сеть и обучающее множество. Допустим, что вид функции оценки и процедура обучения нейронной сети неизвестны. В этом случае так же возможно контрастирование сети. Предположим, что данная сеть идеально решает задачу. В этом случае возможно контрастирование сети даже при отсутствии обучающей выборки, поскольку ее можно сгенерировать используя сеть для получения ответов. Задача не ухудшающего контрастирования ставится следующим образом: необходимо так провести контрастирование параметров, чтобы выходные сигналы сети при решении всех примеров изменились не более чем на заданную величину. Для решения задача редуцируется на отдельный адаптивный сумматор: необходимо так изменить параметры, чтобы выходной сигнал адаптивного сумматора при решении каждого примера изменился не более чем на заданную величину.

Обозначим через -p-ый входной сигнал сумматора при решенииq-го примера; через– выходной сигнал сумматора при решенииq-го примера; через– весp-го входного сигнала сумматора; через– требуемую точность; черезn – число входных сигналов сумматора; через m– число примеров. Очевидно, что при решении примера выполняется равенство.

Требуется найти такой набор индексов , что, где– новый весp-го входного сигнала сумматора. Набор индексов будем строить по следующему алгоритму.

1. Положим ,,,,k=0.

2. Для всех векторов таких, что, проделаем следующее преобразование: если, то исключаемpиз множества обрабатываемых векторов – , в противном случае нормируем вектор на единичную длину –.

3. Если или, то переходим к шагу 10.

4. Находим – номер вектора, наиболее близкого киз условия

.

5. Исключаем из множества индексов обрабатываемых векторов: .

Добавляем в множество индексов найденных векторов:

6. Вычисляем не аппроксимированную часть (ошибку аппроксимации) вектора выходных сигналов:

7. Преобразуем обрабатываемые вектора к промежуточному представлению – ортогонализуем их к вектору , для чего каждый вектор , у которогопреобразуем по следующей формуле: .

8. Увеличиваем k на единицу и переходим к шагу 2.

9. Если , то весь сумматор удаляется из сети и работа алгоритма завершается.

10. Если , то контрастирование невозможно и сумматор остается неизменным.

В противном случае полагаем и вычисляем новые веса связей() решая систему уравнений.

Удаляем из сети связи с номерами pJ, веса оставшихся связей полагаем равными(pI).

5.12.3 Гибридная процедура контрастирования

Можно упростить процедуру контрастирования без ухудшения. Предлагаемая процедура годится только для контрастирования весов связей нейронов по отдельности.

Для работы нейрона наименее значимым будем считать тот вес, который при решении примера даст наименьший вклад в сумму. Обозначим через входные сигналы рассматриваемого адаптивного сумматора при решении q-го примера. Показателем значимости веса назовем следующую величину:. Усредненный по всем примерам обучающего множества показатель значимости имеет вид. Производим контрастирование на основе показателей значимости. В самой процедуре контрастирования есть только одно отличие – вместо проверки на наличие ошибок при предъявлении всех примеров проверяется, что новые выходные сигналы сети отличаются от первоначальных не более чем на заданную величину.

5.12. 4 Определение показателей значимости

Нейронная сеть двойственного функционирования может вычислять градиент функции оценки по входным сигналам и обучаемым параметрам сети

Показателем значимости параметра при решении q-го примера будем называть величину, которая показывает насколько изменится значение функции оценки решения сетьюq-го примера если текущее значение параметра заменить на выделенное значение. Точно эту величину можно определить произведя замену и вычислив оценку сети. Однако учитывая большое число параметров сети вычисление показателей значимости для всех параметров будет занимать много времени. Для ускорения процедуры оценки параметров значимости вместо точных значений используют различные оценки. Рассмотрим простейшую и наиболее используемую линейную оценку показателей значимости. Разложим функцию оценки в ряд Тейлора с точностью до членов первого порядка:, где– значение функции оценки решенияq-го примера при. Таким образом показатель значимостиp-го параметра при решенииq-го примера определяется по следующей формуле:

.

Этот показатель значимости может вычисляться для различных объектов.

Показатель значимости параметра зависит от точки в пространстве параметров, в которой он вычислен и от примера из обучающего множества. Существует два принципиально разных подхода для получения показателя значимости параметра, не зависящего от примера. При первом подходе считается, что в обучающей выборке заключена полная информация о всех возможных примерах. В этом случае, под показателем значимости понимают величину, которая показывает насколько изменится значение функции оценки по обучающему множеству, если текущее значение параметра заменить на выделенное значение. Эта величина вычисляется по следующей формуле:

.

В рамках другого подхода обучающее множество рассматривают как случайную выборку в пространстве входных параметров. В этом случае показателем значимости по всему обучающему множеству будет служить результат некоторого усреднения по обучающей выборке.

Существует множество способов усреднения. Рассмотрим два из них. Если в результате усреднения показатель значимости должен давать среднюю значимость, то такой показатель вычисляется по следующей формуле:

.

Если в результате усреднения показатель значимости должен давать величину, которую не превосходят показатели значимости по отдельным примерам (значимость этого параметра по отдельному примеру не больше чем ), то такой показатель вычисляется по следующей формуле:

.

5.13 Гибридные интеллектуальные системы

При построении систем распознавания образов, к которым относятся и диагностические системы, необходимо решить три главных задачи:

• отбор информативных признаков (традиционно – оффлайновые методы);

• моделирование объекта (процесса);

• принятие решения – выдача определенного управляющего воздействия.

Традиционно большинство систем распознавания для решения конкретной задачи используют какой-либо один метод классификации. Однако ни один метод классификации не является универсальным и абсолютно надежным, и разные методы, как правило, основываются на разной философии. Вследствие этого, методы, обеспечивающие одинаковую или близкую надежность классификации для всей обучающей и/или контрольной выборки в целом, для отдельных экземпляров могут давать разные результаты (это особенно характерно для экземпляров, находящихся на стыках границ классов).

Естественно, что подобные системы, построенные на основе одного классификатора, не будут удовлетворять высоким требованиям надежности, предъявляемым во многих областях промышлености. Поэтому крайне важно создавать гибридные системы классификации, интегрирующие различные модели и методы классификации.

В распознавании образов объединение множества классификаторов различной природы рассматривается как новое направление для разработки высоконадежных систем распознавания. При этом исходят из того, что комбинация нескольких классификаторов может давать гораздо лучший результат по сравнению с классификацией на основе какого-нибудь одного классификатора - для отдельных прикладных задач каждый из классификаторов может достигать различной степени успеха, но ни один из них не может быть совершенным или хотя бы удовлетворительным для всех приложений. Результаты работы нескольких классификаторов могут быть объединены для улучшения качества распознавания общей системы классификации.

Важность интеграции классификаторов может быть определена, исходя из следующих соображений:

- задача распознавания на основе интегрированной системы классификации может быть рассмотрена с различных сторон, что обеспечивает получение многостороннего (более объективного) результата;

- объединение классификаторов позволяет разделять многомерный входной вектор на несколько векторов меньшей размерности. Классификаторы по отдельности могут обрабатывать соответствующие векторы малой размерности параллельно. Результаты работы отдельных классификаторов затем могут быть объединены для получения конечного результата.

Метод интегрированной классификации эффективен для решения задач, которые содержат большое количество шумовых данных или имеют большую размерность. Интеграция различных классификаторов особенно полезна при решении задач диагностики, которые требуют высокой надежности распознавания и нечувствительности к шуму.

Но и этого не достаточно, поскольку построение эффективной модели объекта возможно только при наличии оптимального набора признаков, причем, для каждой модели, в общем случае, оптимальные наборы будут различными и одного только предварительного задания набора признаков на основе оффлайновых методов (предварительный физический анализ, планирование и т.п.) будет недостаточно. Поэтому необходимо многократное итерационное повторение комбинации “отбор признаков – построение модели ”.

Однако и этого не достаточно, поскольку, как правило, классификаторы содержат достаточное количество параметров, которые необходимо настроить вручную (для нейросетей – это количество слоев, количество нейронов в слое, структура связей, параметры алгоритма обучения). Для автоматизации этого процесса необходима разработка процедур развития (роста) модели.

Получив систему, состоящую из классификаторов, имеющих оптимальное для данного классификатора количество входов, необходимо оптимизировать их структуру (для НС – удалить (уменьшить) избыточные малоинформативные и усилить информативные связи при помощи алгоритма контрастирования).

Рассмотрев основные этапы диагностики, можно прийти к выводу, что их раздельная реализация неэффективна и для решения большинства прикладных задач целесообразно использовать некую гибридную интегрированную систему, включающую реализации различных блоков для решения рассмотренных задач. Структура такой системы может быть аналогична приведенной на рис. 5.8.

Как видно из рис. 5.12, процесс гибридной диагностики должен включать следующие этапы.

1. Предварительный отбор признаков на основе оффлайновых методов и статистического анализа.

2. Построение модели объекта.

2.1 Создание и обучение многоклассификаторной модели объекта.

2.2 Модификация параметров отдельных классификаторов для улучшения надежности классификации (выращивание НС).

2.3 Оптимизация нейросетевых моделей (отбор признаков и контрастирование).

2.4 Создание и обучение блока-интегратора.

3. Создание и обучение блока принятия решений.

Рис. 5.8 - Обобщенная схема гибридной диагностики.

Для построения гибридной системы диагностики, реализующей рассмотренные этапы и содержащей нейросетевые классификаторы предлагается использовать следующие алгоритмы.

Алгоритм функционирования гибридной системы диагностики.

Шаг 1. Задать набор признаков, характеризующих моделируемый объект и обучающую выборку.

Шаг 2. Произвести предварительный отбор информативных признаков.

Шаг 3. Построить и оптимизировать модель объекта.

Шаг 4. Проверить адекватность модели.

Шаг 5. Если модель адекватна, то перейти на шаг 6, в противном случае – изменить параметры модели и перейти на шаг 3 или, если количество итераций шагов 3-4 превышает установленный предел, перейти на шаг 7, выдав сообщение о невозможности построения адекватной модели.

Шаг 6.Построить блок принятия решений.

Шаг 7. Останов.