Алгоритм построения и оптимизации модели объекта.

Шаг 0. Задать набор классификаторов: определить используемые модели, начальные параметры моделей и методы обучения.

Шаг 1. Обучить все классификаторы на основе обучающей выборки.

Шаг 2. Для всех экземпляров обучающей выборки последовательно подать на входы классификаторов значения признаков для текущего экземпляра x^s, s=1,...,S, где S-количество экземпляров в обучающей выборке, и определить K_k^s - класс s-го экземпляра для k-го классификатора, k=1,..,G, где G – количество классификаторов.

Шаг 3. Набор результатов классификации K_вх={K_k^s} для всех экземпляров и классификаторов и набор фактических значений классов K={K^s} для всех экземпляров подать для обучения на входы и выход блока-интегратора, соответственно. Если в качестве блока-интегратора используется НС Кохонена, то подается только набор K_вх.

Шаг 4. Обучить интегратор моделированию зависимости между классами на выходах классификаторов и фактическим классом.

Шаг 5. Вычислить I_k - вклад k-го классификатора в формирование общего результата, k=1,2,...,G. Если в качестве блока-интегратора используется НС Кохонена, то I_k могут быть определены как информативности входов НС на основе алгоритма отбора информативных признаков.

Шаг 6. Для классификаторов, у которых , выполнить процедуру оптимизации структуры (контрастировать связи и / или оценить информативность и осуществить отбор признаков).

Для классификаторов, у которых , если возможно,выполнить процедуру выращивания, иначе исключить классификатор из системы.

Шаг 7. Если значимость классификатора в процессе P повторений шагов 1-6 меньше определенного заданного числа, то исключить классификатор из системы, иначе – перейти на шаг 1.

Выход из цикла, определяемого шагами 1-7, осуществляется, если будет выполняться хотя бы одно из условий:

1) количество классификаторов G2;

2) достигнуты пределы увеличения / сокращения структуры для всех классификаторов (дальнейшее применение алгоритмов контрастирования и выращивания нецелесообразно);

3) требуемая точность классификации достигнута;

требуемая точность классификации недостигнута в течение заданного времени.

Алгоритм контрастирования многослойной нейронной сети.

Шаг 0. Сохранить текущий набор значений весов и порогов сети.

Шаг 1. Задать или вычислить по определенному правилу граничное значение значимости весов. В качестве такого значения, например, можно использовать среднее арифметическое значение модулей весов и порогов сети.

Шаг 2. Все веса |w _j ^(,i)|< , гдеw _j ^(,i)– весj-го входаi-го нейрона -го слоя НС, уменьшить на основе правилаw _j ^(,i)= R^-( w _j ^(,i)), где , i, j удовлетворяют заранее определенным правилам и ограничениям.

Шаг 3. Все веса |w _j ^(,i)|увеличить на основе правилаw _j ^(,i)= R⁺( w _j ^(,i)), где , i, j удовлетворяют заранее определенным правилам и ограничениям.

Шаг 4. Для всех экземляров обучающей выборки x^s, s=1,...,S вычислить значение суммарной ошибки сетиError.

Шаг 5. Если Error<MaxError, гдеMaxError – некоторое заданное максимальное граничное значение ошибки сети, то перейти на шаг 0, в противном случае – перейти на шаг 6.

Шаг 6. Восстановить предыдущие значения весов и порогов сети.

Шаг 7. Останов.

В качестве правил R(w) предлагается использовать:

или

или

,,

где

где - заранее заданные константы.

При задании этих констант следует руководствоваться следующими соображениями:

1. слишком большие значения констант могут существенно ухудшить результат и затруднить процесс обучения;

2. слишком малые значения констант могут привести к существенному увеличению времени работы алгоритма контрастирования;

3. чем меньше значения констант, тем меньше будет дополнительная ошибка классификации, возникающая после выполнения алгоритма контрастирования.

В отличие от большинства других алгоритмов контрастирования, предполагающих удаление малоинформативных связей, данный алгоритм осуществляет последовательное увеличение больших весов и уменьшение малых, что позволяет более гибко осуществлять процесс контрастирования.

Алгоритм выращивания сети.

Шаг 0. Инициализация: =1.

Шаг 1. Если количество нейронов в -ом слое сетиN меньше определенной величины , то увеличить количество нейронов в -ом слое в соответствии с правиломN= N⁺(N), где N⁺(N) может определяться одним из выражений:

где - заранее заданные константы,и перейти на шаг 4, в противном случае – перейти на шаг 2.

Шаг 2. Если <M, то положить: =+1и перейти на шаг 4, в противном случае – на шаг 3.

Шаг 3. Если =M и M<M_max, где M_max – максимально допустимое количество слоев НС, то положить: M=M+1, N_M=1 и перейти на шаг 2, в противном случае – на шаг 4.

Шаг 4. Останов.

При задании констант следует учитывать следующие соображения:

1. при увеличении значения сеть будет расти быстрее;

2. значения должны быть больше нуля;

3. константа должна быть целым числом;

4. если константа - не является целым числом, то значениеN⁺(N) должно округляться.

5. с увеличением значения снижаются возможности роста сети.

Построение блока принятия решений.

Основная задача блока принятия решений – обработка результата классификации для данного экземпляра и выдача соответствующих управляющих сигналов, определенных для данной ситуации.

Блок принятия решений можно строить различными способами:

1) на основе жестко заданных правил «Если (условие), то (действие)».

2) на основе нечеткой логики.

3) на основе нейросетевых моделей.

Последний вариант является более предпочтительным в тех случаях, когда нет заранее формализованных правил принятия решений, а есть только некоторое множество кортежей (пар данных), состоящих из описания ситуации и решения, которое целесообразно принять в такой ситуации.

Схема интегрированной системы нейросетевой классификации показана на рис. 5.9 Она состоит из подсистемы классификации и блока интеграции.

Рис. 5.9 - Интегрированная система классификации.

На входы классификаторов подаются входные наборы данных, на выходы классификаторов – выходные наборы данных. Для каждого классификатора производится обучение, после которого по данным на входе он должен на выходе выдавать значения незначительно отличающиеся от желаемых. Выходы отдельных обученных классификаторов подаются на входы блока-объединителя. Количество возможных классификаторов определяется входной размерностью блока-объединителя.

В качестве блока-интегратора можно использовать нейросетевые, статистические, эвристические и другие модели. Рассмотрим наиболее просто реализуемые и, в тоже время, наиболее обоснованные модели.

Карта признаков самоорганизации Кохонена имеет ряд свойств, которые позволяют использовать ее как блок интеграции в методе интегрированной классификации. Использование самоорганизующейся карты Кохонена обусловлено подобием ее работы некоторым механизмам функционирования человеческого мозга. Мозг организован так, что различные сенсорные входы представляются топологически упорядоченными вычислительными картами. В частности, сенсорные входы осязательного, визуального и акустического типа отображаются на различные области коры головного мозга топологически упорядоченным способом. Таким образом, карта Кохонена представляет собой базовый конструктивный блок в инфраструктуре обработки данных возбужденной системы.

Как известно, обработка информации в человеческом мозге связана с извлечением значений из данных внешнего мира и последующим их объединением. Например, распознавание объекта часто определяется интеграцией систем зрения, осязания, слуха и обоняния. Карта Кохонена подобна биохимической отображающей модели мозга. Доказано, что объединение с использованием НС Кохонена соответствует человеческому способу распознавания. Следовательно, карты Кохонена целесообразно использовать в качестве блока-интегратора.

Карты Кохонена обладают рядом свойств, желательных для блока-интегратора:

- они способны аппроксимировать входное пространство;

- карты Кохонена осуществляют топологическое упорядочение данных;

- НС Кохонена учитывает статистические характеристики, присущие данным.

Последнее свойство особено важно для решения задачи интеграции классификаторов. НС Кохонена объединяет выходы отдельных классификаторов согласно распределениям их вероятностей.

Использование НС Кохонена в качестве блока-интегратора делает метод интегрированной классификации нечувствительным к корреляции отдельных классификаторов, что объясняется конкурирующим принципом работы НС.

Другой моделью для блока-интегратора может служить усредненная взвешенная сумма выходов классификаторов, учитывающая некоторым образом их значимость (чем выше безошибочность работы соответствующего классификатора, тем выше его значимость). Если на выходах классификаторы будут выдавать значения 0 или 1, то класс на выходе блока-интегратора K можно будет определить по формуле:

,

где G - количество классификаторов, - значимость выходаi-го классификатора, K_i - значение на выходе i-го классификатора, - некоторый коэффициент, позволяющий регулировать влияние малозначимых классификаторов на общий результат,round – функция округления.

Значения могут быть найдены разными способами. Например, в качествеможно использовать вероятности правильной классификации:

,

где s-количество экземпляров обучающей выборки; N_прав. – количество экземпляров обучающей выборки, для которых произведена правильная классификация.

При выборе значения коэффицента следует учитывать следующие соображения:

1) значения коэффициента должны быть больше нуля;

2) в простейшем случае, когда нет необходимости регулировать влияние малозначимых классификаторов, коэффициент можно принять равным единице;

3) с увеличением коэффициента вклад малозначимых классификаторов будет существенно снижаться.