книги / Нейронные сети для обработки информации

В качестве примера, иллюстрирующего разложение на главные компоненты, рассмотрим фактическую корреляцию, существующую между длиной, шириной и высотой особей, составляющих популяцию черепах [29]. Вектор измерений л в этой ситуации образуют три компонента: длина <7, ширина $ и высота IV: х = [</, з, IV]. Т. П.Жоликур и Ж.Мосмаин [29] провели измерения этих параметров для популяции размером р = 24 особи. Была получена матрица корреляции Кп в виде

'451*3 27],2 16В,7

КГГ 271,2 171,7 103,3 168,7 103,3 66,65

Декомпозируя эту матрицу по собственным значениям, получаем А | = 680,37, А2 = 6,43, А ] = 2,81, а также сопряженные с ними собственные векторы:

На их основе определяется матрица IV = [н>|, и^, и^]г преобразования РСЛ в виде

а также диагональная матрица Ь, образованная собственными значениями А |,А г, А} матрицы Кл , Ь = Ла§[680,37, 6,43, 2,81].

Наибольшее собственное значение Я | = 680,37 определяет первый глав­

том, что доля первого главного компонента о суммарной вариации данных составляет 98,66%. При восстановлении длины, ширины и высоты черепахи на основании вектора у можно ограничиться его наибольшей составляющей у\ я проигнорировать остальные, так как они не несут существенной информациоиной нагрузки. Это означает возможность трехкратного уменьшения количества обрабатываемой информации.

При обсуждении преобразования РСЛ следует подчеркнуть связь между собственными значениями матрицы автокорреляции и особенными значения­

ми 3]матрицы X, составляющими матрицу Кя (К „ = —ХХГ). Особенные зна­

чения з/ образуют 11ссвдодиаганалы1ую матрицу 5, которая является одной из составляющих ЗУО-разложслля матрицы X. ЗУО-разложешге этой матрицы определяется формулой

нальиая матрица $е КЛхр содержит неотрицательные диагональные элементы. Разложение Кп на К главных компонентов соответствует выделению при ЗУОразложении матрицы X только К наибольших особенных значении и сопря­ женных с ними К столбцов матриц И и V.

Кроме того, существует тесная связь между собственными значениями

Вследствие пссвдоднагональности матрицы 8 произведение этой матрицы на $г дает диагональную матрицу О с элементами, равными квадратам элемешов ц матрицы 8, т.е.

О= <Кав[5,3 ,5? ,.... я» ).

Врезультате получаем:

со столбцами ортогональной матрицы I/, полученной в результате 8УЭразложелня матрицы данных X.

Аналогичным образом можно доказать, что при левостороннем умножении

В этом случае роль матрицы О принимает на себя матрица V, также полученная в результате 8УО-раэложсння матрицы X.

Стандартные методы определения собственных векторов (продолжение декомпозиции <}К [42]) матрицы Нм при больших размерностях векторов.кимеют значительную вычислительную сложность, поэтому на практике более эффективными оказываются адаптивные методы, основанные ив обобщенном

(ш1гл.: АдарГме Рппара! сотропеп/ ЕХ1гасИон). Подробности их реат можно найш в книге Диама(|тараса и Кунга (29].

Преобразование РСА чаще всего применяется для компрессии данных, при котором большое количество входной информации заменяется уменьшенной дозой, содержащейся в векторах у н В зависимости от степени сжатия (количества главных компонентов РСА) можно получить различное качество восстановления данных.

Для примера па рис. 10.4 представлены три изображался "Лена”, реконст­ руированные на основе 1,3 и 5 тайных компонентов РСА [92]. Образ, подверг­ нутый компрессии, имел размер $12x512 пикселов и был разделен на кадры размером 8 x 8 . Качество восстановленного изображения сильно зависит от количества К главных компонентов, учитываемых при восстановлении. Чем больше этих компонентов, том выше качество изображения и одновременно тем меньше коэффициент компрессии. Изображение на рис. 10.4а соответствует коэффициенту компрессии около 64, на рис. (0.46 - около 21, а иа рлс. 10.4в - около 12. При наибольшей степени сжатия (при одном главном компоненте) на изображении сильно заметны отдельные кадры. Изображение, восстановленное на оскопс пяти главных компонентов, зрительно нс отличается от оригинала. Коэффициенты Р5ЫК, полученные для этих образов, равны соответственно 18,80 дБ, 25,43 дБ и 27,58 дБ.

10.3.Нейронные ЮА-сети Херольта-Джуггена

10.3.1.Предварительные пояснения

Сети Херольта-Джуттсна [62] - это линейные сети с самоорганизацией, использующие обобщенное правило Хсбба и относящиеся к классу корреля­ ционных сетей. Их концепция было сформулирована в середине восьми­ десятых годов XX века профессорами Дж. Херольтом и К. Джулепом за Гренобля [62, 63]. Первоначально эти сети применялись для так называемой слепой сепарации сигналов. В настоящее время они выполняют и многие другие функции, в том числе анализ главных компонентов РСА, анализ независимых компонентов 1СА (вит.: Ыерепден! СотронегМ АнЫуа!з), сглаживание и т.п. Первичная структура сети была рекуррентной. В настоящее время часто используются также однонаправленные сети. Независимо от способа соединения нейронов между собой, эти сети обычно имеют адаптивную линейную структуру, обрабатывающую сигналы а режиме реального времени (ошзаГш). Нелинейные функции, применяемые в алгоритмах обучения, играют очень важную роль при уточнении весов, нс оказывая влияния на саму структуру взвешенных связей.

Оригинальное решение Херальтп-Джугтена касалось проблемы сепарации сигналов г,(0 иа осиово информации, содержащейся в их линейной суперпозиции.

адаптивный алгоритм, использующий критерии статистической независимости сигналов и функционирующий в режиме "онлайн”, который можно представить в виде системы дифференциальных уравнении

обратные связи отсутствуют, ту» а 0). Значение коэффициента обучения 1| (/), как правило, умсиыипсгся в процессе обучения до нуля. Фуиктцш/у) и$0’) нечетны и не равны между собой, Ду) # $(у). Следует отметшъ, что зависимость (10.41) представляет собой нелинейное обобщение простого правила Хебба.

На практике применяются различные виды функций Дх) и ^(х), чаще всего одна из них имеет В1.1пуклую, а вторая - вогнутую форму. Наиболее популярны представленияДх) = .т3, Дх) = .т5. Относителыю функции $(х) можно сказать, что хорошие результаты достигаются при я(.т) = 1алН(х), #(.г) = атс1в(х), #(х) =х, $(х) = 5вп(х) и т.д.

О работе [62] было доказано, что обе функции Д ) и $( ) соответствуют статистическим моментам высших порядков, что в случае статистической независимости еншалов автоматически обеспечивает равенство нулю средних значении {/(3'Дг))^(уу(0)), гарантирующее сходимость алгоритма обучения.

Правило обучения, определенное выражением (10.41), может быть записано в

Чаще всего коэффициент обучения г](г) имеет в начальный момент фикси­ рованную величину, уменьшающуюся по показательному закону в зависимости от времени обучения г.

Следует обратить внимание, что адаптивная зависимость (10.42) относится к переменным компонентам сигналов. ГТри наличии постоянной составляющей ее следует отфильтровать. Для этого обычно применяется фильтр первого или второго порядка, выходной сигнал которого воспринимается как переменная составляющая х//) хДг)* г](г), аде »|(/) обозначает импульснуюревкито фильтра, а * - обозначение свертки.

Экспериментальные исследования сети Херольта-Джуггена, проведенные как с помощью компьютерного моделирования, так и в процессе ее технической реализации, подтвердили хорошую сходимость плгорнтма и возможность разделения многих статистически независимых сигналов различной структуры, но при 01рп1111ченных соотношениях амплитуд отдельных компонентов сигналов, подлежащих сепарации.