11. Физический смысл и информационная значимость собственных чисел в методе главных компонент.

Метод главных компонент осуществляет переход к новой системе координат y1,...,ур в исходном пространстве признаков x1,...,xp которая является системой ортнормированных линейных комбинаций

где mi — математическое ожидание признака xi. Линейные комбинации выбираются таким образом, что среди всех возможных линейных нормированных комбинаций исходных признаков первая главная компонента у1(х) обладает наибольшей дисперсией. Геометрически это выглядит как ориентация новой координатной оси у1 вдоль направления наибольшей вытянутости эллипсоида рассеивания объектов исследуемой выборки в пространстве признаков x1,...,xp. Вторая главная компонента имеет наибольшую дисперсию среди всех оставшихся линейных преобразований, некоррелированных с первой главной компонентой. Она интерпретируется как направление наибольшей вытянутости эллипсоида рассеивания, перпендикулярное первой главной компоненте. Следующие главные компоненты определяются по аналогичной схеме.

Вычисление коэффициентов главных компонент wij основано на том факте, что векторы wi=(w11,...,wpl)', ... ,wp=(w1p, ... ,wpp)' являются собственными (характеристическими) векторами корреляционной матрицы S. В свою очередь, соответствующие собственные числа этой матрицы равны дисперсиям проекций множества объектов на оси главных компонент.

Собственные числа матрицы ковариаций являются квадратами дисперсий вдоль ее главных осей. Если между входами существует линейная зависимость, некоторые из этих собственных чисел стремятся к нулю. Таким образом, наличие малых свидетельствует о том, что реальная размерность входных данных объективно ниже, чем число входов. При этом можно задать некоторое пороговое значение. Тем самым, достигается понижение размерности входов, при минимальных потерях точности представления входной информации.

12. Нейрон индикатор – правило обучения Хебба.

В простейшей постановке нейрон с одним выходом и d входами обучается на наборе d-мерных данных . Можно упростить рассмотрение, ограничившись линейной функцией активации. Выход такого нейрона является линейной комбинацией его входов:

Рис. Сжатие информации линейным нейроном

Амплитуда этого выхода после соответствующего обучения (т. е. выбора весов по набору примеров ) может служить индикатором того, насколько данный вход соответствует обучающей выборке. Иными словами, нейрон может стать индикатором принадлежности входной информации к заданной группе примеров.

Правило обучения отдельного нейрона-индикатора по-необходимости локально, т. е. базируется только на информации непосредственно доступной самому нейрону - значениях его входов и выхода.

Хебб заметил, что связь между двумя клетками усиливается, если клетки становятся активными в один и тот же момент времени. Если j-тая клетка с выходным сигналом связана с i-той клеткой, имеющей выходной сигнал , связь между ними , то на силу связи влияют значения выходных сигналов и . Формальное правило: .

Обучение нейрона Хебба можно проводить как с учителем, так и без него. При обучении с учителем вместо значения выходного сигнала используется ожидаемая реакция . Тогда правило обучения .

Правило Хебба характеризутеся тем, что в результате его применения веса могут принимать произвольно большие значения, поскольку в каждом цикле обучения происходит суммирование значения веса и его приращения . Один из способов стабилизации процесса обучения состоит во введении коэффициента забывания (рекомендуется ).

При обучении линейного нейрона по правилу Хебба стабилизация не происходит даже при использовании коэффициента забывания . Нестабильность можно устранить ограничением вектора весов за счет введения операция перенормировки. Однако этот метод достаточно сложен.