21. Обработка данных методом независимых компонент.

Анализ независимых компонент (independent component analysis) – это статистический вычислительный метод для обнаружения скрытых факторов, лежащих в основе набора случайных величин, измерений или сигналов.

Задачей анализа независимых компонент (Independent Components Analysis, ICA) является разложение наблюдаемых случайных переменных xj в линейную комбинацию независимых случайных величин sk:

xj=aj1s1+aj2s2+...+ajnsn для всех j.

Основными предположениями, используемыми в данном методе, являются независимость компонент sk и, то, что их распределение отлично от нормального (non-gaussian). Алгоритм вычисления независимых компонент опирается на центральную предельную теорему, утверждающую, что при определенных условиях сумма независимо распределенных случайных величин стремится к нормальному распределению по мере увеличения количества слагаемых. Использую это утверждение, поиск независимых компонентов, как линейных комбинаций наблюдаемых переменных, ведется таким способом, чтобы получить независимые случайные величины, распределение которых максимально далеко от нормального. Степень близости распределения случайной величины к нормальному измеряется различным способами.

По своей формулировке, ICA близок к методу главных компонент (PCA) и факторному анализу (FA), однако имеет ряд существенных различий:

- В ICA существенно используется предположение о том, что распределения независимых компонент отличны от нормального, что дает возможность интерпретировать ICA как FA для неортогональных факторов, с распределением отличным от нормального;

- В ICA понижение размерности не является целью, в отличии от FA и PCA;

- PCA добивается того, чтобы проекции векторов исходного набора на оси главных компонент были некоррелированы, в то время как ICA добивается их независимости (более сильное условие);

- Оси PCA ортогональны, в то время как оси независимых компонент – необязательно.

22. Нс и статистика – связь и отличия.

Благодаря своим способностям к самоорганизации и обучению, искусственные нейронные сети сейчас рассматриваются как перспективные средства для интеллектуальных систем. Архитектура и функции таких сетей строятся на основе биологических структур мозга. Характерные черты нейронных сетей — параллельность, распределенность, самоорганизация.

Распределенная память означает, что информация хранится по многим адресам, распределенным образом, так что каждый элемент данных представляется шаблоном активности, распределенным по многим вычислительным элементам, и каждый вычислительный элемент участвует в представлении многих различных элементов данных. В обычных компьютерах реализуется локальная память, или локальное представление, в котором используется один вычислительный элемент для каждого элемента данных. На основе распределенной архитектуры представления информация в нейронных сетях может дробиться и обрабатываться по частям.

Последнее из характерных свойств нейронных сетей — самоорганизация — называется также способностью к обучению. Нейронные сети могут автономно «изучать» статические и динамические свойства управляемого объекта на основе результатов измерений, производившихся в прошлом, а затем действовать таким образом, чтобы принять лучшее решение при неизвестном состоянии внешней среды

В большинстве бионических моделей нейронных сетей в качестве основных постулатов являются следующие:

· входные воздействия на нейрон могут быть возбуждающими или тормозящими;

· реакция нейрона делится на подпороговую и надпороговую;

· для подпороговой реакции характерна линейность процессов;

· надпороговая реакция связана с подпороговой с помощью нелинейной функции активации;

· процессы передачи сигналов по аксону не вносят существенных искажений в сигналы, сгенерированные телом нейрона;

· синаптические связи между активными нейронами усиливаются (правило Хэбба).

Основополагающим моментом в теории нейросетей является предположение о том, что нейроны можно моделировать относительно простыми искусственными конструкциями, а сложность мыслительных процессов определяется связями между ними. Такое представление позволяет из относительно несложных элементов конструировать достаточно сложные системы, обладающие рядом свойств:

· однородностью, так как элементы одинаковы и просты, а процессы и функции определяются структурой связи;

· высокой степенью общей надежности системы при формировании ее из отдельных ненадежных элементов;

· «голографичности» — при разрушении случайно выбранной части система сохраняет свои полезные свойства.

Между НС существуют отличия, связанные с архитектурой НС и законами их функционирования. Разновидности НС:

- многослойные сети

- монотонные слоистые сети

- полносвязные сети

- рекуррентные сети

- слоисто-полносвязные сети

- полносвязно-слоистые

- сети Хэмминга

- карты Кохонена

- вероятностная нейронные сети и т.д.