вопросы лр 3 и 4

Контрольные вопросы к лабораторной работе №3

1. Какая ИНС называется автоассоциативной? В чем особенности её обучения?

Автоассоциативные сети относятся к категории ИНС типа многослойного персептрона и отличаются рядом характерных особенностей:

• число входов и выходов сети одинаково и равно размерности исходного пространства n;

• сеть содержит по крайней мере один скрытый слой с числом нейронов m<n, т.е. своего рода “узкое горло”, осуществляющее сжатие информации;

• в качестве требуемых значений на выходе сети используются значения подаваемые на вход сети, т.е. сеть старается как можно точнее воспроизводит входные значения на выходе сети.

Сеть можно обучать с помощью любого из методов обучения с учителем (например одним из градиентных методов – Back Propagation и т.д.). В данном случае для каждого входного вектора Xr=x1r, x2r, …, xnrT, r = 1…N обучающей выборки в качестве образцовых значений Tr – используется тот же входной вектор, т.е. Tr = Xr.

В случае использования двухслойной сети с нейронами, имеющими линейную функцию активации можно доказать, что функция ошибки имеет единственный глобальный минимум и что по достижении этого минимума сеть осуществляет преобразование, аналогичное методу главных компонент (МГК).

Так как число нейронов в скрытом слое уменьшено, то идеального воспроизведения входных данных на выходе ожидать не приходится, т.е. на выходе сети данные будут воспроизводится с некоторыми потерями

2. Как оценивается степень сжатия данных при использовании автоассоциативной ИНС?

3. Аналогом какого классического метода снижения размерности может считаться снижение размерности с помощью автоассоциативная ИНС и при каких параметрах обучения?

МГК это статистический метод, осуществляющий некоторое линейное преобразование, при котором сохраняется наиболее важная информация об изучаемом объекте. Преобразование, осуществляемое МГК позволяет заменить исходные коррелированные данные Xi, i =1,…,n на статистически независимые компоненты Zj, j =1,…,n, которые затем легко проранжировать в порядке убывания их дисперсий:

Обычно первые m главных компонент наиболее информативны, беря на себя бóльшую часть рассеяния исходной n-мерной совокупности экспериментальных данных. В качестве меры их информативности используется отношение:

(2.11)

Дисперсия неучтенных остатков равна сумме дисперсий, соответствующих отброшенным главным компонентам.

Сама процедура определения главных компонент сводится к вычислению собственных чисел ковариационной матрицы , что, вообще говоря, является нетривиальной операцией.

С общих позиций основным недостатком МГК является линейный характер используемого в нем преобразования данных. Если их структурные особенности носят нелинейный характер, то выявить данное обстоятельство с помощью МГК не удастся. Можно предположить, что ограничения, связанные с использованием линейной функции активации в двухслойной сети преодолеваются, если использовать нелинейные функции активации для ее скрытого слоя. Однако установлено, что такое изменение не приводит к изменению характера сжатия информации, и что сеть по прежнему осуществляет линейное преобразование подобное методу главных компонент. Единственное отличие состоит в том, что значения, полученные в скрытом слое сети уже не обязательно лежат в ортогональном пространстве. Кроме того, из-за нелинейностей функция ошибки сети в пространстве весовых коэффициентов может при обучении попасть в локальный минимум. Следовательно, добавление нелинейных функций активации для двухслойной автоассоциативной ИНС не приводит к улучшению ее характеристик с позиций решения задачи редукции (уменьшения) размерности.

4. С помощью каких ИНС можно решать задачи прогнозирования?

5. Зависит ли результат прогноза от вида используемой ИНС (гомогенная/гетерогенная сеть)?

Функция активации нейронов (характеристическая функция)   - нелинейный преобразователь, преобразующий выходной сигнал сумматора (см. рис. 1.5) - может быть одной и той же для всех нейронов сети. В этом случае сеть называют однородной (гомогенной) . Если же   зависит еще от одного или нескольких параметров, значения которых меняются от нейрона к нейрону, то сеть называют неоднородной (гетерогенной) .

6. Можно ли использовать для прогнозирования и сжатия данных сеть с радиально-базисными функциями?

7. Какие ИНС могут использоваться в задачах распознавания образов?

Контрольные вопросы к лабораторной работе №4

1. Какова структура сети Кохонена? Для решения каких задач предназначена эта сеть? С помощью какого алгоритма обучается?

Структура сети: сеть с прямым распространением сигнала,

Входные нейроны – разветвители. Затем идет слой нейронов Кохонена: нейроны расположены на плоскости, образуя матрицу. 𝑚 − должно быть равно предполагаемому количеству классов. Необходимо заранее определить.

Назначение: решение задач классификации, когда в обучающей выборке нет информации о принадлежности предъявляемого входного образа к классу.

2. Объясните принцип алгоритма обучения без учителя. Каков критерий останова процедуры обучения сети Кохонена?

Обучение без учителя: сеть в ходе самоорганизации сама должна выявить внутреннюю структуру данных, некоторую общность, присущую различным образам

Метод обучения: конкурентное обучение. Нейроны Кохонена обладают коллективным поведением. При предъявлении входного образа, каждый из нейронов формирует свой внутренний сигнал. Среди всех нейронов выделяется только один нейрон-победитель, имеющий максимальное значение внутреннего сигнала . .

3. Как инициализируются весовые коэффициенты сети перед началом обучения? Зачем нужна нормировка входных векторов и весовых коэффициентов?

Формирование начальных значений (малых, ненулевых) производится с помощью генератора равномерно распределенных случайных чисел.

Для адекватной оценки нейрона-победителя. Без нормировки модули ВК-ов различны, после – все вектора находятся внутри сферы единичного радиуса. Нейрон-победитель – тот, у которого ВК коллинеарен входному воздействию.

4. Объясните, с помощью какого алгоритма в Statistica Neural Networks осуществляется присвоение меток кластеров нейронам сети Кохонена?

Процесс присвоения меток обычно включает следующие шаги:

1. Обучение сети: Сначала нейронная сеть обучается на наборе данных. В процессе обучения каждый нейрон адаптируется к различным паттернам данных, и те нейроны, которые наиболее близки к данным, становятся "победителями".

2. Классификация: После завершения обучения каждый нейрон, который был активирован в процессе обучения, анализируется на предмет того, к какому классу данных он наиболее часто реагировал. Это может быть сделано путем подсчета количества входных векторов, принадлежащих каждому классу, для каждого нейрона.

3. Присвоение меток: На основе полученной информации о классах, к которым принадлежали входные данные, каждому нейрону присваивается метка кластера, которая соответствует классу, на который он реагировал чаще всего.

5. Пояснить, можно ли использовать сеть Кохонена для сжатия данных?

Можно. Мы из пространства множества критериев и переходим в пространство классов.

6. Что общее у сетей Кохонена и многослойного персептрона и чем они отличаются?

Отличаются алгоритмом обучения. Схожи по структуре.

7. Какой результат можно ожидать при обучении сети Кохонена при количестве выходных нейронов, меньшем (большем) числа обучаемых классов?

Конкурентное обучение с одним победителем – нейроны не будут использованы. Со многими победителями – вокруг нейрона-победителя сформируется соседи-победители в этой области.