Задание 2

В ходе первого задания вы могли убедиться, что сеть Кохонена способна развернуться на пространстве образцов, занимая все его пространство. Однако речь в предыдущем задании шла о регулярно заполненном пространстве. Что будет с сетью, если пространство заполнено фрагментарно?

Для поиска ответа на этот вопрос подготовьте массив, который будет являться частью массива, использованного в предыдущей задаче.

А	B
0	0
0	1
0	2
0	3
…	…
5	5

В нем должны остаться не все 36 элементов, а лишь 20 элементов, расположенных на границах пространства образцов.

Может создаться впечатление, что в этом случае сеть поведет себя так же, как и в предыдущем задании. Угловые элементы попадут в угловые ячейки сети, а остальные выстроятся вдоль ее границ. Предположительно, матрица попаданий примет следующий вид.

Действительно, если сеть стремится максимально расправиться на пространстве образцов, то такой случай будет для нее наилучшим. Но достижим ли подобный результат на практике?

Постройте сеть с теми же параметрами, что и в прошлой задаче: ее топология должна представлять собой сеть из 11х11 прямоугольных ячеек. Обучите сеть в течение 500 эпох.

Выглядит ли матрица плотности попадания так, как мы предполагали выше? Как расположены в ней угловые элементы?

Скорее всего, вы не увидите ожидаемого распределения. Но, вероятно, что это связано со временем обучения. Как вы могли убедиться в ходе выполнения предыдущего задания, обучение проходит неравномерно, и не всегда пятисот эпох, выставленных по умолчанию, достаточно для хорошего обучения самоорганизующихся карт Кохонена.

Вероятно также, что лучший результат будет достигнут при ином способе инициализации начальных весов. Поэтому попробуйте обучить три одинаковых сети с различными способами начальной инициализации, постепенно увеличивая в каждом случае число эпох обучения.

Во время обучения следите за изменением средней и максимальной ошибок на обучающем множестве на графике. Как правило, в начале обучения график будет выглядеть как монотонно уменьшающаяся линейная функция. Если обучение заканчивается на этом этапе, то, вероятно, это не лучший результат: можно предположить, что ошибка и впредь будет снижаться. В этом случае увеличьте число эпох обучения.

По истечении некоторого числа эпох вы можете увидеть, что ошибка резко падает вниз и затем перестает изменяться. График превращается в горизонтальную линию. Если в течение нескольких сотен эпох не происходит никаких изменений, вероятно, продолжать обучение бессмысленно. Сеть достигла предела обучения.

После какой эпохи наступает резкое падение ошибки для сетей с разным способом инициализации начальных весов? Одинаков ли порядок итоговой средней ошибки для разных сетей? Достигла ли хотя бы одна из сетей ожидаемого распределения?

Вы можете увидеть, что ожидаемого распределения не происходит. Вероятно, вы увидите матрицу плотности попадания, подобную изображенной ниже.

Разумеется, ваше изображение может отличаться, но скорее всего, вы увидите, что нейроны-победители расположены не по периметру карты. Однако довольно часто можно увидеть, что образцы в основном расположены через одну ячейку – это является свидетельством того, что по крайней мере в некоторых местах сеть развернулась на всю ширину.

На самом деле, массив, который был использован в задаче, является одним из самых сложных случаев для самоорганизующихся карт Кохонена. Его элементы представляют собой почти кольцеобразную структуру; таким образом, каждый из образцов оказывается практически в одинаковом положении. Среди них нет центральных и удаленных, каждый имеет по два соседа. Проблема кластеризации такого множества вряд ли имеет однозначное решение. Так, сложно найти аргумент в пользу того, какая из прерывистых прямых лучше делит пространство образцов на два кластера.

Представленное на матрице плотности попадания распределение не является лучшим. Во всех случаях хотелось бы, чтобы близко расположенные объекты исходного множества располагались на карте Кохонена близко, а далекие друг от друга – далеко. Видно, что здесь этого не происходит.

Найдите на матрице плотности попадания близко расположенные ячейки, в которых размещены близкие элементы исходного множества. Найдите столь же близко расположенные ячейки, в которых содержатся достаточно удаленные исходные образцы.

Впоследствии мы увидим, что обычное линейное расстояние на карте Кохонена не всегда отражает реальное распределение в пространстве образцов. Карта Кохонена представляется как совокупность одинаковых, равноудаленных от соседей ячеек, но на самом деле размещение нейронов в пространстве не так однородно. Расстояния между парами соседних нейронов в большинстве случаев различно.

Однако несомненно, что наиболее наглядным вариантом было бы сохранение топологии исходного массива, как в предыдущем задании. Но, как вы видите, сети Кохонена не всегда могут решить такую задачу.