3 Методология проектирования динамических нейронных сетей
3.1 Моделирование обучения основанного на нейронной сети
Соответствие между обучением спортсменов и сетевым обучением интуитивно ясно, на абстрактном уровне понимания, но это довольно трудно объяснить, если углубиться до технических концепций и деталей. Это связано с тем, что анализируемый процесс обучения спортсменов, сложен, равно как и использование нейросетевого подхода, и, в частности, нейросеть со своими процедурами является сугубо техническим материалом. Таким образом, для того, чтобы сделать подход более прозрачным, более простой пример из баскетбола представлен в дополнении. Это необходимо потому, что творческие данные, которые представляют основную часть представленного проекта, имеют высокую пространственную структуру и вряд ли могут быть представлены в графическом виде.
Группа баскетболистов отрабатывает штрафные броски. Во время тренировки каждый игрок получает серию штрафных бросков, шаблоны движения и успешные значения которых записываются. Четыре примера 5-ступенчатого процесса обучения, представлены на рисунке 3.1, с пятью уровнями качества, начиная от очень плохо (внизу) к плохо, удовлетворительно и от хорошо к отлично (сверху). Броски на изображении T10 в среднем
Рисунок 3.1 - Серии бросков четырех игроков (T10, T21, T2, и T13) оценённые по шкале качества, начиная от "очень плохо" (снизу) к "отлично" (сверху).
демонстрируют результат очень плохо, в то время как на T21, они более или менее стабилизированы на уровне отлично. T2 показывает удивительное снижение успеха обучения, а T13 ожидаемое повышение, кончающееся, однако, заметно плохими бросками.
Два основных этапа, которые необходимы для того, чтобы развивать моделирование творчества основанное на нейросети:
Временные ряды успешного обучения могут быть проанализированы с помощью KFM подхода для того, чтобы найти и выделить типы зависимых от времени шаблонов обучения.
Другой тип нейронных сетей должен быть использован для моделирования этих процессов обучения - для того, чтобы в конечном итоге планировать и оптимизировать эти процессы в отдельности.
Задача основанного на нейросети анализа может быть решена с помощью динамически управляемых сетей (DyCoN, Перл, 2004), которые являются производными от KFM, то есть могут обучаться непрерывно. Это не в последнюю очередь оказывает влияние на возможность кластеризации. Обычные статистические и/или другие математические методы кластеризации, как главный или независимый компонент анализа, вейвлет-преобразования или K-средних алгоритмов считают данные структурные знания как количество, распределение и соотношение кластеров которые должны быть найдены (Шизас, Патичес, и Миддлтон, 1992). Данные, которые будут организованы в кластеры, должны быть репрезентативными и конструктивно совместимы с имеющимися статическими наборами данных. В качестве расширения K-среднего метода, карта самоорганизации добавляет родственные функции, которые контролируют подготовку и процесс кластеризации, преимущество которого показано на примере штрафных бросков в следующем.
В левой части рисунка 3.2 показана обученная нейронная сеть из примера в баскетболе, где небольшие цветные квадраты являются нейронами. Каждый нейрон содержит или представляет собой специальный шаблон или тип броска, который он запомнил во время процесса обучения. Нейроны, которые представляют собой достаточно схожие типы, получают похожий цвет, то есть, они создают кластеры или семантические группы. Видно, что есть в основном два кластера (темно-серый и серый), которые доминируют в сети. Можно ожидать, что эти группы представляют собой основные качества, такие как "хорошо" и "плохо".
Изображение посередине на рисунке 3.2 показывает семантическую интерпретацию или калибровку сети, которая основана на экспертной оценке. Эксперты на первом этапе оценивают отдельные броски, чтобы определить их как хорошие или плохие. Снабжая сеть плохими и хорошими бросками, тестирующий алгоритм распознает соответствующие нейроны и их цвета: соответственно темно-серый (для плохих) и серый (для хороших). Также могут быть светло-серые нейронов, которые представляют оба типа бросков в тех случаях, когда трудно решить что выбрать. Кластеризация и калибровка на рисунке 3.2 показывают аналогичные структуры: темно-серый кластер представляет плохие броски, а серый кластер представляет хорошие. Кроме того, очевидно, существуют промежуточные
Рисунок 3.2 - Слева: самоорганизованные кластерные структуры закодированные цветами обученный сети. По середине: откалиброванная сеть с областью хороших бросков (серая пунктирная линия), областью плохих бросков (темно-серая сплошная линия), а также областью неопределенных бросков (светло-серая двойная линия ). Справа: семантическая сеть представляет качество оценки бросков по шкале от темно-серого (сплошная линия), "очень плохо" до серого (пунктирная линия) "отлично".
области, которые дают основания для более детальной семантической спецификации. Результат показан в правой части рисунка 3.2: соответствующие кластеру структуры, также как калибровки, специалисты разработали пятиуровневое масштабирование карты цветов от очень плохого (темно-серый) до отличного (серый).
Теперь, если бросок является входящими данными для тестирования программного обеспечения для анализа сети, алгоритм тестирования находит соответствующий нейрон, и цвет этого нейрона указывает на качество исследуемого броска. Результаты того, как это было произведено, показаны на рисунке 3.1.Такой подход помогает при анализе серии снимков во время обучения, но не может выявить нестандартные или даже творческие действия. Причина в том, что способ изучения поведения стандартной сети KFM типа (как использовалось выше) является статическим, и ориентированным на массивы данных, и не в состоянии адаптироваться к динамичным изменениям данных, а также полностью пренебрегает редкими (отдельными) событиями.
Только расширенный SOM подход позволяет DyCoN выполнять динамическое изменение численности популяций и данных для обучения используя авторегулируемые индивидуально обученные нейроны и, следовательно, могут быть использованы для моделирования процессов обучения и анализа динамически определяющихся кластеров. В частности, DyCoN концепция индивидуального обучения нейронов (см. рисунок 3.3) обеспечивает синтезирование отдельных нейронов для специальных видов информации, например, для информации, которая является особенно редкой или отличной от информации, представленной другими нейронами.
Рисунок 3.3 - В DyCoN, каждый нейрон содержит память и модуль управления обучением на основе PerPot-метамодели (Перл, 2004), которые позволяют индивидуальное обучение и адаптацию. Процесс обучения нейрона создает характерные шаблоны, зависимые от времени (верхнее правое изображение), которые могут быть использованы для контроля параметров, например, самого процесса обучения, или, как продемонстрировано на рисунке 3.4, для измерения информации, которая хранится в нейроне.