Лекции 16. Программная реализация нейросетей на примере модели процессорного элемента NeuralWorks. Модель процессорного элемента нейропакета NeuralWorks Professional II
Пакет программ «Neural Works Professional II» позволяет создавать модели нейронных сетей, обучать их и тестировать на произвольных входных данных. Модульная структура программы обеспечивает возможность подключения дополнительных стратегий управления, новые типы нейронных сетей и виды отображения сети на экране монитора. Кроме того, существует возможность представления входных и выходных данных в графической форме.
Компания NeuralWare разработала универсальную модель процессорного элемента, позволяющую создавать широкий спектр нейронных сетей при использовании одних и тех же структур данных. Основные преимущества такого подхода:
Во-первых, для получения различных типов сетей требуется изменить небольшую часть программы (обычно около 30 строк), что сокращает время создания новых сетей и гарантирует, что они будут правильно функционировать с первого раза.
Во-вторых, это позволяет добавлять к пакету новые возможности, совместимые со всеми типами сетей без необходимости внесения изменений в какой-либо отдельный тип сети.
В третьих, такая архитекутура процессорного элемента позволяет легко распараллеливать процессы.
В-четвертых, это позволяет легко разрабатывать новые типы сетей и вносить изменения в уже имеющиеся. Параметры, управляющие архитектурой процессорного элемента, исходят из двух источников: параметры слоя и планы обучения и функционирования.
Параметры слоя:
Передаточная функция;
Выходная функция;
Правило обучения;
Сумма;
Масштаб;
Смещение;
Нижний и верхний пределы выходного сигнала процессорного элемента;
План обучения и функционирования можно определить для каждого слоя. Если планы обучения и функционирования не определены для слоя, то сеть использует план, установленный по умолчанию.
План обучения и функционирования обеспечивают несколько коэффициентов или параметров, которые используются различными параметрами слоев.
Рис. 41. Модель процессорного элемента.
Этапы функционирования процессорного элемента.
Шаг 1. Взвешенная сумма: На этом шаге происходит вычисление взвешенной суммы весов соединений между входным и скрытым слоями. Соединение осуществляется посредством четырех определенных типов весов. Они делятся на два класса: Устанавливаемые веса (Set Weight) и все остальные. При некоторых условиях (определяемых с помощью управляющей стратегии) для определения взвешенной суммы рассматриваются только устанавливаемые веса. В других случаях рассматриваются все веса. В дополнение к простой взвешенной сумме программа поддерживает различные способы вычисления суммы: минимум, максимум, мажоритарность, произведение и несколько вариантов нормализации.
Шаг 2. Передаточная (активационная) функция: Результат взвешенной суммы преобразуется в выходной сигнал с помощью передаточной функции. Перед применением передаточной функции к сумме может быть добавлен равномерно распределенный случайный шум. Источник и размер помехи определяются текущим режимом (обучением или функционированием) и соответствующим значением коэффициента температуры (Temperature) из таблицы плана обучения и функционирования (Learning and Recall Schedule). Можно использовать следующие активационные функции: линейная, BSB (brain-state-in-a-box), персептрон, сигмоидальная, гиперболический тангенс, синус и др. Для некоторых из них значение помехи будет предварительно умножено на коэффициент усиления (Gain), взятый из соответствующей строки той же таблицы.
Шаг 3. Масштабирование и ограничение: После преобразования результат масштабируется и ограничивается. Масштабирование, например, линейного преобразования имеет следующий вид:
Масштабный коэффициент * Преобразованное значение + Смещение
Масштабирование полезно во входном слое для отображения входных значений в соответствующие уровни. В выходном слое может быть произведено обратное преобразование данных.
Ограничение связано с приведением масштабированного результата к верхней и нижней границам.
Шаг 4. Соревнование (Выходная функция):
Этот шаг обеспечивает способ, в соответствии с которым процессорные элементы соревнуются в слое. Соревнование может происходить на одном или обоих уровнях: сначала определяется, какой элемент будет активен (будет обеспечивать выходной сигнал); затем, какой будет участвовать в обучении или процессе адаптации.