3.2 Элементная база аппаратной реализации нс
Элементной базой нейровычислительных систем второго и третьего направлений реализации НС являются соответственно ПЛИС (FPGA), нейрочипы, цифровые сигнальные процессоры (DSP) и транспьютеры. Применение, как тех, так и других, позволяет в настоящее время аппаратно (программно) реализовывать нейровычислители, функционирующие в реальном масштабе времени.
Элементной базой перспективных нейровычислителей являются нейрочипы. Их производство ведется во многих странах мира, причем большинство из них на сегодня ориентированы на закрытое использование (разрабатывались для конкретных специализированных управляющих систем). На рис.25 приведена обобщенная классификация нейрочипов, приведенная в [3,9].
Рис.25 Классификация нейрочипов
По типу логики нейрочипы можно разделить на аналоговые, цифровые и гибридные.По типу реализации нейроалгоритмов: с полностью аппаратной реализаций и с программно-аппаратной реализацией (когда нейроалгоритмы хранятся в ПЗУ). По характеру реализации нелинейных преобразований: на нейрочипы с жесткой структурой нейронов (аппаратно реализованных) и нейрочипы с настраиваемой структурой нейронов (перепрограммируемые).
По возможностям построения нейросетей: нейрочипы с жесткой и переменной нейросетевой структурой (т.е. нейрочипы в которых топология нейросетей реализована жестко или гибко).
Процессорные матрицы (систолические процессоры) - это чипы, обычно близкие к обычным RISC процессорам и объединяющее в своем составе некоторое число процессорных элементов, вся же остальная логика, как правило, должна быть реализована на базе периферийных схем.
В отдельный класс следует выделить так называемые нейросигнальные процессоры, ядро которых представляет собой типовой сигнальный процессор, а реализованная на кристалле дополнительная логика обеспечивает выполнение нейросетевых операций (например, дополнительный векторный процессор и т.п.).
Хотя на раннем этапе при реализации искусственных нейронов использовались дискретные компоненты, основой современной аппаратной реализации НС являются нейрочипы, которые классифицируются по следующим свойствам:
используемая архитектура НС;
программируемая или жесткая структура соединений;
обучение производится на чипе или в его окружении;
низкое, среднее или большое число параллельных элементов;
максимальный размер НС;
могут ли чипы собираться вместе для увеличения размера сети;
разрядность (точность);
активационная функция реализуется на чипе или вне его (например в табличном виде в ПЗУ);
разрядность сумматора;
цена - дорогой или дешевый.
Цифровая реализация модели искусственного нейрона может быть выполнена по схеме, представленной на рис. 26. По сравнению с аналоговой реализацией (в некотором смысле более естественной), которая представлена на рис.27, умножители (входа на синаптический вес) заменяют усилители и сумматор замещает суммирующий усилитель. Активационная пороговая функция реализуется в этом случае с помощью декодера. Самым сложным при этом является цифровая реализация умножителей. Здесь разработаны параллельные и последовательные схемы двоичного умножения. Вследствие сложности этих схем некоторые инженеры предпочитают использовать схемы умножение/деление вместо полного умножителя.
Рис.26 Цифровая реализация нейрона,
Сумматор представляет меньше проблем, поскольку может быть использована стандартная библиотека двоичных сумматоров. Декодер может быть реализован либо табличным способом (допускающим любую активационную функцию), либо последовательным соединением нескольких пороговых детекторов.
ПЛИС (FPGA) (особенно Xilinkx) широко используются в настоящее время при цифровой реализации НС. Они являются компромиссом между непрактичными схемами дискретных компонент и стоимостью. Размер ПЛИС все время растет и скоро достигнет 10 миллионов вентилей, что уже достаточно для реализации НС, используемых в приложениях. Основной причиной популярности ПЛИС является возможность перестройки внутренней конфигурации соединений электронным способом в процессе функционирования. Эти свойства делают их идеальным инструментом для экспериментов с растущими или эволюционируюшими НС.
Цифровые нейрочипы, как правило, реализуются на основе трех основных архитектур:
SIMD - архитектура;
Систолические матрицы (массивы);
Секционированная (slice) архитектура .
Цифровые нейрочипы имеют следующие преимущества:
высокоразвитая технология производства;
хранение синаптических весов в ОЗУ;
при арифметических операциях сохраняется точность(число бит сумматора соответствует количеству разрядов операндов);
цифровые чипы легко интегрируются в большинство приложений (которые реализуются в настоящее время, в основном, в цифровом виде).
К недостаткам цифровых нейрочипов можно отнести:
арифметические операции обычно выполняются медленнее, чем в аналоговых системах (особенно умножение векторов входных значений и синаптических весов);
реальный мир (окружение - среда) аналоговый, поэтому необходимы преобразователи АЦП и ЦАП.
Секционированная архитектура основана на использовании дешевых одноразрядных типовых элементов, которые можно собирать и конструировать нейросети произвольной разрядности и точности.
В чипе, реализованном согласно SIMD-архитектуре параллельно функционируют множество элементов, каждый из которых одновременно выполняет одну и туже команду (инструкцию) на различных данных. Развитию этого подхода способствуют развитые технологии, методы, и средства проектирования, которые позволяют реализовать многие типы нейросетей.
В систолических структурах каждый элемент-процессор выполняет один шаг вычислений (один элемент все время одну и ту же операцию) и полученный результат передает далее на следующий процессор в конвейере. В систолических структурах эффективно реализуются произведения матриц и векторов (занимающие существенную часть вычислений в НС - X*W).
Цифровые сигнальные процессорытакже широко используются в качестве элементной базы и имеют преимущество перед универсальными микропроцессорами – возможность работы на максимальных тактовых частотах и реализации практически всех операций алгоритма управления на аппаратном уровне. Это позволяет проектировать на их основе высокопроизводительные нейрокомпьютеры (рассматриваемые в следующем разделе). Однако при изменении алгоритма управления большинство коррекций приходится на схемотехнические решения, что является платой за высокое быстродействие.
Аналоговая реализация модели искусственного нейрона представлена на рис.27. Здесь усилители выполняют умножение входных сигналов на свои синаптические веса. Для обученной сети сети (это возможно путем эмуляции) усилители должны иметь фиксированные коэффициенты усиления. В этом случае нет особых проблем с реализацией. Однако, если сеть предполагается доучивать в процессе эксплуатации, должна быть возможность изменять коэффициенты усиления. Это можно реализовать различными средствами.
Рис.27.Аналоговая реализация нейрона
Например, при использовании операционных усилителей (Op-Amps) применяются резисторы с цифровым управленим, как показано на рис.28. Такие резисторы могут устанавливаться в требуемые значения одним цифровым сигналом. Все резисторы с помощью мультиплексора могут управляться единственным цифровым сигналом.
Рис.28 Управляемый усилитель
Болем элегантной реализацией управляемых синаптических весов является применение операционных усилителей тока, управляемых напряженим, которая представлена на рис.29 Здесь усилитель на выходе дает ток, который конвертируется (назад) в напряжение.
В настоящее время стали доступны FPAA, которые подобно АЗПФ могут перепрограммироваться в процессе функционирования схемы. Это позволяет реализовать динамические схемы с изменяемыми параметрами и топологией, что дает большие возможности для реализации НС.
Рис.29 Операционный усилителель тока, управляемый напряженим
Основными преимуществами аналоговых нейрочипов являются:
высокое быстродействие;
высокая плотность;
простая реализация арифметических операций (например, электрическое соединение синаптических входов реализует суммирование).
К недостаткам можно отнести:
сложность проектирования вследствие необходимости компенсировать влияние окружающей среды (температура, влажность и т.п.);
сложность запоминания синаптических весов (особенно в случае необходимости их неизменности);
В гибридных нейрочипахпытаются комбинировать цифровые и аналоговые технологии, используя лучшие свойства тех и других с целью получения их лучших характеристик. Распространены следующие варианты гибридицации:
для повышения быстродействия используется внутренняя аналоговая обработка, но синаптические коэффициенты хранятся в цифровом виде (например, на периодически восстанавливаемых емкостях);
сети с импульсной модуляцией используют отношение или ширину импульсов для эмуляции амплитуды входов, выходов и синаптических весов.
К гибридным также можно отнести так называемые «нейроморфические» (neuromorphic) НС, в которых точнее моделируются естественные нейронные структуры. Здесь обработка сигналов выполняется аналоговыми средствами, хотя выходы могут быть цифровыми. Функционально они реализуют скорее сенсоры, чем классификаторы.
Аналогично к гибридным относятся так называемые Pulse Couple Neural Networks (PCNN) (с импульсной модуляцией парные НС), построенные по образцу зрительной системы млекопитающихся. Эти НС могут эффективно выполнять препроцессорную обработку изображений, в том числе, выделение контуров и сегментацию. Они инвариантны относительно поворотов, изменения масштаба и переноса изображений.
Рассмотренные технологии (как цифровые так и аналоговые) основаны на использовании свойств полупроводников. Известны работы по реализации НС на других физических принципах. К ним можно отнести, например, оптические и квантовые устройства. Оптические НС даже реализованы в исследовательских лабораториях, но пока их характеристики не позволяют применять их в практических задачах (не говоря уже о конкуррентноспособности).