Нейросетевые технологии / АСУ Скобцов Искусственные нейронные сети лекции

51

схема прямого (непосредственного) управления; 2) схема косвенного управления. Как правило, при обучении используется метод обратного

нейросетевого контроллера регулируются таким образом, чтобы уменьшить непосредственно ошибку выхода ey (рис.21). При этом минимизируется целевая функция – среднеквадратичная ошибка на выходе объекта

управления Ey 12 ( yd y)2 .

Рис.21 Схема прямого управления

В случае применения схемы косвенного управления параметры объекта определяются в каждый момент времени и затем используются для оценки параметров контроллера, как показано на рис.22. К недостаткам этой схемы следует отнести то, что идентификация и управление основаны только на ошибке eu и поэтому минимизация ошибки на выходе ey не может быть гарантирована.

52

Рис.22 Схема косвенного управления.

Фильтрация используется для извлечения полезной информации из набора зашумленных данных. Шумы возникают по разным причинам,

например, при передаче информационных сигналов через зашумленный канал или в результате измерений с помехами. Фильтры чаще всего применяются при решении следующих задач:

1) Фильтрация (filtering) - извлечение полезной информации в дискретные моменты времени t из данных, полученных из данных до момента t

включительно;

2) Сглаживание (smoothing), которое отличается от предыдущей обработки тем, что при этом можно использовать данные, полученные не только до момента t, но и после него.

При моделировании фильтров задача построения фильтра фактически сводится к идентификации параметров исследуемого типа фильтра. Здесь по обучающей выборке определяются параметры фильтра, которые далее используются при фильтрации. Особый интерес представляют адаптивные фильтры, где эти параметры могут оперативно подстраиваться.

53

При обработке изображений также широко применяется фильтрация с применением НС. Например, разработан перспективный метод низкочастотной фильтрации, основанный на четырехслойной НС прямого распространения [Книга 7. под ред.. Галушкина, с. 10], представленной на рис. 23.

Рис.23 Фильтрация изображений

Здесь на входы НС подаются сигналы x1, x2,…, xn с помехами, а на выходах сети формируется отклик y1, y2,…, yn без помех. Суть этого подхода к фильтрации состоит в следующем. На втором слое НС выполняется дискретное преобразование Фурье, в результате которого выходу каждого нейрона второго слоя соответствует своя линия частотного спектра. На третьем слое непосредственно выполняется фильтрация в частотной области. Путем коррекции синаптических весов на следующий слой передаются выходные сигналы только тех нейронов, частоты которых входят в полосу пропускания данного фильтра. На выходном слое выполняется обратное преобразование Фурье, которое превращает спектр в отфильтрованный сигнал. Настройка третьего слоя позволяет гибко менять параметры фильтра, что позволяет выполнять фильтрацию в различных частотных областях и выполнять, например, контрастирование,

выравнивание освещенности, удаление мелких локальных объектов и т.п.

54

3.Реализация нейронных сетей

При реализации нейронных сетей используются следующие подходы:

1)программное – все компоненты НС реализуются программно на универсальных компьютерах (с архитектурой фон Неймана);

2)аппаратно-программное – часть компонентов реализуется аппаратно,

остальные – программно;

3)аппаратное – (почти) все компоненты реализуются на аппаратном

уровне.

В настоящее время существуют различные реализации каждого из приведенных трех направлений.

3.1 Программная реализация НС

Сейчас программные системы (называемые нейроэмуляторами или нейроимитаторами) получили наибольшее распространение в силу чрезвычайно широкого распространения универсальных компьютеров.

Нейроимитатор должен позволять следующие основные этапы [3] при реализации нейросетевого решения задачи:

1)выбор архитектуры и топологии сети;

2)ввод и формирование обучающей выборки;

3)реализация необходимого алгоритма обучения НС;

4)сохранение обученной НС в необходимом формате;

5)формирование тестовых входных воздействий;

6)удобный контроль функционирования сети.

Для классификации программных нейропакетов используется несколько признаков. Важнейшим из них является функциональное назначение. На

55

рис.24 согласно [3] представлена классификация нейроимитаторов по функциональным признакам.

Здесь к средствам обработки, прежде всего, относятся библиотеки отработанных элементов структуры НС, алгоритмов обучения,

формирования обучающей выборки и тестовых воздействий,

визуализации полученных результатов. К ним можно отнести, например,

Neuro Windows (производитель-Wards Systems Group), NNet+ (NeuroMetric

различных топологиях и алгоритмах обучения. К этой группе относятся

NeuroShhell2 (Neuro-Demension Inc.), NeuroShell2 (Wards Systems Group), NeuralWorks Professinal (NeuralWare Inc.), BraineMaker (California Scientific Software), Neural Net toolbox for Matlab (MathWorks Inc.) и т.п.

Специализированные нейропакеты предназначены для

ограниченного класса задач, более компактны и, как правило,

поскольку областей практического применения НС достаточно много.

В генетических пакетах на этапе обучения (а иногда даже для синтеза оптимальной топологии сети) применяется генетический алгоритм. Это подход часто позволяет избавиться от недостатков градиентных методов и в перспективе позволит оптимизировать и выбор оптимальной топологии нейросети. К данной группе пакетов относятся: GenHunter (Ward Systems Group), Evolver (Axcellis Inc.), The Genetic Designer (Man Machine Interface), Denesis (Neural Systems) и др.

56

Рис.24 Классификация нейроимитаторов (по Комарцовой можно чуть скорректировать)

В нейропакетах нечеткой логики используются модели и методы нечетких систем. Данную группу можно рассматривать и как специализированные нейропакеты (что показано на на рис.24 пунктиром).

Кней относятся : Fuzzi Calc (Fuzi Ware Inc.), Fuzzle (Modico), Fuzzi Logic toolbox for Matlab (MathWorks Inc.), Flops for fuzzi logic (Kemp Carraway Heart Institute), Judgement Maker (Fuzzy Systems Engeneering) и т.п.

Нейросетевые экспертные системы можно рассматривать и как универсальные нейроимимтаторы, и как специализированные нейросети.

Кним можно отнести: G2 (Gensym Corp.), Nexpert Object (Neuron Data Inc.), Guru (Micro Data Base Systems) и т.п.

57

Решение задач управления динамическими системами реализовано в следующих специализированных пакетах: Process Advisor (Alware Inc.), Process Insight (Pavilion Technologies), Insecta (Ublige Software & Robotic Corp.), NT5000 Control System (California Scientific Software Inc.).

Нейропакеты широко используются для обработки сигналов,

например, в радиолокации, гидролокации, к ним относятся: Data Sculptor (Neural Ware Inc.), DaDisp/Neural Net (DSP Developer Corp.), DateEngine (MIT) и т.п.

Для обработки и распознавания изображений нейропакеты применяются еще чаще: ImageLib (LNK Corp.), Wizard Neural Vision System (Computer Recognition Systems), NIP2G (Neural Engines Corp.), Neural Network Alarm Monotor (Neural Solutions) и др.

К ним примыкают пакеты, предназначенные для распознавания образов: Application Programmer Interfacing (Expansion Programm Intl., Inc.), NNetSheet-C (Inductive Solutions Inc.), ICPAK (Tekrend International Inc.).

Задача распознавания рукописных текстов настолько важна для практики, что для этого направления разработаны свои нейропакеты:

Propagator (ARD Corp.), Synaptics (Synaptics Corp), MetaMorph (Expansion

Program Inc.).

Это же относится к проблеме распознавания речи, для решения которой разработаны пкеты: Neural Intelligence Voc (Cogito Software Inc.),

1)простота проектирования и обучения НС;

2)интуитивно понятный и наглядный интерфейс;

58

5)возможность проектирования собственных нейронных структур;

6)возможность ввода собственных критериев оптимизации;

7)возможность использования собственных алгоритмов обучения;

8)открытость архитектуры – способность пакета к расширению путем включения собственных программных модулей;

9)возможности интеграции пакета с другими приложениями операционной системы;

10)возможность генерации исходного кода;

11)наличие макроязыка для ускорения работы с пакетом.

При этом первые четыре показателя существенны для начинающих пользователей, 5-9 – для опытных специалистов при решении конкретных прикладных проблем и 8- 11 – важны для профессиональных разработчиков НС.

3.2 Элементная база аппаратной реализации НС

Элементной базой нейровычислительных систем второго и третьего направлений реализации НС являются соответственно ПЛИС (FPGA),

нейрочипы, цифровые сигнальные процессоры (DSP) и транспьютеры.

Применение, как тех, так и других, позволяет в настоящее время аппаратно

(программно) реализовывать нейровычислители, функционирующие в реальном масштабе времени.

Элементной базой перспективных нейровычислителей являются нейрочипы. Их производство ведется во многих странах мира, причем большинство из них на сегодня ориентированы на закрытое использование

(разрабатывались для конкретных специализированных управляющих

59

систем). На рис.25 приведена обобщенная классификация нейрочипов,

приведенная в [3,9].

Рис.25 Классификация нейрочипов (по Комарцовой)

По типу логики нейрочипы можно разделить на аналоговые, цифровые и гибридные.По типу реализации нейроалгоритмов: с полностью аппаратной реализаций и с программно-аппаратной реализацией (когда нейроалгоритмы хранятся в ПЗУ). По характеру реализации нелинейных преобразований: на нейрочипы с жесткой структурой нейронов (аппаратно реализованных) и

нейрочипы с настраиваемой структурой нейронов (перепрограммируемые).

По возможностям построения нейросетей: нейрочипы с жесткой и переменной нейросетевой структурой (т.е. нейрочипы в которых топология нейросетей реализована жестко или гибко).

Процессорные матрицы (систолические процессоры) - это чипы,

обычно близкие к обычным RISC процессорам и объединяющее в своем составе некоторое число процессорных элементов, вся же остальная логика,

как правило, должна быть реализована на базе периферийных схем.

60

В отдельный класс следует выделить так называемые нейросигнальные процессоры, ядро которых представляет собой типовой сигнальный процессор, а реализованная на кристалле дополнительная логика обеспечивает выполнение нейросетевых операций (например,

дополнительный векторный процессор и т.п.).

Хотя на раннем этапе при реализации искусственных нейронов использовались дискретные компоненты, основой современной аппаратной реализации НС являются нейрочипы, которые классифицируются по следующим свойствам:

1)используемая архитектура НС;

2)программируемая или жесткая структура соединений;

3)обучение производится на чипе или в его окружении;

4)низкое, среднее или большое число параллельных элементов;

5)максимальный размер НС;

6)могут ли чипы собираться вместе для увеличения размера сети;

7)разрядность (точность);

8)активационная функция реализуется на чипе или вне его (например

втабличном виде в ПЗУ);

9)разрядность сумматора;

10)цена - дорогой или дешевый.

Цифровая реализация модели искусственного нейрона может быть выполнена по схеме, представленной на рис. 26. По сравнению с аналоговой реализацией (в некотором смысле более естественной), которая представлена на рис.27, умножители (входа на синаптический вес) заменяют усилители и сумматор замещает суммирующий усилитель. Активационная пороговая функция реализуется в этом случае с помощью декодера. Самым сложным при этом является цифровая реализация умножителей. Здесь разработаны параллельные и последовательные схемы двоичного умножения. Вследствие сложности этих схем некоторые инженеры предпочитают использовать схемы умножение/деление вместо полного умножителя.