Тема 6. Цифровая обработка сигналов и изображений с помощью нейронных сетей Краткие теоретические сведения

В настоящее время интеллектуальная обработка информации все шире применяется при создании различных технических систем. Появились интеллектуальные датчики, интеллектуальные системы первичной обработки информации, интеллектуальные системы принятия решений, управления и т.п. Эти системы должны быть наделены основным качеством – способностью к адаптации, обучению, принятия решения в условиях неопределенности по отношению к рассматриваемому объекту, возмущениям, внешней среды, условиям эксплуатации.

Одним из перспективных направлений создания интеллектуальных технических систем является применение нейронных сетей (НС). Это связано в первую очередь со способность НС к самоорганизации и обучению. Архитектура таких сетей, их функции строятся на основе биологических структур мозга.

Начало современной теории нейронных сетей было положено более 60 лет назад У. Маккалоком и У. Питтсом (русский перевод появился в 1956 г. [1]). Они впервые сделали попытку моделирования человеческих способностей к распознаванию образов в виде математической модели нейрона.

Одной из основополагающих работ в этой области является работа Ф. Розенблатта, появившаяся в 1962 г. (русский перевод вышел в 1965 г. [2]). В ней впервые была введена нейросетевая модель, названная перцептроном. Исследования Розенблатта были посвящены в основном исследованию и моделированию работы мозга, памяти, обучению.

В это же время проводились работы и другими исследователями, однако больших успехов сделано не было, что было связано в первую очередь с рассмотрением только однослойных перцептронных сетей.

В 80-е годы появились полупроводниковые устройства сверхвысокой степени интеграции, что стимулировало работы по созданию вычислительных устройств параллельной обработки информации, в том числе и искусственных нейронных сетей. Начиная с работы, вышедшей в 1982 г. Дж. Хопфилда, теория нейронных сетей претерпевает бурное развитие. Стремительно развивается и техническое приложение нейросетевых технологий.

Искусственная нейронная сеть состоит из нейронов, каждый из которых имитирует свойства биологического нейрона. Искусственный нейрон содержит элементы трех типов: - однонаправленных входных связей – синапсов, осуществляющих умножение входного сигнала на весовой коэффициент, соединенных с выходами других нейронов; - сумматора, осуществляющего сложение взвешенных входных сигналов, либо сигналов от других нейронов; - выходной связи – аксона, с которой сигнал возбуждения или торможения пройдя через нелинейный преобразователь поступает на входы следующих нейронов. Структура искусственного нейрона представлена на Рис.1.

Рис.1.

Нейрон реализует скалярную функцию векторного аргумента

. (6.1)

В этом выражении X – вектор входных сигналов, W - вектор весовых коэффициентов

, , (6.2)

b – смещение, f – функция нелинейного преобразования, которая носит название активационной функции.

Если активационная функция одинакова для всех нейронов, то нейронная сеть является однородной (гомогенной), в противном случае сеть является неоднородной (гетерогенной). Различные типы активационных функций приведены на Рис.2.

Рис.2.

На Рис.2. а) приведена функция единичного скачка (пороговая функция)

(6.3)

На Рис.2. б) представлена линейная функция с насыщением

(6.4)

На Рис.2. в) и г) изображены сигмоидальные функции: логистическая и гиперболический тангенс соответственно

, (6.5)

. (6.6)

Наиболее распространенной функцией активации является сигмоидальная логистическая функция. Необходимо отметить, что в нейронных сетях находят применение также линейные функции активации

. (6.7)

Рассмотренная модель нейрона является достаточно простой, существенно упрощающей свойства биологического нейрона. Вместе с тем, на основе такой модели могут быть созданы сетевые структуры с замечательными свойствами.