3.14.1.4. Адалайн, мадалайн и обобщенное дельта-правило.

Рассмотренный персептрон можно использовать и для решения других практических задач выполнять прогноз погоды или ставить диагнозы болезней. Круг решаемых задач значительно расширится, если научить персептрон выдавать не только бинарные выходные сигналы типа ноль и единица, но и аналоговые, т.е. имеющие непрерывные значения. Такое обобщение персептрона было сделано Уидроу и Хоффом, которые вместо ступенчатой ввели непрерывную нелинейную функцию активации:

График функции изображен на рис.3.24. Эту функцию назвали сигмоидой из-за того, что ее графическое изображение напоминает латинскую букву «S». Другое название сигмоиды — логистическая функция.

Рис. 3.24. Сигмоидная активационная функция у =f_σ(S).

Подобно обычной пороговой функции активации, сигмоида отображает точки области определения (-, +) на интервал (0, +1). Практически сигмоида обеспечивает непрерывную аппроксимацию классической пороговой функции. Для сигмоиды принято обозначение у =f_σ(S).

Персептроны с сигмоидными активационными функциями с одним выходом назвали адалайн, с несколькими выходами — мадалайн (от английских слов ADAptive Linear NEuron и Many ADALINE).

Появление персептронов с непрерывными активационными функциями обусловило и новые подходы к их обучению. Уидроу и Хофф предложили минимизировать среднеквадратичную ошибку, определяемую как разность между требуемыми d_i и реальными y_i выходными сигналами персептрона:

Рассмотрим алгоритм коррекции весовых коэффициентов персептрона, имеющего J входов и I выходов (рис.3.25).

Рис. 3.25. Однослойный персептрон с J входами и I выходами

Среднеквадратичная ошибка ε является многомерной функцией весовых коэффициентов, т.е. ε= ε(w_ij), и в пространстве координат w_ij представляется в виде некоторой многомерной поверхности — гиперповерхности. Если оставить только две оси координат, например w₁₁ и w₁₂, то эта поверхность будет иметь вид фигуры, напоминающей параболоид, который, однако, может иметь как один, так и несколько минимумов. Поэтому такую поверхность будем называть псевдопараболоидом. Обучение персептрона можно представить как задачу отыскания такого сочетания весовых коэффициентов w_ij, которому соответствует самая нижняя точка гиперпсевдопараболоида. Такую задачу называют оптимизационной и говорят, что она состоит в минимизации функционала ε= ε(w_ij) в пространстве параметров w_ij.

Существует множество методов решения оптимизационных задач. Наиболее простым является случайный перебор весовых коэффициентов w_ij с последующими вычислениями и сравнениями между собой соответствующих этим коэффициентам функций ошибок ε. Однако более эффективным является метод градиентного спуска, согласно которому изменение (коррекция) каждого весового коэффициента Δw_ij производится в сторону, противоположную градиенту поверхности гиперпсевдопараболоида, т.е.

где η - коэффициент скорости обучения.

Среднеквадратичная ошибка ε является сложной функцией, зависящей, в первую очередь, от выходных сигналов персептрона y_i поэтому в результате вычислений получим: ,

где y_i=f_σ(S_i), S_i=.

Итерационная формула для обучения однослойного персептрона:

в которой

Этот алгоритм называют обобщенным дельта-правилом, преимущество которого состоит в более быстрой сходимости и возможности более точной обработки входных и выходных непрерывных сигналов, т.е. в расширении круга решаемых персептронами задач и возможности получения более точных и качественных решений.

Ограниченность однослойного персептрона.

Персептроны применялись для решения задач диагностики, таких как анализ электрокардиограмм и заключение врача о диагнозе болезни пациента. По мере расширения фронта научных исследований появились трудности. Неожиданно оказалось, что многие новые задачи персептрон решить не мог, причем эти задачи внешне ничем не отличались от тех, с которыми персептрон успешно справлялся ранее. Возникла необходимость объяснения возникших парадоксов, глубокого анализа и создания теоретической базы персептронов.

М. Минский и С. Пайперт математически строго доказали, что использовавшиеся в то время однослойные персептроны в принципе не способны решать многие простые задачи. Одну из таких задач, заключающуюся в реализации логической операции «Исключающее ИЛИ».

«Исключающее ИЛИ» — это булева функция двух аргументов, каждый из которых может иметь значение «истинно» либо «ложно». Сама она принимает значение «истинно», когда только один из аргументов имеет значение «истинно». Во всех остальных случаях функция принимает значение «ложно»:

Задача состоит в том, чтобы реализовать функцию y с помощью однонейронного персептрона с двумя входами х1 и х2 и одним выходом у. При этом на выходе будет 1, если хотя на одном входе будет 0.

Было установлено, что какие бы значения ни придавались весам и порогу, персептрон в принципе не способен воспроизвести соотношение между входами и выходом, требуемое для представления функции «Исключающее ИЛИ». Такие задачи получили название линейно неразделимых.