Основы информацинных технологий

Также применяется в сетях с непрерывными сигналами.

Линейная функция:

y = kS,

где k - числовой коэффициент. Применяется для тех моделей сетей, где не тре­ буется последовательное соединение слоев нейронов.

Выбор функции активации обычно связан с проектом нейронной сети для моделируемой системы. Помимо перечисленных, могут применяться и другие функции активации, которые адекватно отражают решаемую задачу. Определе­ ние функции активации и ее параметров осуществляется экспериментальным путем.

2.3.6 Модель нейронной сети

Совокупность нейронных элементов и связей между ними называется ней­ ронной сетью. Нейроны в сетях группируются по слоям. Слоем нейронной сети называется множество нейронных элементов, на которые параллельно поступа­ ет информация от других нейронных элементов.

Рассмотрим нейронные сети, включающие один слой нейронных элемен­ тов, который обрабатывает входную информацию. Такие сети принято изобра­ жать в виде двухслойной нейронной сети, в которой первый слой нейронных элементов является распределительным, а второй - обрабатывающим. Распре­ делительный слой передает входные сигналы на обрабатывающий слой, кото­ рый преобразует входную информацию в соответствии с синаптическими свя­ зями и функцией активации (рисунок 2.3).

Рисунок 2.3 - Топология однослойной нейронной сети

При этом каждый нейрон распределительного слоя имеет синаптические связи со всеми нейронами обрабатывающего слоя.

Выходное значение j-ro нейронного элемента второго слоя можно вычис­ лить по формуле (2.3):

(2.3)

где θj - порог j-ro нейронного элемента выходного слоя; wij - сила синаптической связи между i-м нейроном распределительного слоя и j-м нейроном обра­ батывающего слоя.

60

Рассмотрим нейронную сеть с двумя нейронами входного и одним нейро­ ном выходного слоя (рисунок 2.4).

Рисунок 2.4 - Сеть с одним выходным нейроном

В этой сети взвешенная сумма имеет вид:

Выходное значение нейронной сети (при использовании пороговой функ­ ции активации) таково:

Такая сеть осуществляет линейное разделение входного пространства сиг­ налов на два класса при решении задач классификации образов. Уравнение раз­ деляющей прямой определяется следующим образом:

Эта прямая отделяет область решений, соответствующую одному классу, от другого класса и называется дискриминантной линией

2.3.7 Как построить нейронную сеть. Обучение сети

Процесс построения нейронной сети включает два этапа:

-выбор типа (архитектуры) сети;

-подбор весов (обучение) сети.

На первом этапе решаются следующие задачи:

-какие нейроны следует использовать (число входов, функции активации);

-каким образом следует соединить их между собой;

-что взять в качестве входов и выходов сети.

При выборе типа сети необязательно ее придумывать «с нуля». Уже насчи­ тывается несколько десятков различных нейросетевых архитектур, причем эф­ фективность многих из них доказана математически.

Затем необходимо «обучить» выбранную сеть, т. е. подобрать такие значе­ ния ее весов, чтобы она работала эффективно. В используемых на практике нейронных сетях количество весов может составлять несколько десятков тысяч, поэтому обучение - весьма сложный процесс.

Различают следующие три вида обучения нейронной сети.

Обучение с учителем. При таком обучении сети предъявляется набор обу­ чающих примеров. Каждый обучающий пример представляют собой пару: век­ тор входных значений и желаемый выход сети. В ходе обучения весовые коэф­ фициенты подбираются таким образом, чтобы по этим входам давать выходы, максимально близкие к правильным.

61

Обучение с поощрением. При этом виде обучения сети не указывается точ­ ное значение желаемого выхода, но ей выставляется оценка качества ее работы.

Обучение без учителя. Сети предъявляются некоторые входные векторы и при их обработке в ней происходят процессы самоорганизации, в результате которых она становится способной решать задачу.

Целью обучения является минимизация функции ошибок на множестве примеров путем выбора значений синаптических весов. Достижение минимума функции ошибок называется сходимостью процесса обучения. Известно более сотни различных обучающих алгоритмов, отличающихся друг от друга страте­ гией оптимизации и метрикой для вычисления погрешности обучения.

Проиллюстрируем процесс обучения с учителем по так называемому ме­ тоду обратного распространения ошибки на примере обучения нейронной сети распознаванию букв русского алфавита (рисунок 2.5).

Рисунок 2.5 - Схема обучения нейронной сети

Имеется некоторая база данных, содержащая набор рукописных изображе­ ний букв. Предъявляя изображение буквы «А» на вход нейронной сети, получа­ ем от нее некоторый ответ, не обязательно верный. Известен и верный ответ - в данном случае желательно, чтобы на выходе нейронной сети с меткой «А» уро­ вень сигнала был максимален. Обычно в качестве желаемого выхода берут на­ бор <1,0,0,...>, где 1 стоит на выходе с меткой «А», а 0 - на всех остальных вы­ ходах. Вычисляя разность между желаемым ответом и реальным ответом сети, мы получаем 33 числа - вектор ошибки. После многократного предъявления примеров синаптические веса стабилизируются, причем нейронная сеть дает правильные ответы на все (или почти все) примеры из базы данных. В таком случае говорят, что «нейронная сеть обучена», или «нейронная сеть натрениро­ вана».

2.3.8 Правило обучения Хебба

Это правило имеет биологические предпосылки и является основой многих методик обучения нейронных сетей. Согласно правилу Хебба обучение проис­ ходит в результате усиления связи (синаптического веса) между одновременно активными нейронами. Часто используемые связи (между возбужденными ней-

62

ронами) усиливаются, что объясняет феномен обучения живых существ путем повторения и привыкания.

Пусть имеются два нейронных элемента i и j, между которыми существует сила связи, равная wij (рисунок 2.6).

Рисунок 2.6 - Взаимосвязь двух нейронных элементов

Правило обучения Хебба для этой сети можно записать следующим образом (2.4):

wij(t + 1) = wij(t) + yiyj, (2.4)

где t - номер итерации обучения; yi и yj - выходные значения соответственно i-го и j-го нейронов. В начальный момент времени предполагается, что wij(t=0) = 0.

Рассмотрим применение правила Хебба для простейшей нейронной сети, состоящей из двух входных и одного выходного нейрона (см. рисунок 2.4). В такой сети порог θ1 выходного нейронного элемента является скрытым в этом элементе. При операциях с нейронными сетями порог нейронного элемента можно вынести за его пределы и изобразить как синаптическую связь с весо­ вым коэффициентом, равным значению θ1 (рисунок 2.7).

Рисунок 2.7 - Представление порогового значения в виде синаптической связи

Так как входное значение, подаваемое на дополнительный нейрон, равня­ ется: - 1 , то взвешенная сумма определяется как:

S=w1lx1+w2lx2-θ1.

Обучение нейронной сети происходит путем настройки весовых коэффи­ циентов и порогов нейронных элементов. Поэтому рассмотренное выше преоб­ разование позволяет настраивать весовые коэффициенты и пороги сети как единое целое.

Правило Хебба для нейронной сети, изображенной на рисунке 2.7, можно представить в виде следующих выражений (2.5):

w11(t + 1) = w11(t) + x1y1,

w21(t + 1) = w21(t) + x2y1, (2.5)

θ1(t + 1) = θ1(t) - y1.

63

Аналогично правило Хебба записывается для нейронной сети большей размерности.

2.3.9 Процедура обучения персептрона Розенблатта

Персептрон - это нейронная сеть, состоящая из трех слоев нейронных элементов S, A и R (рисунок 2.8).

Рисунок 2.8 - Структура персептрона

Нейроны слоя S называются сенсорными и предназначены для формирова­ ния входных сигналов в результате внешних воздействий. Нейроны слоя А на­ зываются ассоциативными и предназначены для непосредственной обработки входной информации. Нейроны слоя R называются эффекторными. Они слу­ жат для передачи сигналов возбуждения к соответствующему объекту, напри­ мер, к мышцам.

Поскольку персептрон Розенблатта содержит один слой обрабатывающих нейронных элементов, в качестве которых используются нейронные элементы с пороговой функцией активации, то обучение персептрона происходит путем настройки весовых коэффициентов wij между слоями 5 и А.

Математическую формулировку правила обучения Розенблатта можно представить в виде:

Wij(t + 1) = Wij(t) + α xi tj, (2.6)

где xi - i-Й вход нейронной сети; tj - эталонное значение j-гo выхода; а - коэф­ фициент скорости обучения сети, 0 < α 1.

Процедура обучения Розенблатта называется алгоритмом обучения с под­ креплением. Она характеризуется тем, что весовые коэффициенты нейронной сети изменяются только в том случае, если ее выходная реакция не совпадает с эталонной.

2.3.10 Многослойные нейронные сети

Нейронные сети с многочисленными слоями обладают более широкими возможностями по сравнению с однослойными. Архитектура многослойной нейронной сети состоит из множества слоев нейронных элементов (рису­ нок 2.9).

64

Метод Монте-Карло применяется во многих областях науки и техники (например, в статистической физике, теории массового обслуживания, теории игр и др.). Его используют также для вычисления интегралов, в особенности многомерных, для решения систем алгебраических уравнений высокого поряд­ ка.

Сущность метода Монте-Карло состоит в следующем: требуется найти значение а некоторой изучаемой величины. Для этого выбирают случайную ве­ личину X, математическое ожидание которой равно а: М(Х) = а. Практически же поступают так: производят n испытаний, в результате которых получают n возможных значений величины X; вычисляют их среднее арифметическое

и принимают его в качестве оценки (т. е. приближенного значения) искомого числа а:

Поскольку при моделировании случайных элементов метод Монте-Карло требует проведения большого количества испытаний, его часто называют ме­ тодом статистических испытаний.

2.4.1 Пример вычисления площади методом Монте-Карло

Требуется вычислить площадь плоской фигуры S (рисунок 2.10). Предпо­ ложим, что она расположена внутри единичного квадрата со стороной а = 1. Выберем внутри квадрата n случайных точек:

Рисунок 2.10 - Иллюстрация метода вычисления площади плоской фигуры

Координаты этих точек являются реализациями двумерного случайного вектора, равномерно распределенного в единичном квадрате. Обозначим через m число точек, попавших внутрь S. Тогда, очевидно, площадь S приближенно равна m/n. Чем больше и, тем больше точность этой оценки.

2.4.2 Пример вычисления числа тс методом Монте-Карло

Рассмотрим четверть круга единичного радиуса (рисунок 2.11). Площадь четверти круга, очевидно, равна πr2/4 или (при r = 1) равна π/4. Площадь же всего единичного квадрата равна 1.

67

Наряду с простейшим экспериментом будем рассматривать составной слу­ чайный эксперимент, получающийся в результате многократного повторения простейших экспериментов.

2.4.4 Типы датчиков базовой случайной величины

Датчик БСВ - это устройство, позволяющее по запросу получать реализа­ цию r или несколько реализаций r1,r2,...,rn БСВ R. Реализации ri называют слу­ чайными числами. Существует три типа датчиков - табличные, физические и программные.

Табличный датчик - это таблица случайных чисел, т. е. выборка реализа­ ций случайной величины, равномерно распределенной в промежутке [0, 1). Эти реализации получают экспериментально (например, с помощью специальной электронной рулетки).

Недостатки табличных датчиков:

-небольшой объем; для моделирования часто требуются миллионы слу­ чайных чисел;

-большой расход оперативной памяти компьютера для хранения таблиц. Физический датчик БСВ - это специальное радиоэлектронное устройство,

являющееся приставкой к компьютеру. Выходной сигнал этого устройства имитирует случайную величину.

Недостатки физических датчиков:

-невозможность повторения некоторой, ранее полученной, реализации г случайной величины R;

-схемная нестабильность, вызывающая необходимость постоянного кон­ троля работы датчика.

По этим причинам на современных компьютерах физические датчики слу­ чайных чисел используются редко.

Программный датчик БСВ - это программа, имитирующая на компьютере реализации r1r2,...,rn БСВ R. Программные датчики строятся путем примене­ ния рекурсивных формул, по которым на основе i-го случайного числа вычис­ ляется (i + 1)-е. Поскольку последовательность чисел вычисляется детермини­ рованно они не являются случайными. Их обычно называют псевдослучайными числами. Но так как они удовлетворяют ряду требований (тестов), то их можно использовать в качестве реализаций случайной величины R. Сформулируем эти

требования:

-числа равномерно распределены на промежутке [0, 1) и корреляция ме­ жду ними отсутствует;

-генерируется достаточно большое количество неповторяющихся чисел,

т.е. период (цикл) датчика достаточно длинный;

-последовательность случайных чисел воспроизводима, т. е. каждая их последовательность однозначно определяется начальным значением;

-датчик достаточно быстродействующий, поскольку для моделирования может потребоваться большое количество случайных чисел.

Построение программных датчиков. Рассмотрим на примере один из пер­ вых методов -метод середины квадратов.

69