Рассмотрим примеры применения разных последовательностей фильтров к изображению (рис. 1). Ширина и высота исходного изображения – 100 пикселей.

а) б) в) г)

Рис. 1. а) исходное изображение, б) - г) – бинарные изображения, полученные: б) без применения дополнительных фильтров, в) с применением медианного фильтра (r=5), г) с применением медианного фильтра

(r=5) и фильтра морфологического расширения (при использовании маски размеров 3*3).

Как видно из приведённого примера, в случае, если к изображению, кроме фильтра бинаризации, дополнительно применяется медианный фильтр, происходит сглаживание границ контура рукописного символа, расположенного на изображении, а при использовании мор фологического расширения результатом является укрупнение контура объекта.

2.4. Признаковое описание рукописного символа

описания объекта, представляющего интерес.

В основе подхода, применяемого в данной работе для описания рукописного символа как объекта, который требуется классифицировать, лежит понятие дискретного центрального момента mij области D бинарного изображения, который определяется по следующей

записать следующие 7 геометрических Hu-моментов [15], которые характеризуют форму

14

рассматриваемой области и инвариантны к операциям параллельного переноса, поворота и масштабирования:

Эти моменты в совокупности можно интерпретировать как компоненты 7-мерного вещественного вектора, образующие признаковое описание отдельно взятого объекта (то есть рукописного символа).

Следует отметить, что вычисление приведённых выше числовых характеристик осуществляется не относительно исходного изображения, а относительно изображения в ограничивающем прямоугольнике, который строится непосредственно перед вычислениями.

Дадим описание алгоритма построения ограничивающего прямоугольника для объекта на бинарном изображении (для случая, когда объект – множество чёрных пикселей на белом фоне).

Шаг 0. Находим центр рассеивания объекта (x, y)по формулам (2.4.2) и (2.4.3).

Шаг 1. Полагаем i = [x], j = [y].

Шаг 2. Пока справедливо неравенство i <W и в i - й строке изображения есть чёрные пиксели, уменьшаем значение i на единицу.

Шаг 3. Пока выполняется неравенство j < H и в j - м столбце изображения есть чёрные пиксели, уменьшаем значение j на единицу.

Шаг 4. Запоминаем левую нижнюю вершину искомого прямоугольника – пиксель с координатами (i, j).

Шаг 5. Повторяем Шаг 1 – Шаг 3 с увеличением индексов i и j и запоминаем правую верхнюю вершину искомого прямоугольника – пиксель с координатами (i, j).

Конец алгоритма.

На рис. 2 и 3 приведены примеры бинарных областей, а также их признаковые описания, полученные в соответствии с формулами (2.4.4).

15

Рис. 2. Рукописный символ, соответствующий букве «а», и его признаковое описание

Рис. 3. Рукописный символ, соответствующий букве «б», и его признаковое описание

2.5.Обучение регулярного многослойного персептрона

Вструктуре многослойного персептрона, как и любой другой искусственной нейронной сети, можно выделить 2 составляющие:

1)Искусственные нейроны, суммирующие поступающие на их входы сигналы и преобразующие смещённую на величину порога сумму в соответствии с заданной активационной функцией нейрона;

2)Связи между нейронами, реализующие межнейронное взаимодействие в виде сигналов, умноженных на синаптические веса связей.

Схематическое представление модели нейрона с входными связями выглядит следующим образом (рис. 4):

16

xn ×wn

i=1

где:

x1, x2 , ... , xn – входные сигналы;

w1, w2 , ... , wn – синаптические веса входных связей нейронов;

w0 – порог срабатывания нейрона (порог активационной функции нейрона);

f (s) – активационная функция нейрона, реализующая тот или иной вид преобразования взвешенной суммы входных сигналов, смещённой на величину порога w0 ;

y= f (s) – выходной сигнал.

Вданной работе для реализации выбранной нейросетевой модели используются следующие наиболее распространённые активационные функции (таблица 1):

Таблица 1. Типы активационных функций нейронов

Встандартной (регулярной) версии многослойный персептрон представляет собой сеть

содним входным (сенсорным) слоем, с одним выходным (моторным) слоем и одним или несколькими внутренними (скрытыми, или связующими) слоями нейронов.

17

Далее будем использовать следующие обозначения:

-K – количество скрытых слоёв персептрона,

-Hk – число нейронов в скрытом слое с номером k .

При этом нумерация слоёв персептрона ведётся от 0 до K +1. Нулевому индексу соответствует входной (сенсорный) слой, а индексу K +1 – выходной (моторный) слой.

Характерной чертой многослойного персептрона является его прямонаправленность: информация, преобразуясь, передаётся от входного слоя через скрытые слои к выходному слою. При этом в случае регулярной топологии (рис. 5) узел i в слое k (k =1, 2, ... , K +1)

соединяется посредством синаптических весов wkji со всеми узлами j (k −1) - ого слоя.

Рис. 5. Структура регулярного многослойного персептрона

Входной слой персептрона выполняет функцию приёма и ретрансляции (то есть размножения) входных сигналов x1, x2 , ... , xN на нейроны первого скрытого слоя. У

нейронов входного слоя нет активационных функций и порогов срабатывания. Основное (как правило, нелинейное) преобразование сигналов происходит в скрытых слоях. Выходной слой осуществляет суперпозицию (линейное преобразование) взвешенных входных сигналов и, возможно, некоторое нелинейное преобразование в соответствии с заданной активационной функцией.

Обучение персептрона представляет собой интерактивный целенаправленный процесс изменения значений синаптических весов и порогов активационных функций нейронов, реализуемый некоторой внешней процедурой (алгоритмом обучения) с использованием тренировочных шаблонов (обучение с супервизором) до тех пор, пока сеть не приобретёт желаемые свойства, то есть не будет выполнять требуемый тип преобразования.

18

вектор желаемых значений выходных сигналов.

В качестве вектора желаемых значений выходных сигналов для данной задачи удобно взять M - мерный единичный вектор ei = (0, 0, ... , 0, 1, 0, ... , 0), в котором на i - й позиции стоит единственная ненулевая компонента, соответствующая i - ому классу объектов. При

некотором порядке подаются на входы многослойного персептрона. Для каждого из них оценивается ошибка (разница) между фактическим (yq ) и желаемым (Y q ) выходами

нейронной сети. Эта ошибка может быть вычислена многими способами, в зависимости от метрической функции, используемой для вычисления расстояния между двумя векторами. Всюду далее предполагается, что все векторные пространства являются евклидовыми. В соответствии с этим, величина отклонения фактического выхода многослойного персептрона от желаемого на шаблоне с индексом q имеет следующий вид:

Эту величину далее будем называть локальной ошибкой обучения на q- м

тренировочном шаблоне.

Множитель 12 в формуле (2.5.2) приписан целью упрощения вычислений, которые необходимо проводить при коррекции значений синаптических весов и порогов активационных функций нейронов.

Интегральная (суммарная) ошибка для всей обучающей выборки P определяется как сумма всех локальных ошибок:

Она вычисляется после получения всех откликов на поданные шаблоны и вычисления соответствующих локальных ошибок.

Алгоритм обучения осуществляет модификацию значений настраиваемых параметров многослойного персептрона (синаптических весов и порогов активационных функций нейронов), направленную на уменьшение интегральной ошибки.

19

Таким образом, задача обучения многослойного персептрона эквивалентна задаче безусловной оптимизации

Модификация значений настроечных параметров персептрона может осуществляться после подсчёта как локальной (реакция сети на конкретный тренировочный шаблон), так и интегральной ошибки обучения. Однако, поскольку в первом случае очень часто имеет место эффект замещения (то есть когда нейронная сеть запоминает одни образы по мере забывания других), в данной работе было отдано предпочтение использованию на каждой итерации алгоритма обучения суммарной погрешности (2.5.3).

Процесс обучения продолжается до тех пор, пока многослойный персептрон не приобретёт способность выполнять желаемый тип преобразования, заданный набором тренировочных шаблонов P . В результате обучения сеть достигает способности правильно реагировать не только на шаблоны множества P , но и на другие допустимые возмущения, с которыми она никогда не имела дела. В этом состоит так называемое свойство любой искусственной нейронной сети обобщать.

Ошибка в обобщении, как правило, имеющая место, определяется 2 причинами: ограниченностью размера сети, ведущему к недостаточному качеству аппроксимации, и ограниченностью объёма обучающей выборки.

Обучение персептрона, то есть поиск вектора его синаптических весов и порогов z , минимизирующего квадратичную ошибку (2.5.3), как правило, производится алгоритмом обратного распространения ошибки, или BPE-алгоритмом (BPE – Back Propagation Error), впервые описанным в 1974 году одновременно и независимо друг от друга в работах А. И. Галушкина [7] и Пола Дж. Вербоса [8]. Это итеративный градиентный алгоритм обучения, целью которого на каждой его итерации является уменьшение значения функции ошибки (2.5.3). В основе данного алгоритма лежит идея накопления погрешности обучения при движении от выходов нейронной сети к её входам, то есть в обратном направлении.

Для минимизации функции ошибки (2.5.3) в стандартной версии BPE-алгоритма используется один из методов градиентного спуска. Главными недостатками данного семейства методов являются очень медленная (в общем случае) сходимость и возможность зацикливания в окрестности локального минимума задачи (2.5.4) или в случае овражной целевой функции e(z). В существенно меньшей степени приведёнными недостатками

20

обладает семейство квазиньютоновских методов, среди которых наиболее распространёнными являются метод Давидона-Флетчера-Пауэлла и метод Бройдена- Флетчера-Голдфарба-Шенно [16] в силу наиболее высокой вычислительной эффективности при решении различных прикладных задач (поскольку они сочетают в себе сравнительно невысокую трудоёмкость каждой итерации с высокой скоростью сходимости).

Для решения оптимизационной задачи (2.5.4) могут использоваться траекторные методы, для которых единую итерационную схему можно записать в следующем виде:

k

направление локального убывания функции e(z) на k - й итерации.

Как видно из приведённой схемы, тот или иной вариант метода из семейства (2.5.6)

определяется последовательностью матриц {Qk k Z +}, а также способом выбора шагового

множителя tk на каждой итерации. В целях сравнения вычислительной эффективности в ходе разработки программной системы были реализованы и апробированы следующие

При этом в начале последних двух методов, как и в первом, чисто градиентном методе, полагается

21

(вместо единичной можно использовать любую симметричную, положительно определённую матрицу).

Поскольку в знаменателях формул (2.5.9) и (2.5.10) стоят величины, являющиеся бесконечно малыми вблизи стационарной точки задачи (2.5.4), для обеспечения корректности операции деления с плавающей точкой и устойчивой работы алгоритмов для квазиньютоновских методов, определяемых соответствующими формулами, в данной работе используются модифицированные формулы пересчёта симметричных матриц Qk , которые

случае применяется формула (2.5.10) (метод Бройдена-Флетчера-Голдфарба-Шенно).

Что касается способа выбора шагового множителя, то для определённости он

противоречащими друг другу обстоятельствами. С одой стороны, для корректного решения задачи (2.5.4) приращения значений настраиваемых параметров должны быть бесконечно малыми, что неизбежно делает процесс обучения неприемлемо длительным; с другой стороны, слишком резкие модификации параметров сети могут стать причиной постоянной неустойчивости процесса обучения.

Выбор шагового множителя (по-другому – коэффициента скорости обучения) tk по правилу (2.5.14) обеспечивает адаптивную настройку скорости обучения на каждой итерации BPE-алгоритма.

С целью конкретизации BPE-алгоритма и его формального описания найдём выражения, позволяющие вычислять вектор градиента интегральной функции ошибки (2.5.3)

в любой точке пространства Rd .

Для удобства в выкладках сначала выведем формулы для вычисления всех первых частных производных локальной функции ошибки eq (z), а затем получим аналогичные формулы для интегральной функции ошибки e(z).

22

Таким образом, формулы для вычисления компонент вектора градиента функции локальной ошибки можно представить в следующем виде:

где (ykj )(q) – сигнал на выходе j - ого нейрона k - ого слоя в ответ на тренировочный шаблон

Теперь можно привести описание BPE-алгоритма в виде последовательности шагов. Для этого будем использовать следующие дополнительные обозначения:

-MinGlobalError – минимальное значение глобальной ошибки обучения;

-Count – максимальное количество итераций обучения;

-GlobalError – значение глобальной ошибки обучения, достигнутое на текущей итерации;

-Accuracy – точность обучения;

-v – рабочая переменная.

Шаг 0. Инициализировать настраиваемые параметры нейронной сети псевдослучайными значениями из отрезка [0; 1].

Шаг 1. MinGlobalError = +∞. Q0 = E d .

Шаг 2. В цикле по переменной k от 1 до Count выполнить Шаг 3 – Шаг 9. После этого перейти на Шаг 11.

Шаг 3. Вычислить вектор градиента функции ошибки e(z) в точке zk по формулам (2.5.22).

Шаг 4. Определить направление поиска по формуле (2.5.7), предварительно пересчитав матрицу Qk по одной из формул (2.5.8) – (2.5.10) (в зависимости от используемого метода оптимизации).

Шаг 5. Определить значение шагового множителя tk по правилу одномерной минимизации

(2.5.14).

Шаг 6. Осуществить коррекцию компонент вектора настраиваемых параметров многослойного персептрона по формуле (2.5.6).

Шаг 7. Определить фактические реакции персептрона на входные сигналы каждого из тренировочных шаблонов обучающей выборки P при скорректированных значениях

24