8.5. Общая схема обучения нейронной сети
Для обучения нейронной сети необходима обучающая выборка (задачник), состоящая из примеров. Каждый пример представляет собой задачу одного и того же типа с индивидуальным набором условий (входных параметров) и заранее известным ответом. Например, в качестве входных параметров в одном примере могут использоваться данные обследования одного больного, тогда заранее известным ответом в этом примере может быть диагноз. Несколько примеров с разными ответами образуют задачник. Задачник располагается в базе данных, каждая запись которой является примером.
Рассмотрим общую схему обучения нейросети.
Из обучающей выборки берется текущий пример (изначально, первый) и его входные параметры (представляющие в совокупности вектор входных сигналов) подаются его на входные синапсы обучаемой нейросети. Обычно каждый входной параметр примера подается на один соответствующий входной синапс.
Нейросеть производит заданное количество тактов функционирования, при этом вектор входных сигналов распространяется по связям между нейронами (прямое функционирование).
Измеряются сигналы, выданные теми нейронами, которые считаются выходными.
Производится интерпретация выданных сигналов, и вычисляется оценка, характеризующая различие между выданным сетью ответом и требуемым ответом, имеющимся в примере. Оценка вычисляется с помощью соответствующей функции оценки. Чем меньше оценка, тем лучше распознан пример, тем ближе выданный сетью ответ к требуемому. Оценка, равная нулю, означает что требуемое соответствие вычисленного и известного ответов достигнуто. Заметим, что только что инициализированная (необученная) нейросеть может выдать правильный ответ только совершенно случайно.
Если оценка примера равна нулю, ничего не предпринимается. В противном случае на основании оценки вычисляются поправочные коэффициенты для каждого синаптического веса матрицы связей, после чего производится подстройка синаптических весов (обратное функционирование). В коррекции весов синапсов и заключается обучение.
Осуществляется переход к следующему примеру задачника и вышеперечисленные операции повторяются. Проход по всем примерам обучающей выборки с первого по последний считается одним циклом обучения.
При прохождении цикла каждый пример имеет свою оценку. Вычисляется, кроме того, суммарная оценка множества всех примеров обучающей выборки. Если после прохождения нескольких циклов она равна нулю, обучение считается законченным, в противном случае циклы повторяются.
Количество циклов обучения, также как и время, требующееся для полного обучения, зависят от многих факторов - величины обучающей выборки, количества входных параметров, вида задачи, типа и параметров нейросети и даже от случайного расклада весов синапсов при инициализации сети.
С учетом подразделения задач на классификационные и предикционные, рассмотрим принцип вычисления оценки у нейросетей, решающих такие задачи.
8.6. Обучение нейросетей-классификаторов
Обучаемая нейросеть может иметь любое количество нейронов, которое, однако, не должно быть меньше числа классов в задаче, решению которой обучается нейросеть. Обычно количество нейронов устанавливается равным числу входных сигналов в задаче или меньшим. Как правило, в полносвязных нейросетях, применяемых нами, все нейроны являются входными (каждый из них принимает один, часть или все входные сигналы). Выходными считаются последние нейроны, причем их число в сети-классификаторе равно числу классов в задаче. После работы сети с одним примером выходные сигналы снимаются с каждого выходного нейрона отдельно.
При решении классификационной задачи нужно интерпретировать ответы выходных нейронов, так как окончательным ответом является класс, к которому относится пример. Интерпретация производится следующим образом: так как число выходных нейронов совпадает с количеством классов в решаемой задаче, каждый выходной нейрон отвечает за класс с соответствующим номером. Номер выходного нейрона, выдавшего наибольший выходной сигнал, и есть номер класса, к которому, по мнению нейросети, относится данный пример. Однако при обучении необходимо не только установить факт совпадения или несовпадения ответов, но и вычислить оценку, показывающую, насколько вычисленный ответ отличается от требуемого. Это достигается вычислением разности между двумя максимальными выходными сигналами, выданными выходными нейронами. При этом выявляется не только выходной нейрон, выдавший максимальный сигнал, но и выходной нейрон, выдавший второй по величине сигнал. Если число выходных нейронов больше двух (n-арная классификация), ответы остальных нейронов не имеют значения. Если разность не превышает заранее установленного значения (уровня надежности), оценка приравнивается к нулю, и пример считается распознанным абсолютно правильно, и коррекции синаптических весов на данном примере не требуется.
Ситуацию распознавания примера в задачах классификации можно представить в виде некоторых действий, производящихся в пространстве, размерность которого равна числу классов в задаче. В случае бинарной классификации рабочее пространство представляет собой квадратный участок плоскости (двухмерного пространства), минимальные и максимальные координаты которого ограничены значениями -1 и 1.
Рассмотрим рис. 8.5. Значения вертикальной координатной оси соответствуют выходным сигналам 1-го выходного нейрона (отвечающего за 1-й класс), значения горизонтальной координатной оси - выходным сигналам второго выходного нейрона (2-й класс). Пространство разделяется на две части диагональной линией. В текущий момент времени параметры очередного примера подаются на входные нейроны нейросети. После всех преобразований ответ примера проецируется в определенную точку пространства и в зависимости от значений, снятых с выходных нейронов, попадает в одну из областей, разделенных диагональю. Область каждого класса в пространстве соответствует как можно большим значениям (1) "своей" оси координат и как можно меньшим значением (-1) другой оси координат.
Рис. 8.5. Схема проекции обучающих примеров в двухмерном пространстве при бинарной классификации. 1- пример 1-го класса, попавший в зону “надежности”; 2 - пример 1-го класса, распознанный правильно, но с недостаточным уровнем надежности
Таким образом, чем больше будет значение, снятое с какого-либо выходного нейрона, тем больше будет значение координаты точки по оси, соответствующей этому нейрону, и наоборот. Ситуация, когда значения, снятые с обоих нейронов, равны, приведет к попаданию точки на диагональ (независимо от значений чисел). Пунктирной линией отсечены зоны “надежности”, находящиеся у углов квадрата, соответствующих классам задачи. Чем больше расстояния между линиями, тем больше заданный уровень надежности и, соответственно, требования к сети. Пример, ответ которого “попал” в свою область и, к тому же, в зону надежности, считается распознанным абсолютно верно.
В процессе обучения ответы примеров, подаваемых сети многократно, постепенно "разводятся" как можно дальше от диагонали и как можно ближе к углам, каждый из которых соответствует определенному классу. После того, как все примеры попали в зоны “надежности”, соответствующие их классам, сеть считается обученной полностью. Постепенно повышая уровень надежности, можно добиваться большей точности ответов сети и лучшего распознавания примеров обучающей выборки.
В приведенной схеме число входных нейронов точно соответствовало количеству обучающих параметров (размерности вектора входных сигналов). Однако в наших экспертных системах мы использовали более гибкую и одновременно более мощную подачу входных сигналов на вход нейросети. Суть ее заключается в том, что вектор входных сигналов перед подачей на сеть преобразуется умножением на адаптивную матрицу приема сигналов, содержащую подстраиваемые, как и веса синапсов, значения. Кроме повышения скорости и качества обучения, это дает возможность задавать число нейронов в сети произвольным, независимым от числа обучающих параметров. Сети с небольшим числом нейронов, естественно, занимают меньше места на диске и в памяти компьютера, быстрее загружаются с диска для выдачи ответа (иногда для тестирования примеров приходится каждый раз загружать сети с диска, особенно, если сетей много, а все они одновременно не помещаются в оперативной памяти).