3. Задание

К заданным классам, каждый из которых содержит один образ, применить обобщенный алгоритм обучения перцептрона с целью определения решающих функций. Положить с=1 и w₁(1)=w₂(1)=w₃(1)=0.

1. w₁ = {(0,0)^Т}; w₂ = {(1,1)^Т}; w₃ = {(-1,1)^Т};

2. w₁ = {(0,0)^Т}; w₂ = {(1,1)^Т}; w₃ = {(1,-1)^Т};

3. w₁ = {(0,0)^Т}; w₂ = {(-1,1)^Т}; w₃ = {(-1,-1)^Т};

4. w₁ = {(0,0)^Т}; w₂ = {(1,-1)^Т}; w₃ = {(-1,-1)^Т};

Полученный результат представить графически.

4. Порядок выполнения работы

1. Получить у преподавателя задание.

2. Решить задачи с использованием математического пакета, табличного процессора, системы программирования или вручную.

3. Показать решение преподавателю.

4. Составить отчет о лабораторной работе, включая постановку задачи, математическую модель, этапы решения и вывод. Отчет должен быть представлен к защите в письменном или электронном виде в конце семестра.

5. Отчет необходимо хранить до сдачи экзамена по данному курсу.

5. Литература

1. Фомин Я.А. Диагностика кризисного состояния предприятия. – М.: Юнити-Дана, 2003. - 349 с.

2. Горелик А.Л., Скрипкин В.А. Методы распознавания: Учебное пособие для вузов. Изд. 4-е, испр. – М: Высшая Школа, 2004г. – 261 с.

3. Ту Дж., Гонсалес Р. принципы распознавания образов. – М.: Мир, 1978. – 411 с.

4. Дуда Р., Харт П. Распознавание образов и анализ сцен. – М.: Мир, 1976. – 511 с.

5. Орехов Ю.В. Распознавание образов. Учебное пособие. УГАТУ. Уфа, 1995. – 45 с.

Контрольные вопросы.

1. Каковы основные свойства решающих функций?

2. Что такое перцептрон?

3. Какова его математическая модель?

4. Алгоритм обучения перцептрона.

5. Обобщенный алгоритм обучения перцептрона.

6. Каковы условия сходимости алгоритма обучения перцептрона?

7. Смысл теоремы Новикова.

Метод потенциальных функций Введение

Метод потенциальных функций был первоначально предложен для решения задач обучения машин распознаванию образов. Метод был разработан применительно к геометрической постановке задачи, когда обучение сводится к построению в некотором пространстве поверхности, разделяющей два множества, соответствующие двум образам.

Задача распознавания образов, помимо детерминистской, имеет и вероятностную постановку, которая связана не с построением разделяющей поверхности, а с восстановлением некоторой функции, характеризующей вероятность принадлежности объекта к тому или иному образу.

Идея метода

Пусть в некотором пространстве, назовем его рецепторным пространством и обозначим через X, каждому объекту соответствует точка; классам объектов в этом пространстве соответствуют непересекающиеся области; задача сводится к построению по показываемым точкам и по сообщаемой о них информации такой поверхности, которая разделяет эти области, т.е. функции, принимающей положительные значения на точках из одной области и отрицательные - на точках из второй области.

Введем в рассмотрение функцию двух переменных K(x,y), где x и y - точки пространства X. Если зафиксировать точку y = x*, то функция K(x,x*) станет функцией точки пространства Х и будет зависеть от того, как выбрана точка х*. Примером подобной функции в физике является потенциал, определенный для любой точки пространства, но зависящий от того, где расположен источник потенциала. Имея в виду эту аналогию, назовем функцию К(х,у) потенциальной функцией. Для упрощения наглядной интерпретации задачи будем считать, что в пространстве Х каким-либо введено расстояние между точками и что в качестве потенциальной функции К(х,у) выбрана некоторая функция, удовлетворяющая условиям:

а) функция К(х, у) всюду положительна;

б) она убывает при удалении точки х от точки у = х*, т.е., в частности, при фиксированном х* достигает максимума при х = х*.

В качестве потенциальной функции удобно взять функцию расстояния р(х, у) между точками х и у, т.е. К = К[р(х,у)]. Выбранная функция при у = х* определяет поверхность, похожую на холм, над точками пространства Х, что иллюстрируется следующими рисунками.

Рис. 1.1. Вид потенциальной функции для случая одномерного (а) и двухмерного (б) пространства Х.

Рассмотрим теперь следующую процедуру. Пусть надо научиться относить точки к одному из двух классов, которые условно назовем ₁ и ₂. Предположим, что учителем показана точка х = х¹ и сообщено, что она принадлежит классу ₁. Примем точку х = х¹ за «источник потенциала», положив х* = х¹, т.е. построим «холм» с вершиной в этой точке и запомним, что этот холм относится к точке из ₁. При предъявлении следующих точек х^s из ₁ или из ₂, каждый раз строятся подобные же «холмы» с вершинами в показанных точках и запоминается, к какому классу, ₁ или ₂, этот холм принадлежит. Когда учитель закончит процесс обучения, сложим отдельно потенциалы, которые были построены над точками, принадлежащими к классу ₁, и над точками, принадлежащими к классу ₂, т.е. построим функции:

и (1.1)

Таким образом, в результате процедуры оказались построенными две функции К_1(х) и К_2(х), которые можно назвать потенциалами образов ₁ и ₂.

После окончания процесса обучения начинается «экзамен», т.е. предъявляются новые точки, и требуется определить, к какому классу они относятся. В методе потенциальных функций предлагается относить показанную на экзамене точку х = х** к _{1 ,} если К_1(х**) > К_2(х**) и к ₂ при обратном знаке неравенства.

Вводя функцию

Ф(х) = К_1(х) - К_2(х) (1.2)

замечаем, что она разделяет знаком множества ₁ и ₂.

Если надо разделить объекты не на два, а на большее число классов, то можно совершенно аналогично строить потенциалы для всех образов порознь и при появлении в процессе экзамена новой точки относить ее к тому образу, чей потенциал в этой точке наибольший.

Представим себе теперь, что учителя нет, и что поэтому нет информации о том, к какому классу относятся показываемые в ходе обучения точки, но что эти точки берутся из непересекающихся областей ₁, ₂ и т.д. В этом случае уже невозможно отдельно выстраивать потенциал областей множеств ₁, ₂ и т.д., но если предполагать, что эти области компактны (в интуитивном понимании), то можно по-прежнему «выпускать» потенциалы К(х, х*) из всех показанных точек и построить их общий потенциал

(1.3)

Тогда эта функция будет представлять «горный ландшафт» с вершинами над областями ₁, ₂ и т.д. и «ущельями» между ними. Если теперь каким-либо методом найти «ущелья», т.е. поверхности минимума функции Ф(х), разделяющей вершины, то они будут определять области, относящиеся к различным классам. Если подобную процедуру окажется возможным реализовать, то тем самым методом потенциальных функций будет решена задача обучения без учителя.

Лабораторная работа №5. Получение решающих функций методом, основанным на использовании потенциальных функций

1. Цель работы

Научиться составлять решающие функции методом, основанным на использовании потенциальных функций.

2. Теоретические сведения

Получение решающих функций.

Решающие функции для классификации образов можно получить из потенциальных функций для векторов, представляющих выборочные образы x_k, k=1,2,… в пространстве Х.

Общий вид потенциальной функции K(x,x_k) определен фор­мулой

(1)

Хотя при обсуждении математических свойств алгоритмов метода потенциальных функций часто используется разложение в бесконечный ряд, очевидно, что с практической точки зрения это бесполезно. Обычно, при реальном построений потенциальных функций пользуются двумя основными ме­тодами.

Первый заключается в применении усеченных рядов

(2)

где {φ_i(x)}- ортонормированные функции на множестве об­разов. Это допущение не вызывает практических затруднений, так как ортонормированные функции легко строятся. Коэффициенты λ_i, входящие в об­щее выражение потенциальной функции (1), связаны с ограниченностью потенциальных функций и для того типа функций, который будет рассматриваться, могут быть опущены.

Функции, получаемые согласно (2), называются потенциальными функциями типа 1.

Рис. 1. Примеры одномерных потенциальных функций: а — график, соот­ветствующий уравнению (3); б—график, соответствующий уравнению (4); δ — график, соответствующий уравнению (5). Во всех трех слу­чаях α = 1 и x_k = 0.

Второй метод использует некую симметрическую функцию двух переменных х и x_k в качестве потенциальной функции. Условие симметричности формулируется так, чтобы полученные в результате потенциальные функции соответствовали их об­щему определению (1). Из этого соотношения, в сущности, следует, что K(x,x_k)= K(x_k,x). Кроме того, требуется, чтобы выбранные функции допускали разложение в бесконечный ряд. Это условие также соответствует общему определению потен­циальной функции (1). Функции, удовлетворяющие этим двум условиям, будем называть потенциальными функциями типа 2. Отметим, что наиболее употребительны такие потен­циальные функции типа 2:

где α – положительная константа, а || х – x_k || – норма вектора (х–x_k). Следует отметить, что эти функции обратно пропор­циональны квадрату расстояния D² = || х— х_k ||², которое слу­жит, в частности, характеристикой силы в потенциальном поле тяготения. Функции этого вида представлены на рис. 1 для случая одномерных образов.