Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

Та же контрольная по ТПР в PDF

.pdf
Скачиваний:
10
Добавлен:
15.09.2014
Размер:
268.71 Кб
Скачать

Цели контрольной работы:

1.Изучить основы теории принятия решений, в части (методы классификации).

2.Решить задачу по классификации образов заданными методами.

3.Сравнить эффективность, выявить сильные и слабые стороны различных методов.

Задание 1

Выполнить реферирование основных положений теории принятия решений.

1.1.Дать определение основных понятий: образ, информативный признак, классификация, обучение классификатора, обучающая последовательность.

1.2.Сущность (основная идея) методов сравнения образов по минимуму расстояния. Меры (или метрики) оценки расстояния: Евклидово расстояние, направляющие косинусы, расстояние Танимото, расстояние Хэмминга.

Методы классификации: метод ближайшего соседа, метод сравнения с эталоном.

1.3.Метод классификации с помощью линейной разделяющей (дискриминантной) функции.

Классическая модель формального нейрона. Алгоритмы обучения однослойной нейронной сети.

1

Теория принятия решений (DECISION THEORY) — область исследования, вовлекающая понятия и методы математики, статистики, экономики, менеджмента и психологии; изучает закономерности выбора людьми путей решения разного рода задач, а также исследует способы поиска наиболее выгодных из возможных решений.

Различают нормативную теорию, которая описывает рациональный процесс принятия решения и дескриптивную теорию, описывающую практику принятия решений.

1.1.

Образ (класс) — 1) классификационная группировка в системе классификации, объединяющая (выделяющая) определенную группу объектов по некоторому признаку; 2) Некоторая совокупность (подмножество) объектов, обладающих близкими свойствами. Образы обладают характерным свойством, проявляющимся в том, что ознакомление с конечным числом явлений из одного и того же множества дает возможность узнавать сколь угодно большое число его представителей. Примерами образов могут быть: река, море, жидкость, музыка Чайковского и т. д. В качестве образа можно рассматривать и некоторую совокупность состояний объекта управления, причем вся эта совокупность состояний характеризуется тем, что для достижения заданной цели требуется одинаковое воздействие на объект. Образы обладают характерными объективными свойствами в том смысле, что разные люди, обучающиеся на различном материале наблюдений, большей частью одинаково и независимо друг от друга классифицируют одни и те же объекты. Именно эта объективность образов позволяет людям всего мира понимать друг друга.

Способность восприятия внешнего мира в форме образов позволяет с определенной достоверностью узнавать бесконечное число объектов на основании ознакомления с конечным их числом, а объективный характер основного свойства образов позволяет моделировать процесс их распознавания.

Информативный признак - полезная для данной цели информацией, полученная из исходной информации. Однако информативные признаки далеко не равнозначны для достижения конкретной цели, поэтому очень важной задачей является поиск и отбор признаков достаточно информативных . Чтобы понять, что значит понятие "достаточно информативный", вводится понятие информативности признака. Информативность признака означает, насколько от данного признака зависит результат распознавания.

Классификация (распознавание)- (от лат. classis - разряд, группа и facere - делать) - 1) Система соподчиненных понятий (классов, объектов, явлений) в той или иной отрасли знания или деятельности человека, составленная на основе учета общих признаков объектов и закономерных связей между ними, позволяющая ориентироваться в многообразии объектов и являющаяся источником знания о них. 2) Распределение к.-л. объектов по классам (отделам, разрядам) на основе их общих признаков, сходств и различий, отражающих связи между классами объектов в единой системе данной отрасли знания. Если дано некоторое множество объектов, то можно сказать, что классификация решает тройственную задачу: а) упорядочить это множество; б) сделать его хорошо обозримым; в) облегчить доступ в памяти к любому виду предметов данного множества. Классификация получается в результате последовательного многоступенчатого деления. Основная цель классификации (распознавания) состоит в построении правила, в соответствии с которым устанавливается, к какому из классов объектов (образов) может быть отнесен классифицируемый (распознаваемый) объект.

2

Обучение классификатора - осуществляется путем показа отдельных объектов с указанием их принадлежности тому или другому образу. В результате обучения распознающая система (классификатор) должна приобрести способность реагировать одинаковыми реакциями на все объекты одного образа и различными — на все объекты различных образов. Очень важно, что процесс обучения должен завершиться только путем показов конечного числа объектов без каких-либо других подсказок. В качестве объектов обучения могут быть либо картинки, либо другие визуальные изображения (буквы), либо различные явления внешнего мира, например звуки, состояния организма при медицинском диагнозе, состояние технического объекта в системах управления и др. В процессе обучения указываются только сами объекты и их принадлежность образу. За обучением следует процесс распознавания новых объектов, который характеризует действия уже обученной системы. Автоматизация этих процедур и составляет проблему обучения распознаванию образов.

Обучением обычно называют процесс выработки в некоторой системе той или иной реакции на группы внешних идентичных сигналов путем многократного воздействия на систему внешней корректировки. Такую внешнюю корректировку в обучении принято называть "поощрениями" и "наказаниями". Механизм генерации этой корректировки практически полностью определяет алгоритм обучения. Самообучение отличается от обучения тем, что здесь дополнительная информация о верности реакции системе не сообщается.

Обучение — это процесс, в результате которого система постепенно приобретает способность отвечать нужными реакциями на определенные совокупности внешних воздействий.

Обучающая последовательность (выборка, множество) — последовательность (выборка, множество), для каждого элемента которой указано, к какому классу он относится. Обучающая последовательность предъявляется классификатору в процессе обучения. Обучающая последовательность представляет собой последовательность

независимых пар наблюдений вида

A n= X j ,y j ,j=1, .. . ,n

. Здесь y j показывает номер

класса (образа),

которому

принадлежит

наблюдение

X j ;Py j =i=pi ,i= 1, .. . ,m;pi -

неизвестная вероятность того, что

X

будет

извлечено из

i

-го класса; число классов

m

 

 

 

 

 

 

 

 

известно; pi=1 . Для

y j =i

все

X j

распределены

с

неизвестной функцией

i= 1

F i . Число

y j =i

 

 

 

 

ni

 

распределения

в выборке обозначается

и называется объемом

выборки из i -го класса.

Если требуемая функция однозначно описывается путем задания соответствия каждому вектору пространства X некоторого вектора из пространства Y , во многих практических случаях значения требуемых функций для заданных значений аргумента получаются из эксперимента или наблюдений, и, следовательно, известны лишь для ограниченной совокупности векторов. Имеющиеся в распоряжении исследователя примеры соответствий между векторами, либо специально отобранные из всех примеров наиболее представительные данные называют обучающей последовательностью (выборкой). Обучающая выборка определяется обычно заданием пар векторов, причем в каждой паре один вектор соответствует стимулу, второй — требуемой реакции. Обучение нейронной сети (персептрона, в общем случае — классификатора) состоит в приведении всех векторов стимулов из обучающей выборки требуемым реацкиям путем выбора весовых коэффициентов нейронов.

3

yi ):

1.2.

Сущность (основная идея) методов сравнения образов по минимуму расстояния. Классификатор по минимуму расстояния был предложен достаточно давно, но до сих пор он остается эффективным инструментом решения задачи классификации. Сходство или различие между объектами классификации устанавливается в зависимости от выбранного метрического расстояния между ними. Если каждый объект описывается i свойствами (признаками), то он может быть представлен как точка в i -мерном пространстве, и сходство с другими объектами будет определяться как соответствующее расстояние. Алгоритмы классификации основаны на сравнении меры близости или меры сходства классифицируемого объекта с каждым классом. При этом если выбранная мера близости данного объекта с каким-либо классом k ,k= 1,. . . ,m превышает меру его близости с другими классами, то принимается решение о принадлежности этого объекта классу k .

Меру близости (сходства) объектов удобно представить как обратную величину от расстояния между объектами. Термин "метрика" подразумевает метод вычисления того или иного конкретного расстояния.

Меры (или метрики) оценки расстояния. В алгоритмах классификации, базирующихся на использовании как детерменированных, так и вероятностных признаков, в качестве меры близости объектов, групп объектов, представляющих собой классы, объекты и группы объектов наиболее часто применяются следующие метрики в

виде расстояний (расстояния между двумя объектами xi и

Евклидово расстояние:

В изначальном смысле, пространство свойства которого описываются аксиомами евклидовой геометрии. Это вероятно наиболее часто используемый тип расстояния. Оно является простым геометрическим расстоянием в многомерном пространстве и вычисляется как:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

p

 

 

 

2 , где

 

 

p

E

x

 

,x

=

k=1

xi

x j

 

 

 

 

i

 

j

 

k

 

k

 

p E xi ,x j - расстояние между i

-тым и

j

-тым объектами;

xik

- численное значение k

-той переменной для i

-того объекта;

x kj

- численное значение k

-той переменной для

 

j -того объекта;

p - количество переменных, которыми описываются объекты.

C геометрической точки зрения, евклидова мера расстояния может оказаться бессмысленной, если признаки измерены в разных единицах. Чтобы исправить положение, прибегают к нормированию каждого признака. Применение евклидова расстояния оправдано в следующих случаях:

- свойства (признаки) объекта однородны по физическому смыслу и одинаково важны для классификации;

4

- признаковое пространство совпадает с геометрическим пространством.

Евклидово расстояние рекомендуется применять, если признаки x k ,k=1, .. . ,p однородны

по своему физическому смыслу, причем известно, что все они одинаково важны при отнесении объекта к тому или иному классу. Если признаки имеют различную важность, то используется Взвешенное евклидово расстояние:

 

E

 

i

 

j

 

p

 

k

k

k

 

 

 

 

 

 

 

 

k=1

 

2 , где

w k - вес k

 

p'

 

x

 

,x

=

 

 

w

 

xi

x j

 

-го признака.

Направляющие косинусы:

Направляющие косинусы вектора (в пространстве) – это косинусы углов, которые вектор образует с положительными полуосями координат. Направляющие косинусы однозначно задают направление вектора. Если вектор имеет длину 1, то его направляющие косинусы равны его координатам.

При оценке расстояния используется формула:

 

cos θ =

xi x j

, где

xi x j

xi и x j - образы (векторы), расстояние между которыми оценивается;

p

xi x j =xik x kj (скалярное умножение векторов), где

i=1

p- число информативных признаков;

xi = xi x j - абсолютное значение вектора (норма).

Расстояние (коэффициент) Танимото:

Мера сходства, описывает степень схожести двух множеств, вычисляется по формуле:

pT xi ,x j =

 

 

xi x j

, где

xi 2 x j 2xi x j

xi x j - число общих атрибутов у xi и x j

;

 

xi 2 - число атрибутов у xi ; x j 2

- число атрибутов у

x j .

Знаменатель дает число атрибутов у

xi

или x j , но не у обоих. Таким образом все

выражение обозначает отношение общих атрибутов у xi

и x j к числу атрибутов только

у векторов xi , x j но не у обоих одновременно.

 

Коэффициент Танимото является наиболее распространенной мерой подобия для структур, представленных при помощи молекулярных отпечатков пальцев.

Расстояние Хэмминга:

Является частным лучаем расстояния Минковского. Также называется манхэттенским, сити-блок (city-block) расстоянием или расстоянием городских кварталов. Это расстояние

5

является просто средним разностей по координатам. В большинстве случаев эта мера расстояния приводит к таким же результатам, как и для обычного расстояния Евклида. Однако отметим, что для этой меры влияние отдельных больших разностей (выбросов) уменьшается (так как они не возводятся в квадрат). Хеммингово расстояние вычисляется

p

по формуле: ph xi ,x j =xik x kj .

k=1

Это расстояние используется в основном как мера различия объектов, признаки которых измерены в шкалах наименований и порядка. Для дихотомических признаков расстояние Хэмминга показывает число несовпадений признаков у анализируемых объектов.

Методы классификации. Используются для характеристики взаимного расположения групп объектов. Наиболее распространенные методы:

Метод ближайшего соседа (nearest neighbour) (одиночное связываение):

Метод ближайшего соседа — простейший метрический классификатор, основанный на оценивании сходства объектов. Классифицируемый объект относится к тому классу, которому принадлежат ближайшие к нему объекты обучающей выборки.

На первом шаге, когда каждый объект представляет собой вектор, мы определяем расстояния между объектами, выбирая соответствующую меру. Однако, когда несколько объектов были связаны вместе, как нам определить расстояние между новыми векторами? Другими словами, нам требуется правило слияния, определяющее являются ли два вектора достаточно близкими для того, чтобы быть связанными. Имеются различные возможности: например, мы могли бы связывать два вектора вместе, когда любые два их представителя ближе друг к другу, чем соответствующий порог связывания. Другими словами, мы используем "ближайших соседей", чтобы определить расстояние между векторами - этот метод называется одиночным связыванием. Это правило порождает "размытые" векторы, то есть векторы, связанные только одиночными объектами, оказавшимися близко друг к другу.

Расстояние между двумя группами Si и

S j

равно расстоянию между ближайшими

объектами этих групп: p Si ,S j =min p xk

,xm

,xk S i ,xm S j .

Расстояние между двумя векторами определяется наименьшим расстоянием между любой парой представителей.

Метод сравнения с эталоном:

Данный метод сводится к тому, чтобы для тестируемого объекта выяснить, какой эталон из заданного множества эталонов (образов) ближе на основе меры сходства (расстояния между объектами).

В качестве эталонов на практике могут рассматриваться следующие объекты:

1.Буквы в словах рукописного текста (при распознавании рукописного текста);

2.Силуэты объектов в сцене (применительно к машинному зрению);

3.Слова (команды), произносимые человеком (при распознавании речи).

6

В настоящее время метод сравнения с эталоном является основным среди методов распознавания речи.

Метод сравнения с эталоном используется в построении алгоритмов распознавания в детерминированных системах. В общем случае применение детерминированных методов распознавания предусматривает наличие координат эталонов классов в пространстве признаков или координат объектов, принадлежащих соответствующим классам. Процедура распознавания — это сравнение с эталоном. Цепочка непроизводных элементов, представляющая анализируемый объект, сопоставляется с цепочками непроизводных элементов, описывающих классы. Распознаваемый объект с помощью выбранного критерия согласия (подобия) относится к тому классу, с которым обнаруживается наилучшая близость.

Также данный метод применятеся в алгоритмах классификации, основанных на вычислении оценок (АВО). Последовательная реализация процесса классификации в соответствии с АВО такова: 1) выделяется система опорных множеств алгоритма, по которым производится анализ распознаваемых объектов; 2) вводится понятие близости на множестве частей описаний объектов; 3) задаются правила: а) позволяющие по вычисленным оценкам степени подобия эталонного и распознаваемого объекта вычислить величину, называемую оценкой для пар объектов; б) формирования оценок для каждого из классов по фиксированному опорному множеству на основе оценок для пар объектов; в) формирования суммарных оценок для каждого из классов по всем опорным подмножествам; г) принятие решения, которое на основе оценок для классов обеспечивает отнесение распознаваемого объекта к одному из классов или отказ ему в классификации.

Находит применение данный метод и в процессе обучения классификатора (перцептрона).

При решении задачи классификации методом сравнения с эталоном, необходимо сначала вычислить этот эталон (т.е. найти среднее по каждой из заданных координат).

1.3.

Метод классификации с помощью линейной разделяющей (дискриминантной) функции.

Дuскрuмuнантный анализ - раздел математической статистики, содержанием которого является разработка методов решения задач различения (дискриминации) объектов наблюдения по определенным признакам, используется для принятия решения о том, какие переменные различают (дискриминируют) две или более возникающие совокупности (группы). Например, разбиение совокупности предприятий на несколько однородных групп по значениям каких-либо показателей производственно-хозяйственной деятельности. Методы дискриминантного анализа находят применение в различных областях: медицине, социологии, психологии, экономике и т.д. При наблюдении больших статистических совокупностей часто появляется необходимость разделить неоднородную совокупность на однородные группы (классы). Такое расчленение в дальнейшем при проведении статистического анализа дает лучшие результаты моделирования зависимостей между отдельными признаками.

Дискриминантным анализом (ДА) также называется метод, с помощью которого на основании обучающей выборки и предположений строится конкретное правило классификации.

7

Задача дискриминантного анализа состоит в нахождении правила отнесения наблюдаемого объекта к одному из ранее описанных классов. При этом объекты описывают в математической модели с помощью векторов, координаты которых — результаты наблюдения ряда признаков у каждого объекта. Классы описывают либо непосредственно в математических терминах, либо с помощью обучающих выборок. Обучающая выборка — это выборка, для каждого элемента которой указано, к какому классу он принадлежит.

Каждый образ отображается в виде точки в пространстве образов. Образы, относящиеся к разным классам, попадают в разные области в пространстве классов и, соответственно, могут быть разделены разделяющими поверхностями.

Разделяющие поверхности, называемые решающими поверхностями, могут быть формально определены как поверхности в n -мерном пространстве, которые используются, чтобы разделить известные образы на их соответствующие категории и используются для классификации неизвестных образов.

Такие поверхности можно определить как гиперплоскости, имеющие размерность

n1 . Когда n< 1

решающая поверхность представляет

собой точку, как показано на

Рис.1.1., где точка

A разделяет классы w 1 и w 2 и точка

B — разделяющая точка для

w 2 и w 3 .

 

 

Рис. 1.1

Когда n= 2 решающая поверхность становится линией w 1 x1 +w2 x2 +w3=0 как показано на Рис.1.2:

Рис. 2.2

8

 

Когда

n= 3 — поверхность является плоскостью, для

n= 4 или больше — это

гиперплоскость w 1 x1 +w2 x2 +w k x k +wk =0

, представимая в матричной форме как

 

 

 

 

 

 

 

 

{

w1

}

 

 

[

 

x1

]

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

W T X=0 , где W=

 

 

 

,

X=

 

 

,

 

 

 

 

 

 

 

 

 

wn

 

 

 

 

xn

}

 

 

 

 

 

 

 

 

w n+1

 

 

 

{

1

где W и X

называются расширенным весовым вектором и расширенным вектором

образа.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Для удобства скаляр

w n+ 1 добавлен в весовой вектор и, соответственно, вектор

X

становится n+ 1 - мерным путем добавления

xn+ 1=1

. Это позволяет представить все

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

линейные дискриминантные функции проходящими через начало координат.

 

Дискриминантная функция — это функция

d X

, которая определяет решающую

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

поверхность. Как показано на Рис.1.2. d k

 

 

 

 

 

— являются дискриминантными

X и d j X

 

функциями для образа X

в классах k

и j

соответственно.

 

 

 

 

 

 

 

 

 

будет

уравнением,

которое

определяет поверхность,

 

d X =d k X d j X =0

разделяющую классы k

и

j .

 

 

 

 

 

 

 

 

 

 

 

 

Мы можем сказать, что d k

 

 

 

x wk , j k,j=1,2,3 , ,M .

X >d j X =0 ,

Дискриминантная функция позволяет разделить в пространстве образов различные классы путем построения разделяющих поверхностей.

Общая форма линейной дискриминантной функции (ЛДФ): ЛДФ может быть представлена в следующей форме: d k X =w k1 x1+w k2 x2 +wkn xn +w kn +1 x n+1

или в матричной форме

d k x =W kT X

,

 

[w k ,n+1]

 

[

1 ]

 

 

 

 

 

 

 

w1

 

 

x1

 

 

 

 

 

 

=

 

,

X =

 

и

x

n+ 1

=1

в рассмотренном векторе образа.

где W

w n

x n

 

 

 

 

 

 

 

 

 

 

 

Для 2-х классовой задачи

M= 2

и

d X =w1T x+w 2T x= w1w 2 T x=0 представляет

собой гиперплоскость проходящую через O в расширенном пространстве признаков. При решении задачи классификации методом линейной разделяющей функции (конкрентный пример приведен в решении Задания 2.3) необходимо "построить"

разделяющую линию, т.е. найти коэффициенты w i .

n

Для построения гиперплоскости используется формула wi xi +w0 =0 , где

i=1

xi - i-информационный признак;

9

w i -коэффициент соответствующего признака.

Классическая модель формального нейрона. Алгоритмы обучения однослойной нейронной сети.

Нейронная сеть — это специализированная компьютерная программа, "нейроны" используются лишь при общении человека с компьютером. Методология нейронных сетей идет от идей кибернетики 1940-х годов. В компьютере создается модель мозга человека. Основа модели — весьма простые базовые элементы, называемые нейронами. Они соединены между собой, так что нейронные сети можно сравнить с блок-схемами. Каждый нейрон находится в одном из заданного множества состояний. Он получает импульсы от соседей по сети, изменяет свое состояние и сам рассылает импульсы. В результате состояение множества нейронов изменяется, что соответствует проведению множества эконометрических вычислений.

Нейроны обычно объединяются в слои (как правило, 2-3). Среди них выделяются входной и выходной слои. Перед началом решения той или иной задачи производится настройка. Во-первых, устанавливаются связи между нейронами, соответсвующие решаемой задаче. Во-вторых, производится обучение, т.е. через нейронную сеть пропускается обучающие выборки, для элементов которых требуемые результаты расчетов известны. Затем параметры сети модифицируются так, чтобы получить максимальное соответствие выходных значений заданным величинам..

Простейшая нейронная сеть - ПЕРСЕПТРОН Розенблатта.

Задачи решаемые НС: 1) Классификация образов; 2)Кластеризация / категоризация; 3) Аппроксимация функций; 4) Предсказание/прогноз; 5) Оптимизация; 6) Ассоциативная память; 7) Управление.

Свойства искусственных нейронных сетей: 1) Обучение; 2) Обобщение; 3) Абстрагирование; 4) Применимость.

Формальный нейрон имитирует в первом приближении свойства биологического нейрона. На вход формального нейрона поступает некоторое множество сигналов,

обозначенных x1, x2, , xn , каждый из которых является выходом другого нейрона. Эти

входные сигналы, в совокупности обозначаемые вектором X , соответствуют сигналам, приходящим в синапсы билогического нейрона. Т.к. синапсы отличаются друг от друга,

над входными сигналами осуществляется преобразование

L . Его результат подается на

вход активационной функции F , которая формирует на аксоне нейрона выходной сигнал

Y .

 

 

 

 

Таким образом, с математической точки зрения нейрон представляет собой

композицию

функций,

задающих зависимость

 

выходного сигнала нейрона Y от вектора входных

 

сигналов X

: Y=F L

X

, где

 

X= x1,

x2, ,xn

- вектор входных сигналов;

 

L X

- функция

преобразования вектора

Рис.2.1

входных сигналов на синапсах нейрона;

F - функция активации нейрона.

10