МАТЕМАТИЧЕСКИЕ МЕТОДЫ _распознавания образов
.pdf
РОССИЙСКАЯ АКАДЕМИЯ НАУК ВЫЧИСЛИТЕЛЬНЫЙ ЦЕНТР при поддержке
РОССИЙСКОГОФОНДАФУНДАМЕНТАЛЬНЫХИССЛЕДОВАНИЙ
МАТЕМАТИЧЕСКИЕ МЕТОДЫ РАСПОЗНАВАНИЯ ОБРАЗОВ
(ММРО-9)
Доклады 9-й Всероссийской конференции
Москва
1999
Оргкомитет
Председатель: академик РАН Ю.И. Журавлев Члены оргкомитета:
Рудаков К.В., чл.-корр. РАН
-заместитель председателя оргкомитета
Матросов В.Л., д.ф.-м.н., академик РАО
-председатель программного комитета
Дюкова Е.В., д.ф.-м.н.
-учёный. секретарь конференции
Воронцов К.В. Горелик А.Л., д.т.н. Громов А.Н. Гуревич И.Б., к.ф.-м.н. Гуров С.И., к.ф.-м.н. Инякин А. С.
Кондратьев В.В., чл.-корр. РАН Ларичев О.И., академик РАН Местецкий Л.М., д.т.н. Песков Н. В.
Рязанов В.В. д.ф.-м.н. Сенько О.В. к.ф.-м.н. Устинин М.А., к.ф.-м.н.
I. Математическая теория распознавания
Об усточивости алгоритмов групповой классификации
М.Б. Айдарханов, Л.Л. Ла
(Алматы)
Одним из естественных и важных требований предъявляемым к алгоритмам классификации является их устойчивость к изменениям классифицируемого множества объектов. В последнее время, в задачах классификации, широко используются групповые методы, заключающиеся в синтезе результатов, полученных при применении различных алгоритмов к заданной исходной информации, или выбора оптимальных, в некотором смысле, алгоритмов из заданного набора. Данная работа посвящена исследованию вопросов устойчивости алгоритмов групповой классификации. Была исследована приближенная устойчивость алгоритмов групповой классификации относительно уменьшений длины исходного
множества объектов, введено понятие (ε,δ ) -устойчивости алгоритмов классификации, которое предполагает, что уменьшение длины исходного множества объектов на δ приводит к изменению результатов работы алгоритма классификации не более чем на ε, получена оценка устойчивости алгоритмов групповой классификации.
Существуют различные способы определения групповых классификаций. Для естественно-стандартного представления классификаций мы используем определение в котором групповая классификация является «средней» относительно исходных классификаций: то есть сумма расстояний до них минимальна.
Для структурного подхода к построению групповых классификаций было ведено двоичное представление классификаций и рассмотрена метрика, индуцированная метрикой Хемминга. Нами получена оценка устойчивости алгоритмов групповых классификаций рассмотренных в пространстве классификаций с этой метрикой и зависимость степени этой устойчивости от устойчивости исходных классификаций.
Был также рассмотрен один подход к определению нечетких групповых классификаций. Здесь использовано определение групповой
классификации, для которого сумма квадратов расстояний от нее до исходных классификаций минимальна.
Получена оценка устойчивости алгоритмов нечеткой групповой классификации относительно уменьшений длины исходной выборки объектов. Данная оценка показывает, что алгоритм нечеткой групповой классификации в m раз более устойчив, чем наименее устойчивый из исходных алгоритм классификации.
Об одном методе оценивания числа классов
Н.Н. Апраушева, С.В. Сорокин
(Москва)
Вопрос об оценивании числа классов данного множества наблюдений
X (n ) = {X1 , X 2 ,K, X n } |
(1) |
является самым важным в математической теории классификации. Одним из надёжных методов решения этой задачи оказался подход,
основанный на поведении последовательности значений асимптотических
функций правдоподобия множества X (n ) при разделении его различное число классов k, k = k0 +1,K,t , k0 ≥1.
При фиксированном значении k выражение асимптотической функции правдоподобия имеет следующий вид:
Lac (X (n), k )= ∏k |
πsns Ls (X (ns ),θs ), |
(2) |
|
|
s=1 |
|
|
где π s |
– априорная вероятность, ns – число объектов, θs – неизвестный |
||
параметр |
распределения, |
Ls (X (ns ),θs ) – функция |
правдоподобия s -го |
класса соответственно.
Для оценивания параметров классов неизвестная функция плотности вероятности данной выборки (1) аппроксимируется известными
распределениями fs (X ,θs ),
k
f (X ,θ1 ,θ2 ,K,θk )= ∑π s fs (X ,θs ).
s=1
Затем для каждого фиксированного значения k статистическими методами находятся оптимальные оценки для неизвестных параметров
π1 ,π2 ,K,πk ,θ1 ,θ2 ,K,θk по неразделенной выборке (1), которые затем
подставляются |
в выражение (2). |
Варьируя последовательно |
значения |
|||
k, k = k0 |
+1,K,t , получаем последовательность значений |
|
|
|||
{Lac (X (n), k )}. |
|
|
|
(3) |
||
В |
этой |
последовательности |
выделяется |
возрастающая |
||
подпоследовательность |
+1)< K< Lac (X (n), k′), |
|
||||
Lac (X (n), k0 )< Lac (X (n), k0 |
(4a) |
|||||
Lac (X (n), k′)> Lac (X (n), k′ +1). |
|
|
(4b) |
|||
Тогда за оптимальное значение |
k kopt |
принимаем то его наибольшее |
||||
значение, до которого подпоследовательность в (3) остаётся возрастающей. В силу соотношений (4)
kopt = k′.
Этот метод оценивает число классов kopt , достаточно удалённых друг от
друга. Многочисленные эксперименты, проведённые на выборках из смеси нормальных распределений, подтвердили высокую надёжность рассмотренного метода.
Размытая упорядоченная классификация
Е.В. Бауман
(Москва)
Задачу |
оценивания |
множества альтернатив A = {a,b,c, x, y,...} в |
некоторой |
ранговой |
шкале V = {v1 ,...,vr }, (v1 > v2 >...> vr ) можно |
рассматривать как задачу построения упорядоченной классификации этого
множества, т.е. разбиении |
множества A на |
Ai = {x A|v(x) = vi } |
Ai A; Ai IAj |
|
|
уровни A1,..., Ar , где
= ,i ≠ j; UAi = A . |
|
i |
|
Будем считать, что альтернатива x лучше альтернативы y , если v(x) > v( y) . Как известно, введенное таким образом бинарное отношение
“лучше” представляет собой слабый порядок (асимметричное, обратно транзитивное бинарное отношение).
В данной работе рассматривается размытая упорядоченная
классификация, т.е. предполагается, что ее уровни размыты. Обозначим |
|||
функцию принадлежности альтернативы |
x уровню Ai |
через µ(i , x ) |
|
(i = 1,...,r). |
Предполагается, что 0 ≤ µ(i , x ) ≤ 1, |
∑µ(i , x ) = 1. |
|
|
|
|
i |
Следовательно, |
функции принадлежности |
µ(i , x ) данной альтернативы |
|
x можно рассматривать, как распределение ее оценок на шкале V.
Таким образом, размытую упорядоченную классификацию можно задавать через вектор-функций принадлежности. Далее и размытая упорядоченная классификация и соответствующий вектор-функция
обозначаются через Μ().
Задача сравнения двух альтернатив по размытой упорядоченной классификации сложнее, чем в неразмытом случае. Интуитивно можно предположить, что альтернатива x лучше альтернативы y , если
распределение оценок x в некотором смысле лежит выше по шкале V, чем распределение оценок y . Введем следующее определение.
Определение |
1. Бинарное |
отношение PM ( ) |
будем называть |
||||
отношением “лучше” для размытой упорядоченной классификации, если |
|
||||||
|
|
|
k |
k |
|
|
|
x PM ( ) y k | 1 ≤ k ≤ r , ∑µ(i , x ) ≥ |
∑µ(i , y ) и |
|
|||||
|
|
|
i =1 |
i |
=1 |
|
|
|
k * |
k * |
|
|
|
|
|
|
k * | ∑µ(i , x ) > ∑µ(i , y ). |
|
|
|
|
||
|
i |
=1 |
i =1 |
|
|
|
|
Очевидно, что такое бинарное |
отношение является |
транзитивным и |
|||||
асимметричным, т.е. частичным порядком. |
P |
|
|
||||
Одной из характеристик частичного порядка |
является |
его |
|||||
размерность, т.е. |
минимальное число m слабых порядков |
R1 , . . . , R m , |
|||||
которые в пересечении дают данный частичный порядок P ( P = I R j |
). |
||||||
|
() |
|
|
|
j |
|
|
|
|
|
|
|
|
||
Теорема 1. 1) ПустьΜ |
- размытая упорядоченная классификация с |
||||||
r уровнями, тогда азмерность PM ( ) не более r −1. |
|
||||||
2) Пусть m - размерность произвольного частичного |
|||||||
порядка P , |
тогда существует размытая упорядоченная |
||||||
классификация с m +1 уровнями такая, что PM ( ) = P . |
|
||||||
Далее в работе рассматривается два специальных класса размытых
упорядоченных классификаций. |
() |
|
Определение 2. Размытая упорядоченная классификация |
||
Μ |
||
называется унимодальным, если для любой альтернативы x |
функция |
|
ϕ(i ) = µ(i , x ) является унимодальным. |
|
Теорема 2. Пусть m - размерность произвольного частичного порядка
P ,тогда |
существует |
унимодальная |
размытая |
||||||
упорядоченная классификация с m +1 уровнями такая, что |
|||||||||
PM ( ) = P . |
|
|
{ |
|
[ |
|
] } |
|
|
|
n |
|
|
|
|
|
|||
Обозначим через |
I k интервал чисел |
|
n ,n +1,..., min n + k,r |
|
. |
||||
Определение 3. |
Размытая |
|
|
|
|
|
|
() |
|
упорядоченная классификация Μ |
|||||||||
называется k--интервальной если для любой альтернативы x существует интервал Ink (x) такой, что функция ϕ(i ) = µ(i , x ) равна нулю для любого номера i Ink (x).
Теорема 3. ПустьΜ() - k--интервальная размытая упорядоченная классификация, тогда размерность PM ( ) не более k −1.
Работа выполнена при поддержке Российского фонда фундаментальных исследований. Грант №99-01-00322.
Анализ структурированных объектов со случайным числом подобъектов
В.Б. Бериков
(Новосибирск)
Рассматривается задача построения решающей функции распознавания образов или регрессионного анализа для объектов, имеющих сложную иерархическую структуру. Указанная задача возникает, например, при компьютерном анализе археологических находок в древних погребальных памятниках [1]. Данные памятники характеризуются наличием большого числа предметов погребального инвентаря различного типа, причем типы этих предметов различаются в разных памятниках. Каждый из этих предметов описывается с помощью набора некоторых характеристик, значения которых часто невозможно точно измерить по причине древности этих предметов.
Задача статистического анализа в случае нечетких или неточных данных рассматривалась в работах [2,3] и др. Использованию логических решающих функций в случае нечетко описанных данных для задачи распознавания образов была посвящена работа [4]. В работе [5] было предложено использовать логические функции в задаче регрессионного анализа для структурированных объектов, имеющих однотипные подобъекты, в случае точно измеренных характеристик объектов и их подобъектов. Аналогичная постановка, для задачи кластер анализа, рассматривалась в [6]. В предлагаемом докладе предлагается использовать логические функции для случая иерархически структурированных объектов различных типов в условиях неточности задания их характеристик, для задачи распознавания образов и регрессионного анализа.
Пусть некоторая область исследований представляется множеством Γ − генеральной совокупностью объектов изучения. Для описания свойств объекта как целого используется набор характеристик X1, ... , Xn,Y. Кроме того, пусть каждый объект может состоять из некоторых подобъектов различных типов T1,…,ТL. Каждому типу Тl взаимно однозначно соответствует набор характеристик Xl,1,…,Xl,nl, с помощью которых
описываются свойства подобъектов данного типа. Обозначим множество значений характеристики Xj через Dj, j=1,...,n, множество значений характеристики Y через DY, а множество значений характеристики Xl,j через
Dl,j , l=1,...,L, j=1,...,nl. Будем полагать, что все характеристики – дискретные с упорядоченным или неупорядоченным множеством значений. В случае,
когда некоторое свойство измеряется в количественной шкале, соответствующая характеристика получается разбиением интервала изменения свойства на подынтервалы.
Структуру произвольного объекта a будем задавать в виде дерева A, в котором корневой вершине V соответствует объект в совокупности его подобъектов. Вершине Vl первого уровня соответствует определенный тип Tl
подобъектов, l {1,...,L}, где L - число данных типов. Каждой вершине V lm второго уровня дерева A, смежной с вершиной Vl, где m=1,...,Nl , соответствует m-й экземпляр подобъекта a lm , относящийся к l-му типу.
Статическим назовем такой тип, подобъекты которого всегда присутствуют в каждом объекте из Γ.
Динамическим типом назовем такой тип, подобъекты которого могут как присутствовать, так и отсутствовать в объектах из Γ.
Без ограничения общности можно предположить, что первые по порядку типы T1,…,Td – динамические, а следующие типы Td+1,…,TL – статические. Рассмотрим также следующее ограничение. Будем полагать, что у каждого
объекта могут присутствовать подобъекты не более чем одного динамического типа. Указателем типа назовем величину p {0,1,...,d}, которая соответствует номеру данного динамического типа (p=0, если отсутствуют подобъекты какого-либо динамического типа). Будем полагать,
что значение p зависит от x=X(a)=(X1(a),..., Xn(a)) : p=p(x). Пусть
n |
|
|
|
|
D = ∏D j , U0,U1, |
...,Ud |
– разбиение D, (все Ui |
непустые), |
причем |
j =1 |
|
|
|
|
n |
|
|
|
|
Ui = ∏U i, j , где Ui,j Dj |
–подмножество соседних значений в случае Xj – |
|||
j =1 |
|
|
|
|
упорядоченной, либо |
любое подмножество значений, |
если иначе. |
Тогда |
|
положим p(x)=i тогда и только тогда, когда x Ui, i=0,1,..,L.
Под основной задачей будем понимать построение модели влияния характеристик структурированного объекта на характеристику Y по имеющимся наблюдениям.
Будем полагать, что измерения характеризуются неточностью, связанной либо со свойствами самих объектов, либо с особенностями процесса измерения. Пусть в таблице данных указаны нечеткие множества значений переменных для объектов, а также для их подобъектов (задание данных нечетких множеств проводится путем указания соответствующих функций принадлежности).
Аналогично тому, как это делалось в [4], можно ввести понятие логической решающей функции, с учетом неточности измерений характеристик. Кроме того, аналогично определяется и критерий качества логической решающей функции, который в случае точно определенных данных имеет смысл величины относительной ошибки прогнозирования по обучающей выборке.
Таким образом, исходная задача сводится к нахождению логической решающей функции заданной сложности и оптимизирующей значение критерия качества. Для этой цели можно применять различные приближенные методы дискретного программирования, в частности, описанный в работе [7] алгоритм построения оптимальной логической решающей функции, имеющей вид дерева решений.
Работа поддержана грантом РФФИ № 98-01-00673.
Литература
1.Деревянко Е.И., Лбов Г.С., Худяков Ю.С., Бериков В.Б. и др.
Компьютерная система анализа данных погребальных памятников эпохи неолита и ранней бронзы. В сборнике: «Интеграционные программы фундаментальных исследований» – Новосибирск: СО РАН, 1998, с. 135 –
143.Борисов А.Н., Алексеев А.В. и др. Обработка нечеткой информации в системах принятия решений // М: Радио и связь, 1989. – 304 с.
2.Kruse R., Meier K.D. Statistics with Vague Data // Theory and Decision Library. Series B, Mathematical and Statistical Methods. – Dordecht-Boston, 1987.
3.Бериков В.Б., Викентьев А.А. Анализ неточной экологической информации в классе логических решающих функций. // Труды конференции "Математические проблемы экологии", ИМ СО РАН,
Новосибирск, 1994, с.33-38.
4.Старцева Н.Г., Людвина Н.А. Регрессионный анализ для структурированного объекта // Докл. РАН. 1996, Т.346. N.5. C. 600-603
5.Ketterlin A., Gançarski P., Korczak J. Hierarchical Clustering of Composite Objects with a Variable Number of Components. In: “Learning from Data: AI and Statistics V. Edited by D. Fisher and H.-J. Lenz. Springer – Verlag, 1996. Pp. 229-238.
6.Lbov G.S., Berikov V.B. Recursive Method of Formation of the Recognition Decision Rule in the Class of Logical Functions // Pattern Recognition and Image Analysis, Vol 3, N 4, 1993, pp.428-431.
О задаче классификации мутационных спектров в генетических последовательностях.
В.Б. Бериков
(Новосибирск)
Проблема изучения мутационных спектров (рядов, содержащих частоты мутаций в определенных позициях генетической последовательности) является достаточно актуальной для биоинформатики [1,2]. Известно, что процессы возникновения мутаций протекают неравномерно. Во многих случаях мутации концентрируются в определённых позициях последовательности – «горячих точках» мутаций. Задача состоит в том, чтобы классифицировать элементы ряда на несколько групп, наиболее близких по частоте мутаций.
Пусть имеется последовательность ДНК, подвергающаяся воздействию факторов окружающей среды, которые вызывают мутацию. Предполагается,