10.14. Алгоритм распознавания типа «Кора»

Пусть X — произвольная булева матрица размера п х т. Набор столб­цов Н матрицы X назовем покрытием, если каждая строка матрицы X в пересечении хотя с одним из столбцов, входящих в X дает 1. Покрытие называется неприводимым, если никакое его собственное подмножество не является покрытием. Обучение сводится к анализу сложности решения задачи построения множества всех неприводимых покрытий булевой матрицы.

В случае бинарной информации задача построения множества всех тупи­ковых представительных наборов, порождаемых объектами одного класса, сводится к построению сокращенной ДНФ частичной булевой функции, оп­ределенной на наборах, являющихся описаниями обучающих объектов. Эта функция равно 1 на наборах, описывающих объекты выделенного класса и 0 на остальных наборах из области определения. Конъюнкции, входящие в ее сокращенную ДНФ, определяют искомую совокупность тупиковых предста­вительных наборов.

Задачу построения сокращенной ДНФ частичной булевой функции обычно решают на основе построения сокращенной ДНФ, всюду определен­ной булевой функции, заданной совершенной конъюнктивной нормальной формой (КНФ) и последующим отбрасыванием части построенных конъ­юнкций.

Построение объектов типа «Кора» для задач распознавания с веществен­ной информацией.

Пусть задан вектор— параметр, характеризующий

точность измерения атрибута a_j, E_j > 0 j = l...n. Заданы также параметры p_i,...p_n p_j — вес атрибута a_j, j = 1,2,...n и

Требуется:

Указать решающее правило (алгоритм), которое позволило бы на ос­нове начальной или обучающей информации о классах K_b...,K_s, задавае­мой таблицей Т и описания х = (х₁,..,х_n) некоторого нового объекта Q, о котором неизвестно, к какому из классов К₁...,К₅ он принадлежит, опре­делить этот класс.

Каждому атрибуту a_j, j  {l,2,...,n} можно поставить в соответствие число, являющееся мерой важности этого признака при решении первой задачи.

Каждому обучающему объекту Q_i, i  {l,2,...,n} поставить в соответ­ствие число, являющееся мерой важности при решении первой задачи.

Алгоритм Кора реализует построение сокращенной дизъюнктивной нор­мальной формы булевой функции f. По таблице обучения выписывается конъюнктивная нормальная форма К. Для булевой функции, реализуемой конъюнктивной нормальной формой, строится методом сокращенного до минимума перебора дизъюнктивная нормальная форма D. Авторами про­граммы предложен метод, позволяющий в типичной ситуации при решении задачи преобразования К в D сократить перебор до минимального. Сокра­щение перебора достигается за счет следующего приема. Исходная задача замещается логически более простой задачей, решение которой приводит к построению некоторой дизъюнктивной нормальной формы D', по своим свойствам достаточно близкой к D. Дизъюнктивная нормальная форма D' содержит все максимальные конъюнкции функции f, и ее длина почти всегда асимптотически совпадает с длиной д.н.ф. D.

10.15. Обучение машин распознаванию образов

Обычная стратегия обучения понятиям с учителем заключается в том, что задаются первоначальные приближения формулировки понятия и затем по мере того как программа или система формирует очередное приближение понятия, она предъявляет его пользователю для оценки. Пользователь может использовать бинарную шкалу оценки, отмечая релевантность или нереле­вантность понятия исходной постановке задачи, но может использовать так­же балльные или весовые оценки. Пользователь испытывает затруднения в формулировке понятия, тем более заранее не известны релевантные и нере­левантные объекты. При обучении машин пользователь выступает в роли учителя, формулирующего первоначальное задание (разбиение записей базы данных на классы). Затем на каждом этапе пользователь лишь оценивает разбиение записей на классы, производимое машиной.

С формальной точки зрения, задача итерационного формирования поня­тия с обучением или, как иногда говорят, с обратной связью по релевантно­сти, заключается в следующем. Пусть множество записей базы данных раз­делено на два класса: S₁, S₀, S₁  S_о=0. Пусть записи а₁,...,а_m отнесены пользователем к первому классу (релевантные), записи a_m+1...,a_m — ко вто­рому классу (нерелевантные). Если эти классы линейно разделимы, то задача поиска понятия сводится к нахождению максимальной совместной подсис­темы возможно несовместной системы неравенств вида:

Поменяв знаки на обратные в уравнениях класса S₀ и обозначив их для краткости

а также пополнив вектор х компонентой х_n+1 = 1, вектор а компонентой а_n+1, запишем

Каждое из этих уравнений определяет полупространство. Множество решений принадлежит выпуклому многограннику в пространстве с координатами а, и выпуклому конусу в двойственном пространстве с координа­тами х.

Решением системы является весовой вектор х, расположенный в положительных зонах всех гиперплоскостей. Таким образом, решение ищется в виде вектораобладающего тем свойством, что для всех записей класса Sj выполняется условие Ах > 0, а для всех записей класса S_o _ усло­вие Ах < 0 . Если значение коэффициентов a_(j второго класса умножить на —1, то условие Ах > 0 становится общим для всех записей. Несколько видо­изменим задачу, полагая, что для каждой записи известна оценка ее реле­вантности со стороны пользователя Ь. Наша задача — найти формулировку понятия х, которая бы дала каждой записи оценку, соответствующую b, ре­шая уравнение Ах = b. Процесс уточнения понятия целесообразно увязать с оценкой выдачи пользователем. Эвристические методы поиска решения сис­тем линейных алгебраических уравнений, к которым сводится поиск записей в базе данных, наилучшим образом отвечающих оценке пользователя, полу­чили название методов итерационного поиска с обратной связью по реле­вантности.

Постановку задачи поиска записей отвечающих понятию с обратной свя­зью по релевантности можно рассматривать как итерационные методы ре­шения задачи наименьших квадратов.

Рассмотрим проблему нахождения вектораn-мерное эвклидово пространство), такого, что Ах=b, где

А будем интерпретировать как базу данных, х— неизвестный вектор понятия:

— оценка со стороны пользователя подмножества запи­сей. Будем считать, что искомый вектор понятия является решением задачи наименьших квадратов (МНК-проблема):

означает эвклидову норму.

Как известно, искомый вектор X может быть получен из нормальной сис­темы уравнений

для случая, когда система Ах = b совместная и невырожденная, но переопре­деленная, т.е. m > n = ранг А , в случае же, если n > m = ранг А , то нормаль­ную систему уравнений запишем в виде

В первом случае матрица А^ТА квадратная, размерности пп, во втором случае — квадратная размерности mm.

Качество работы системы по выдаваемым из базы данных записям будем

оценивать с помощью минимального расстояния г:

;где х — оптимальное решение нормальной системы уравнений.

В дальнейшем будем полагать m > n = ранг А , обозначив , назовем Р информационной матрицей базы данных. Матрица есть матрица «атрибут—атрибут», ее элементы определяют связи терминов в документальной базе данных, матрицу называют нешкалированной ковариационной матрицей. Пользуясь соотношением d = A^Tb и учиты­вая введенные обозначения, нормальную систему (10.1) запишем в виде

Процесс нахождения оптимальной формулировки понятия будем рас­сматривать как разновидность метода релаксаций:

Как видно из приведенного соотношения, веса дескрипторов запроса x на следующей итерации изменяются пропорционально разности d - Рх. Операцию Рх_к можно рассматривать как извлечение при помощи матрицы «атрибут—атрибут» признаков, непосредственно связанных с теми, которые были использованы на предыдущей итерации, а величину d = A^Tb — как пересчитанные в веса атрибутов значения оценки пользователем полезности выданных документов. Таким образом d - Рх — это разность между весами значимых для указанной пользователем ценности документов и весами де­скрипторов, связанных с дескрипторами запроса. На рис.10.12. представлена функциональная схема МНК— алгоритма формирования понятия с обрат­ной связью по релевантности (ОСР).

На схеме обозначено: D — операция задержки, Z - операция суммирования, +, х, —, соответственно, операции суммирования, умножения, вычитания, х₀ — начальный запрос; х — оптимальное решение.

Рис. 10.12. Схема МНК-алгоритма обучения понятию ОСР

Анализ алгоритма произведем, вводя обозначения:

используя соотношение

и обозначая-

Матрицу U* называют транзитивным замыканием U. С учетом введенных обозначений, получим из (10.2)

Для оптимального решения справедливо х = d + Ux , что позволяет записать

Таким образом, итерационный процесс сходится к решению системы ли­нейных алгебраических уравнений.