32. Линейная модель механизма эвристического поиска.

Эвристический поиск работает по принципу отыскания документов, «похожих» на усредненный «тематический» образ некоторого множества релевантных документов, указанных пользователем, и реализуется следующей последовательностью шагов:

Шаг 1. Построение словника по массиву релевантных документов. Результатом является подматрица L_rel матрицы L₀, построенная путем выбора столбцов, характеризующих заданные пользователем документы:

n – количество документов, отмеченных пользователем как релевантные.

Шаг 2. Оценка терминов словника и построение Поискового Образа Темы (ПОТ).

Результатом оценивания должно быть выделение тех терминов, которые могут быть включены в ПОТ. Желательно, чтобы в основе формальной оценки лежали частотные характеристики, которые могут быть получены из матриц L₀ и L_rel:

(или i-тый элемент главной диагонали матрицы ),

(или i-тый элемент вектора ),

где F_i – частота термина в информационном массиве, F_iRel – частота термина в множестве релевантных документов, Q_rel – вектор релевантных документов (строка расширенной матрицы ).

Для оценки степени соответствия термина ПОТ может быть использована мера точности термина - отношение частоты термина в множестве релевантных документов к частоте термина в информационном массиве, в качестве порога для отбора в ПОТ – относит коэффициент CR, вычисляемый в зависимости от эвристического параметра n_s, характеризующего количество ожидаемых документов. Эвристический параметр характеризует минимальную (ненулевую) точность термина, возможную в ожидаемой выдаче:. В ПОТ отбираются термины, для кот выполняется неравенство:(4.12)

Шаг 3. Построение матрицы «термин-документ» для функции поиска аналогов. На этом шаге из матрицы L_rel должны быть удалены строки, для кот не выполняется неравенство. В результате получаем матрицу L_ПОТ:

, где M – количество терминов в ПОТ, определяющее порог «близости» для следующего шага.

Шаг 4. Выполнение функции поиска аналогов с пороговым значением M. По матрице L_ПОТ строится результирующий вектор запроса на отбор документов-аналогов (Q_ПОТ ) и формируется поисковый результат с учетом порога близости M. Если число документов полученного результата меньше, чем заданное в системе n_s, то пороговое значение M уменьшается на 1, и повторяется процедура поиска аналогов с новым пороговым значением. Таким образом, на каждой i-ой итерации пороговое значение равно M–i.

Цикл заканчивается: либо после выполнения очередной итерации число документов результата стало равно или превысило значение n_s, либо пороговое значение стало равно 0.

33. Линейная модель механизма поиска по технологии обратной связи по релевантности терминов.

Обратная связь по релевантности терминов должна обеспечить пользователю возможность целенаправленно изменять поисковый запрос путем повышения роли одних и понижения роли других терминов, не вникая в тонкости составления запроса, определяемые особенностями документального массива и ИПС. При этом процесс поиска разбивается на последовательность несложных шагов, ведущих к поставленной цели.

В модели (в соответствии с которой определяется обратная связь) существуют различные стратегии изменения весовых коэффициентов терминов, предлагаемых системой для расширения запроса, на основании информации о релевантности/нерелевантности выданных документов.

Рассмотрим диалоговую модель механизма поиска по обратной связи, предлагаемую в ИПС IRBIS. Она отличается от модели эвристического поиска тем, что после выполнения системой очередного шага пользователю предоставляется возможность управлять дальнейшим процессом формирования результата, т.е. последовательность шагов в диалоговой модели дискретна и реализуется (с точки зрения продолжительности) в зависимости от предпочтений пользователя.

Шаг 1. Построение и ранжирование словника релевантных документов.

Рез-том этого шага является вектор где k – количество терминов релевантных документов, а w_i - значение весового коэффициента для i-го термина, удовлетворяющее неравенству . Расчеты весовых коэффициентов могут основываться на различных мерах близости и на этом шаге не влияют на количество выдаваемых пользователю терминов (пользователь получает оценку всех терминов релевантных документов, которые находятся в частотном словаре).

По завершении первого шага система передает управление пользователю, который самостоятельно отмечает термины, способные улучшить поисковый запрос.

Отмеченные термины пользователь могут самостоятельно добавить в поисковый запрос (для реализации моделей поиска по совпадению терминов или по логическому выражению) или инициировать второй шаг поиска по обратной связи.

Шаг 2. Формирование матрицы поисковых результатов.

Термины, отобранные пользователем на предыдущем шаге, рассматриваются как исходные для проведения поиска по совпадению терминов. Модель этого механизма поиска реализована построением подматрицы запроса (L_q), в которой отдельные строки могут быть нулевыми.

Рассмотрим подматрицу L_q как исходную для проведения процедуры поиска аналогов и последовательно для каждого ненулевого столбца построим вектор Q_i – результат поиска аналогов с max-ым порогом близости (задается количеством единиц в столбце, а контекст результата задается перечислением самих терминов). Полученные векторы рассмотрим как строки матрицы поисковых результатов:

,где n – количество ненулевых столбцов подматрицы L_q.

Каждая строка матрицы снабжается контекстом-перечислением конкретных терминов, присутствующих в документах конкретного результата. Матрица результатов дает возможность просматривать каждый отдельный результат, что позволяет формировать новое множество релевантных документов.