7. Информационно-поисковые системы
7.1. Общие положения
Информационно-поисковые системы (ИПС) ориентированы на работу с текстовыми документами, поэтому их можно назвать документальными ИПС (ДИПС). Важной особенностью таких систем являются слабая смысловая формализация текстовых баз данных и, следовательно, трудности удовлетворения запросов пользователей ДИПС без использования методов ИИ. Последнее усугубляется тем, что информационные потребности людей постоянно изменяются и трансформируются, вследствие чего их невозможно однозначно выразить и описать. Кроме того, запрос может быть неправильно сформулирован пользователем и не отражать его истинной информационной потребности в момент обращения к системе.
Соответствие смыслового содержания документа информационной потребности потребителя называется пертинентностью. Документы, содержание которых удовлетворяет информационной потребности, называются пертинентными. Соответствие содержания документа информационному запросу называется релевантностью, а документы, содержание которых отвечает запросу потребителя, носят название релевантных.
Автоматизация процесса информационного поиска основывается на формализации представления смыслового содержания информационного запроса и документов в виде соответственно поискового предписания (ПП) и поисковых образов документов (ПОД). Для записи ПП и ПОД применяются специальные информационные или информационно-поисковые языки.
В процессе проведения информационного поиска в ДИПС определяется степень соответствия содержания документов и запроса пользователя путем сопоставления ПОД и ПП. На основе такого сопоставления принимается решение о выдаче (признан релевантным) или невыдаче документа.
Решение о выдаче или невыдаче документа в ответ на запрос принимается на основе некоторого набора правил, по которому данной ДИПС определяется степень смысловой близости между ПОД и ПП. Такой набор правил называется критерием смыслового содержания (КСС). Очевидно, что КСС определяет формальную релевантность. Фактическую релевантность может определить только сам потребитель.
7.2. Структура дипс
В состав ДИПС, как правило, входят четыре основные подсистемы: ввода и регистрации, обработки, хранения и поиска – рис. 7.1.
Ввод
Выдача
Подсистема
ввода и регистрации
Подсистема
обработки
Подсистема
поиска
ПОД
Словарь
Индекс
КСС
Подсистема
хранения и выдачи
База
документов
ПП
Рис.
7.1. Структура ДИПС
Текстовые документы, поступающие на вход системы, могут быть представлены как в бумажном, так и в электронном виде (в различных форматах). Поэтому подсистема ввода и регистрации документов решает следующие основные задачи:
создание электронных копий бумажных документов;
подключение каналов электронных документов;
распознавание или преобразование форматов документов;
присвоение документам уникальных идентификаторов и ведение таблицы имен.
Все поступающие документы без внесения каких-либо изменений направляются в подсистему хранения в базе документов. Последняя может представлять собой простую совокупность файлов, распределенную по каталогам жесткого диска. С целью повышения эффективности хранения часто применяют средства сжатия и быстрого поиска информации. В этом случае подсистема хранения представляет собой совокупность стандартных или специализированных средств архивации, СУБД и т.д., обеспечивающих доступ к данным по предъявляемому идентификатору.
Далее документы поступают на вход подсистемы обработки, задачей которой является формирование для каждого документа ПОД, в который заносится информация, необходимая для последующего поиска документа.
Все ПОД сохраняются в индексе. Логически индекс представляет собой таблицу, строки которой соответствуют документам, а столбцы – информационным признакам, на основе которых строится ПОД. В ячейках таблицы могут храниться либо 1, либо 0 – в зависимости от наличия или отсутствия данного признака в данном документе. Чтобы не хранить все ее значения, часто используют свертку таблицы по строкам и столбцам. Такую форму хранения называют прямой или инверсной соответственно.
При поступлении на вход системы запроса он преобразуется в ПП и передается в подсистему поиска, задачей которой является отыскание в индексе поисковых образов документов, удовлетворяющих ПП с точки зрения КСС. Идентификаторы релевантных документов подаются с выхода подсистемы поиска на вход подсистемы хранения, которая осуществляет выдачу документов пользователю.