4. Оценка эффективности поиска

Оценка эффективности АИС связана с анализом как затрат АИС на информационное обеспечение основной деятельности, так и эффекта, получаемого в основной деятельности в результате использования предоставляемой АИС информации.

Однако "полезность" результатов основной деятельности в большинстве своем не может быть выражена количественно, в особенности, если такие результаты носят социально-политический, юридический, моральный, психологический и т. д. характер. Еще большие сложности возникают при оценке той доли эффекта основной деятельности, которая получена в результате использования информации.

В силу практической невозможности оценки экономической эффективности АИС при анализе АИС приходится ограничиваться оценкой лишь функциональной эффективности. Под функциональной эффективностью системы понимают меру соответствия системы своему целевому назначению.

Цель функционирования АИПС состоит в информационном обеспечении ее пользователей, т. е. в оперативном поиске необходимой им информации.

В связи с этим основными показателями функциональной эффективности АИПС являются:

• полнота поиска;

• точность поиска;

• оперативность поиска;

• специфичность поиска;

• коэффициент корреляции;

• интегральный энтропийный показатель.

Оценка любого показателя функциональной эффективности связана с определением неформальной релевантности выданной информации информационному запросу.

5. Релевантность

Формированием поискового образа запроса и переводом его в машиночитаемую форму заканчивается один из важнейших этапов процесса поиска информации - этап предмашинной обработки запроса.

Следующий этап - непосредственно процесс автоматизированного поиска информации, состоящий в сравнении ПОДов сообщений (документов) базы данных АИПС с заданным поисковым образом запроса

(или их совокупности) с целью выборки документов (сообщений), релевантных информационному запросу.

Критерий, позволяющий принять решение о релевантности сообщения информационному запросу, носит названия критерия релевантности (КР) или критерия смыслового соответствия (КСС), или критерия выдачи (KB).

Различают два понятия релевантности - релевантность и формальную релевантность.

Понятие релевантности связано со смысловым соответствием сообщения (документа) тексту информационного запроса на естественном языке. Релевантность сообщения запросу в таком понимании может оценить только человек. Критерий, которым он при этом пользуется при принятии решения о релевантности, сформулировать невозможно.

Формальная релевантность - соответствие ПОДа ПОЗу. Поскольку ПОД и ПОЗ представляют собой формализованные структуры, оценку такой релевантности может дать компьютер. Однако для этого необходимо задать ему формальное выражение критерия релевантности.

Ясно, что при переводе информационной потребности в информационный запрос, а запрос в ПОЗ, так же как и при переводе сообщения в ПОД, возникают определенные семантические искажения.

В связи с этим формальная релевантность весьма существенно отличается от действительной релевантности.

Документ, признанный системой формально релевантным. может не оказаться таковым с точки зрения потребителя. Однако, альтернативы нет, АИПС может пользоваться только понятием формальной релевантности.

Релевантность выданных документов (сообщений) запросу может оценить либо сам потребитель информации, либо группа экспертов.

Суть работы АИПС состоит в разбиении множества документов БД тоже на два подмножества

подмножество формально релевантных запросу документов (выдаваемых документов)

подмножество формально нерелевантных запросу документов (не выдаваемых документов)

Полнота поиска определяется отношением числа выданных релевантных документов (а) к общему числу релевантных документов массива (а + с):

где с - число не выданных релевантных документов.

Точность поиска - отношение числа выданных релевантных документов (а) к общему числу выданных документов (а + b):

Специфичность поиска - отношение числа не выданных нерелевантных документов (d) к общему числу нерелевантных документов (d+b):

Теоретически и экспериментально показано, что показатели полноты и точности поиска находятся в обратно пропорциональной зависимости, т. е. повышение полноты поиска в рамках данной ИПС всегда сопровождается снижением (по крайней мере, не повышением) точности поиска. И наоборот.

Для определения релевантности документов в исходной базе данных используются различные методы, позволяющие оценить число релевантных документов в БД не прибегая к анализу всей БД.

1. Случайная выборка некоторой части документов. Определение доли релевантных документов в выборке и аппроксимация полученных данных на всю БД.

2. Использование запросов, ориентированных на поиск заранее заданных документов и определение в выдаче доли заданных документов. Этим методом можно непосредственно оценить полноту поиска.

3. Проведение серии поисков по последовательно модифицируемому запросу и определение накапливаемых в процессе модификации запроса релевантных документов выдачи.