10. Показатели эффективности функционирования документальных ис (Слайд 24)

Основными показателями эффективности функционирования документальных ИПС являются полнота и точность информационного поиска.

Полнота информационного поиска R определяется отношением числа найденных пертинентных документов А к общему числу пертинентных документов С, имеющихся в системе или в исследуемой совокупности документов:

R = A / C

Точность информационного поиска Р определяется отношением числа найденных пертинентных документов А к общему числу документов L, выданных на запрос пользователя:

P = A / L

Наличие среди отобранных на запрос пользователя нерелевантных документов называется информационным шумом системы.

Коэффициент информационного шума K, соответственно, определяется отношением числа нерелевантных документов (L – A), выданных в ответе пользователю к общему числу документов L, выданных на запрос пользователя:

K = (L – A) / L

В идеале полнота информационного поиска и точность информационного поиска должны приближаться к единице, хотя на практике их значения колеблются в пределах от 60 до 90%.

11. Критерии оценки документальных ис. (Слайд 25)

Различают два класса оценок:

Внешние или функциональные оценки - основаны на сравнении результатов работы системы с результатами идеального содержательного поиска, осуществляемого экспертом. Они предполагают понятие релевантности.

Внутренние или нефункциональные оценки - могут основываться на таких структурных качествах системы как сложность, степень близости к человеческой логике или естественному языку, степень алгоритмичности и т.п.

Интегральный энтропийный показатель:

W = (Ho - Hn) / Ho

Ho – допоисковая энтропия,

Hn – послепоисковая энтропия.

Мера концентрации релевантных документов:

Po = (a + z) / (a + z + g + d)

P1 = a / (a + g)

P2 = z / (z + d)

P1 – массив выданных документов,

Р2 - массив не выданных документов.

a – число релевантных документов, выданных в результате поиска;

z - число релевантных документов, не выданных в результате поиска;

g – число нерелевантных документов, выданных в результате поиска;

d - число нерелевантных документов, не выданных в результате поиска.

Коэффициент корреляции поиска:

Z = (ad - gc) / (((a + c)(g + d)(d + c)(a + g))^0.5);

-1<=z<=1;

C - число релевантных документов, не выданных в результате поиска.

Критерии оценки (Слайд 25):

Критерий смыслового соответствия с учетом базисных отношений.

Документ выдается в том случае если для каждого дескриптора (запроса) встретился либо сам дескриптор, либо дескриптор связанный базисными отношениями.

Критерий смыслового соответствия с учетом текстуальных и базисных отношений.

Отличие от предыдущего:

сравнение дескрипторов ПОД (поисковый образ документа) и ПОЗ (поисковый образ запроса)) должно осуществляться с точностью до совпадения текстуальных отношений.

Критерий смыслового соответствия с учетом весовых коэффициентов информативных слов или дескрипторов.

Виды критериев смыслового соответствия.

1. Полное вхождение

2. Частичное вхождение