29. Особенности поисковых систем. Структура организации и алгоритм работы.

1) Поисковый робот: Как браузер просматривает страницы, анализируя и выделяя существенные компоненты и отсылает их в специальном виде на сервера поисковика, далее по ссылкам переходит на другую страницу. Порядок обхода страниц, частота визитов и алгоритм выделения значимой информации зависит от конкретного языка.

Индексация – выделение наиболее значимых термов из документа и соханение их в специальном виде (Под термом понимают все слова или понятия) D-> {t₁, t₂, …, t_n}

Обратная индексация – для многих термов ищются документы, в которых они встречаются: t₁-> D₁, D₂, …, D_m.

Ранжирование – упорядочивание по важности. Поиск определяет множество наиболее релевантных (соответствующих запросу) документов и выдает их в вершине поиска.

Наивный алгоритм ранжирования:

1) частота встречающегося терма

2) определение взвешенной суммы терма среди других слоев.

Модели поиска:

Подходы:

1) Логическая модель: t₁ and t₂ or t₃ not t₄

2) векторная модель

3) Вероятностный поиск – Доказательство оценивается по вероятности пользователя встретить в нем свой поисковый запрос.

30. Язык запросов поисковых систем.

Язы́к запро́сов — это искусственный язык, на котором делаются запросы к базам данных и другим информационным системам, особенно к информационно-поисковым системам.

Примеры:

• SQL — де-факто стандартный язык запросов к реляционным базам данных.

• Language Integrated Query — расширение для некоторых языков программирования в .NET Framework, добавляющее к ним SQL-подобный язык запросов.

• XQuery — язык запросов, разработанный для обработки данных в формате XML.

• XPath — язык запросов к элементам XML-документа.

Язык, на котором формулируются запросы к поисковым системам называется языком поисковых запросов или информационно-поисковым языком.

В различных поисковых системах язык запросов может различаться, однако обычно он является некоторым подобием языка регулярных выражений с дополнениями, связанными со спецификой работы той или иной поисковой системы. Знание и правильное применение языка запросов конкретной поисковой машины улучшает и упрощает пользователю процесс поиска информации.

Язык поисковых запросов состоит из логических операторов, префиксов обязательности, возможности учета расстояния между словами, морфологии языка, регистра слов, расширенных операторов, возможностей расширенного поиска, уточнения поиска.

Специльные операторы:

allintitle: чтобы результаты (терм-запрос) находились в заголовке

related: поиск в найденном

allinURL: ссылка с запросом

Ex: Related: цветы ~ полевые

^

|

синонимы

inURL: поик найденного запроса в тексте гиперссылки.

site: поиск в каком-либо сайте

link: поиск по сайтам, кот. ссылаются на данный запрос. (link: адрес)

into: адрес – выдает информацию о данном адресе

define: слово – поиск толкования

safesearch: безопасный поиск

Filetype: тип функции

Scholar – поиск в научных статьях и документах

Cache: адрес|слово

allintext: поиск ключевых слов только в тексте страницы

allinlinus: слова – поиск по названию гиперссылки