2.5.2. Технологии поиска в сети Интернет

Интернет предлагает много средств поиска информации. Среди них можно выделить тематические каталоги, роботы индексов или поисковые машины, системы метапоиска, мультипоисковые системы, системы поиска в конференциях Usenet, службы поиска людей и организаций в Интернет.

Тематический каталог представляет собой огромную базу данных URL-адресов сайтов самой различной тематики. URL-адрес (Uniform Resource Locater) - унифицированный указатель на ресурс - содержит информацию о местонахождении файла, типе файла (программа или данные), языке программирования, параметрах программ.

Примеры основных ресурсов:

• электронная почта и почтовые роботы;

• глобальная система телеконференции Usenet, региональные специализированные телеконференции;

• списки рассылки;

• он-лайновые средства коммуникации пользователей;

• базы данных HyTelnet;

• FTP-системы глобального и регионального охвата;

• глобальные, локальные, специализированные тематические каталоги ресурсов в среде WWW:

• поисковые машины в среде WWW и многое другое.

Такие ресурсы, как электронная почта, система телеконференций Usenet, списки рассылки, онлайновые средства коммуникации пользователей рассмотрены ранее. Поясним назначение других ресурсов.

Базы данных Ну Telnet - данные, доступные по протоколу Telnet, -предоставляют совершенно уникальную информацию, прежде всего по библиотечным каталогам европейских и американских университетов и государственных учреждений.

Система файловых архивов FTP, системы поиска в FTP-архивах глобального и регионального охвата содержат огромное количество информации, накопленной в FTP-архивах за десятилетия эксплуатации компьютерных систем, которая по-прежнему ценна для специалистов.

Одним из наиболее популярных во всем мире признан англоязычный тематический каталог Yahoo! (http://www.yahoo.com). Он предлагает воспользоваться иерархическим деревом при поиске информации. Для этого сначала надо задать общую тематику, удовлетворяющую запросу информации, и далее конкретизировать ее, следуя подсказкам каталога. Результатом является список сайтов, содержащих информацию, соответствующую запросу.

Возможен другой путь поиска. Проанализировав предполагаемое содержание запрашиваемой информации, можно выбрать ключевые слова, которые обязательно встретятся в требуемых материалах или в их заголовках. Система попытается сама подобрать интересующую вас информацию, если эти слова набраны через пробел в строке ввода на главной странице Yahoo!. Так как Yahoo! система англоязычная, то можно использовать Интернет-переводчик, такой как Сократ Интернет (http://www.arsenal.ru) или любой другой.

Существуют и русскоязычные тематические каталоги. Принцип работы с ними идентичен работе с Yahoo!. Назовем Russia on the Net (http://www.ru), List.RU (http://www.listru/) - российский вариант Yahoo! (http://www.yahoo.ru), Желтые страницы Интернет (http://www.piter-press.ru/yp) , предоставляющие детальную информацию о самых разных ресурсах Интернет.

В бизнесе можно использовать каталоги предприятий и каталоги товаров и услуг.

Поисковые машины или роботы индексов, устроены несколько иначе. По сути это сервер с огромной базой данных URL-адресов, который автоматически обращается к страницам WWW по всем этим адресам, изучает содержимое этих страниц, формирует и переписывает ключевые слова со страниц в свои каталоги (индексирует страницы). Более того, этот сервер обращается ко всем встречаемым на страницах ссылкам и, переходя к новым страницам, переписывает ключевые слова в каталог. Так как почти любая страница WWW имеет множество ссылок на другие страницы, то при подобной работе поисковая машина в конечном результате теоретически может обойти все сайты в Интернет.

Самая популярная поисковая машина AltaVista http://www.altavista.com) содержит 11 миллиардов слов, извлеченных из 30 миллионов WWW-страниц. Для поиска формируется строка запроса информации (не более пяти слов). В запрос информации можно включать специальный символ * (звездочка), расширяющий

диапазон поиска. Например, чтобы AltaVista могла найти все вхождения слова, в запросе изменяющиеся буквы окончания заменяются символом *.

Для поиска в русскоязычном Интернет (рунет) AltaVista не очень подходит. Наиболее развитый сервис поиска русскоязычной информации предоставляет поисковая машина Яndех (http://www.yandex.ru). В Яndех можно просто написать по-русски фразу, описывающую то, что нужно найти. Система самостоятельно проанализирует и обработает запрос, а затем постарается найти все, что относится к заданной теме. Если нужных документов не обнаружится, можно продолжить поиск через AltaVista, куда автоматически передается уже обработанный системой запрос. Но до передачи запроса AltavVista дело вряд ли дойдет, так как база Яndех содержит порядка двух миллионов документов и постоянно обновляется. Проблема больше состоит в том, что поисковая машина генерирует и выдает пользователю гигантский список (несколько тысяч) адресов URL с короткими описаниями. Яndех позволяет конкретизировать запрос для сокращения этого списка до разумных пределов. Для этого используются логические операторы.

Отметим другие русскоязычные поисковые машины - Апорт (http://www.aport.ru) и АУ (http://www.au.ru).

Поисковые машины и тематические каталоги имеют много общего. У каталогов присутствует возможность поиска информации но строке запроса с использованием логических операторов, а поисковые машины содержат свои собственные тематические каталоги.

Если для поиска необходимой информации не достаточно одной поисковой службы, то можно, исходя из экономии времени и денег, воспользоваться системами метапоиска: Search.com (http://www.search.com), для работы с русскоязычными документами - Savvy Search (http://guaraldi.cs.colostate.edu:200 0/form?lang=russian). Эта мощная система отсылает запрос на 13 крупнейших поисковых машин (в том числе и российских). Система метапоиска Следопыт (http://www.medialingua.ru/www/Wwwsearc.htm) работает с пятью англоязычными поисковыми машинами и одной русскоязычной. Она интересна тем, что переводит русскоязычный запрос на английский язык для англоязычных поисковых машин} На рис.2.4 представлена схема организации поиска посредством систем-метапоиска.

В последнее время появился термин «портал». Он означает вход в поисковую систему и освобождает пользователя от необходимости работать отдельно с тематическими каталогами, поисковыми машинами и т.д. Первым Российским порталом стал Рамблер, объединивший поисковую систему, рейтинг -классификатор, ряд бесплатных сервисов. Его отличительной чертой является то, что он ведет статистику посещаемости ссылок собственной базы данных (каталогов). В рейтинг - классификаторе можно просмотреть содержимое тематического каталога, отсортированного по убыванию числа посещений сайтов, то есть по их популярности. Rambler также как и \andex позволяет, кроме простого запроса, запрос с использованием операторов. Рамблер обеспечивает поиск документов на всех серверах России и СНГ.

Для поиска информации в конференциях Usenet можно использовать сервер DejaNews (http://www.dejanews.com), RusNews (http://news.corvis.ru), Тела-поиск (http://tela.dux.ru/news.html) и другие.

Для того, чтобы узнать адреса электронной почты партнеров, можно воспользоваться службой поиска людей и организаций. Службы поиска людей, в основном, берут информацию об электронных адресах из открытых источников, таких как конференции Usenet.

Долгое время ресурсы этого типа крайне редко использовались в решении поисковых задач, однако ситуацию изменило появление в 1996 году службы ICQ (http://www.icq.com). В отличие от существовавших ранее чатов, где регистрация участников, как правило, носила анонимный характер и действовала лишь на протяжении сеанса связи, разработчики ICQ предложили каждому пользователю регистрационный номер-идентификатор ICQ, который сохранялся бы за ним постоянно. Это решение имело грандиозные последствия в области компьютерного общения людей. Уникальный ICQ-номер вскоре появится на визитных карточках рядом с телефоном, адресом электронной почты и домашней страницей. При поиске людей и организаций можно с успехом использовать поисковую службу ICQ, которая становится доступной сразу после установки ICQ-клиента на компьютер пользователя.