7.Системы автоматизированного поиска информации в Internet

Компании всего мира широко используют сеть Internet - эту всемирную информа-ционную супермагистраль для поиска и получения информации любого вида. В се-ти Internet имеются тысячи баз данных и десятки навигационных систем. Для об-легчения и ускорения поиска необходимой информации используются вспомога-тельные программы, интегрированные в структуру Internet и составляющие ядро автоматизированных систем поиска и получения информации.

Сеть Internet работает с тремя основными системами поиска информации - Gopher, WAIS и WWW.

Гипертекстовая система Gopher.

Это достаточно известное и распространенное средство поиска информации в сети Internet, позволяющее находить информацию по ключевым словам и фразам. При работе с Gopher пользователю предлагается пройти сквозь ряд вложенных меню, из которых доступны файлы различных типов. Будучи распределенной системой экспорта структурированной информации. Gopher является сервисом прямого дос-тупа и требует, чтобы и сервер, и клиент были полноценно подключены к Internet.

Система Gopher позволяет получать информацию без указания имен и адресов авторов. Пользователь просто сообщает системе, что ему нужно, и система находит необходимые д

В настоящее время в Internet имеется свыше 2000 Gopher-систем, часть из которых узкоспециализированные, а часть содержит более разностороннюю информацию. Это усложняет поиск информации. В случае возникновения затруднений можно воспользоваться службами ARCHTE и VERONICA. Служба VERONICA осуществ-ляет поиск более чем в 500 системах Gopher, освобождая пользователей от необ-ходимости просматривать соответствующие меню вручную, а служба ARCHTE ав-томатизирует навигацию и поиск файлов в FTP-серверах.

Система WAIS.

Это информационная система широкого профиля, представляющая собой ком-плект программ, предназначенных для индексирования больших объемов неструк-турированной ( как правило, просто текстовой) информации, поиска по таким мате-риалам и извлечения из них запрашиваемых данных. Эти функции выполняются с помощью программ индексирования, программ локального поиска по полученным индексам, а также серверных и клиентских программ, взаимодействующих между собой по специальному протоколу Z39.50.

Задача поиска данных в больших объемах неструктурированной информации весьма нетривиальна, пока не существует общепринятого ее решения. В системе WAIS реализован приемлемый вариант решения этой задачи, поэтому она получи-ла достаточную известность как один из сервисов Internet. Однако в последнее время эта система самостоятельно почти не используется, а во многих случаях применяется как вспомогательное средство, например, для индексирования доку-ментов, хранящихся на WWW-сервере. В сети Internet имеется более 200 WAIS-библиотек, в которых большая часть материалов относится к области исследова-ний и компьютерных наук.

Система WWW

(World Wide Web - всемирная паутина). WWW - самое популярное и удобное сред-ство работы с информацией. Больше половины потока данных в Internet приходит-ся на долю WWW. Количество серверов WWW сегодня превышает 30 тысяч. WWW - гипертекстовая, гипермедийная, распределенная, интегрированная, глобальная децентрализованная информационная система, реализующая самую передовую и массовую технологию. Это сервис прямого доступа, требующий полноценного под-ключения к Internet. WWW работает по принципу клиент-серверы. Имеется множе-ство серверов, которые по запросу клиента представляют ему гипермедийный до-кумент, состоящий из частей с разнообразным представлением информации (текст, звук, графика, трехмерные объекты и т.д.). Программные средства WWW являются универсальными для различных сервисов Internet, а сама система играет интегрирующую роль. Соединение между клиентом и сервером WWW одноразовое: получив запрос от клиента и выдав ему документ, сервер прерывает связь.

В Internet реализуются две стороны поиска информации, разные по методам, но единые в целях: каталоги и поисковые серверы. Условно можно сказать, что ката-логи - средства сфокусированного поиска информации, а поисковые серверы - рас-сеянного. Использование этих средств позволяет быстро и эффективно находить необходимую информацию в глобальной сети.

Поисковые серверы

Поисковые серверы - это выделенные компьютеры, которые, автоматически про-сматривая все ресурсы сети Internet, могут найти запрашиваемые ресурсы и про-индексировать их содержание. Пользователь передает поисковому серверу фразу или набор ключевых слов, описывающих интересующую его тему. Выполняя такой запрос, сервер сообщает пользователю список соответствующих ресурсов. В сети Internet имеется множество поисковых серверов, охватывающих практически все доступные ресурсы. При этом разные серверы охватывают различные, частично перекрывающиеся,' области информации в сети. Они используют различающиеся методы индексирования документов и способы оценки значимости слов в них. Имеются специализированные серверы поиска по отдельным типам ресурсов сети и универсальные, охватывающие все виды сервисов.

Каталоги и поисковые системы Internet

Со времени зарождения Internet, люди ищут пути упорядочения огромного количе-ства доступных в Сети данных. Для решения этой проблемы предназначены спе-циальные поисковые системы и каталоги.

Существует два типа поисковых систем: одни работают с индексами (ссылками), другие — с каталогами (классификаторами). Используемые при этом технологии очень разнятся. Такие системы, как AltaVista и InfoSeek, получают информацию от каждого конкретного узла, индексируют ее, а всю найденную информацию (URL-адрес, заголовок, текст) добавляют к своим базам данных. Другие (eXcite и Web-Crawler) имеют механизмы, выискивающие исключительно узлы с высоким трафи-ком, добавляющие их к своим архивам и классифицирующие по степени убывания популярности. Системы, основанные на каталогах (Point, Magellan и Yahoo!), обыч-но полагаются на людей-редакторов, которые организуют соответствующие поис-ковые категории, устанавливают перекрестные ссылки между ними и занимаются заполнением баз данных.

В то время как индексы постоянно пересматриваются и обновляются, поскольку их автоматизированные механизмы сбора информации собирают и откладывают но-вую информацию, — актуальность каталогов может нарушаться и зависит от рас-торопности хозяев поисковой системы. Главным условием успешного поиска явля-ется использование правильного инструмента для работы.

Системы, основанные на каталогах, лучше подходят в тех случаях, когда вам надо осуществить быстрый поиск каких-либо общих тем. Небольшие размеры и создан-ная людьми система упорядочения материала делают их особенно пригодными для быстрого нахождения качественной информации. Общий поиск в системах Point или Magellan дает только узлы, наиболее часто посещаемые в Сети. Вообще в индексных системах более изощренные программные агенты и большие базы данных, что делает их полезными для исчерпывающих поисков, сложных запросов или для локализации неясной информации. Это достоинство, однако, становится недостатком, когда производится тематический поиск. Хотя большинство таких сис-тем облегчает восприятие чрезмерного количества информации, представляя ре-зультаты поиска согласно математически установленному порядку (например, ссылки с наиболее высокими номерами соответствия ключевых слов могут распо-лагаться выше), но запаситесь терпением, "отсеивая" ссылки, не относящиеся к делу или недостаточно близкие по теме.

Важным элементом успешного поиска является правильно сформулированный за-прос. Это означает, что иногда требуется применение операторов, близких к буле-вым (AND, OR, NOT, NEAR), знаков пунктуации (например, кавычек, значков "*" или "$") и чувствительности к регистру (для имен собственных, заголовков и аббревиа-тур). Каждая поисковая система использует различные вариации этих простых ат-рибутов запроса поиска. Поэтому почти каждая предлагает область справки или ответов на наиболее часто встречающиеся вопросы. Если в первый раз не получен нужный результат, можете изменить формулировку поиска и начать с самого нача-ла. Ни одна из этих систем не может идеально подходить всем. Хотя каждая из них позволяет достаточно быстро выдавать результаты, некоторые имеют более про-стые интерфейсы, более сильный инструментарий или более полные базы данных.

AltaVista fhttD://altavista.digital.com)

AltaVista обеспечивает наиболее тщательный поиск среди всех представленных здесь систем. Интерфейс AltaVista легок в использовании, а раскрывающиеся меню помогают определить предмет вашего поиска. Опция Advanced Search позволяет вам настраивать запросы определением булевых операторов, проведением поис-ков с учетом регистров символов, ограничением давности ссьшок, использованием масок и т.д. Однако, несмотря на свои достоинства, AltaVista не предлагает индек-сированного указателя для простого просмотра, результаты поиска не ранжирова-ны и не организованы, так что часто богатство предоставляемой информации при-водит к большой трате времени. В целом, способность AltaVista распознавать за-просы на естественном языке является ее большим преимуществом. Просеивая результаты, полученные AltaVista, вы можете потратить больше времени, чем при использовании других поисковых систем, но для исчерпывающих поисков самых дальних "углов" WWW AltaVista незаменима.

eXcite ftittp: //www.excite.com)

Сильной стороной eXcite является ее интерфейс и некоторые специальные воз-можности. При помощи этой системы можно вести поиск не только в Web и Usenet, но и в базах данных eXcite Reviews и классификаторах Internet. Однако, поскольку eXcite поддерживает поиски только по простой фразе или ключевому слову, при необходимости сложного поиска могут возникнуть трудности. eXcite выдает прием-лемое число качественных ссылок, особенно для основных тем, хотя это у нее по-лучается не лучше, чем у других поисковых систем.

HotBot (http://www.hotbot.com)

Поисковая система, созданная HotWired и усовершенствованная совместно с Ink-tomi. Данная система отказывается от "полносервисного" подхода, свойственного, например, Lycos, и вместо этого предлагает мощный, без всяких излишеств интер-фейс. Соответствующие меню позволяют искать по всем словам, по любому из слов, по фразе, по URL-адресу, использовать подмножество булевых операторов, осуществлять поиск внутри какой-нибудь области, ограничивать ваш поиск рядом специфических данных и т.д. Полученные ссылки располагаются в ряд и представ-ляются с коротким текстовым резюме. HotBot находит почти так же много ссылок, как Lycos и AltaVista, но по качеству ссылок уступает им.

InfoSeek Guide (http://guide.infoseek.com)

В отличие от многих других средств поиска, которые вынуждают вас обращаться к непривычным булевым операторам, InfoSeek предлагает понятный дружественный интерфейс, позволяющий вам не терзаться мыслью о том, как сформулировать во-прос. Наряду с этим, InfoSeek предлагает самые лучшие подкатегории поиска, по-зволяя вам просматривать узлы Web, Usenet, адреса e-mail, каталоги компаний и т.д. Предметом гордости InfoSeek также являются удобные системы "горячих" ссы-лок, такие как Big Yellow и Personalized News (настраиваемые страницы новостей). Качество получаемых ссьшок в InfoSeek обычно выше, чем в других поисковых сис-темах. Большинство из них близки к заданной теме, актуальны и четко организова-ны. Если бы не ограниченный размер базы данных, InfoSeek могла бы легко обойти другие средства поиска.

Lycos (http;//www.lvcos.com)

С этой системой поиска вам удастся получить результаты, которые сопоставимы с показателями AltaVista. Lycos оперирует со множеством способов построения за-просов, позволяя вам задавать область поиска, выбирать число ссылок, приводи-мых на страницу, меру близости запросу и получать результаты в стандартном, общем или детализированном формате. Lycos тесно связан с системой Point (см. далее), через нее он дает ссылки на новости и некоторые другае ресурсы. В Lycos не предусмотрена возможность работы с естественным языком, но в остальных случаях эта поисковая система дает большое число подходящих ссылок.

Magellan (http://www.mckinley.com)

Хотя Magellan предлагает оригинальное отредактированное содержимое и архив, открытый для поиска Web-страниц, ее самая важная черта — это индексы про-смотренных и оцененных документов, которые также являются частью системы eX-cite. Просмотренные ссылки классифицируются с точки зрения их распространен-ности, легкости в использовании и общей "сетевой привлекательности"; им при-сваивается от одной до четырех звезд рейтинга. Материалы, которые считаются "безопасными" для всех пользователей, изображены пиктограммой "Светофор" с горящим зеленым светом. Magellan хороша для легкого тематического просмотра, равно как и для поисков во всем Internet, которые вы можете провести исключи-тельно по проверенным узлам или по всей неклассифицированной базе данных. Однако лучше всего не применять Magellan для общих поисков, а использовать ее для нахождения качественных ссылок, подходящих для конкретных целей.

OpenText (http://www.opentext.com)

Как и HotBot, OpenText не использует указатели, составленные редакторами, и дру-гие несвойственные ему функции, а опирается только на возможности своего поис-кового механизма. Он предоставляет вам опции, управляющие простым поиском по слову (словам) или фразе. Простой поиск в OpenText, наравне с InfoSeek и Lycos, дает достаточно качественные результаты. Но так как OpenText ищет по целой связке слов, а не по отдельным ключевым словам, он сам попадает впросак при сложном запросе или при запросе на естественном языке. Однако, если вы готовы потратить некоторое время на изучение инструментария Power Search, OpenText покорит вас своей гибкостью.

Point (http://www.pointcom.com)

В дополнение к средствам поиска Lycos база данных Point содержит сообщения только о "наиболее посещаемых 5% узлов Web". Ссылки подобраны по качеству содержания, представления и опыту использования. Наряду с каталогом. Point предлагает еженедельный список 10 самых популярных узлов, ссылки на новую и актуальную информацию и ссылки для Lycos. Эта специфическая база данных не предназначена для обычных поисков информации в Internet. Функция поиска в Point по ключевому слову ищет ссылки внутри текста документа, а не по самим ссылкам. Это может исказить результаты из-за сделанных экспромтом ремарок, внесенных редакторами службы Point. Ясно, что Point покажет более высокие результаты при просмотре по категориям. Подобно редакторам, работающим под системой Magel-lan, рецензенты Point выполняют неоценимую работу, отделяя "зерна от плевел", так что вам не придется тратить на это свое время.

WebCrawler (http://www.webcrawler.com)

Интерфейс WebCrawler предлагает мощный механизм поиска, способный опериро-вать с большинством булевых операторов. Подобно eXcite и Magellan, WebCrawler позволяет вам просматривать документы, размещенные и ранжированные по кате-гориям (например: Life, Education, News и т.д.). Интерфейс WebCrawler прост в ис-пользовании и работает достаточно результативно, находя адреса популярных уз-лов.

Yahoo! (http://www.vahoo.com)

Yahoo! является т.н. "индексированным каталогом Internet". В отличие от других поисковых систем, прибегающих для сбора ссылок к помощи различного рода ав-томатических агентов, Yahoo! строится вручную, т.е. обширный штат сотрудников постоянно работает с Web, выявляет новые документы (или записывает те, кото-рые предоставляются Web-администраторами), составляет резюме об их содер-жимом и относит их к какой-либо категории. При просмотре Yahoo! ищет ключевые слова или связку слов в заголовках документов, в названиях категорий и текстовых резюме. В параметрах поиска могут использоваться булевы операторы, адреса электронной почты или Usenet. Когда Yahoo! не может найти данные в своей базе данных, производится обращение к полнотекстовой базе данных AltaVista. Простой интерфейс, большая база накопленной информации. удачный и обширный клас-сификатор, — все это создало Yahoo! репутацию поисковой системы высокого ка-чества.