5.2. Поиск информации в Интернете

5.2.1. Общие сведения о поисковых системах

Основную роль в обслуживании клиентов Интернета играют Web-серверы, содержащие все информационные ресурсы и реализующие сервисы Интернета. Для понимания эффективной работы в сети и реализации собственного Web-сервера необходимо хорошо представлять основные функции различных Web-серверов и логику навигации по ним. Ответ на этот вопрос поможет дать приведенная ниже классификация серверов в Интернете.

Несмотря на разнообразие представленных в Интернете Web-cepверов, можно выделить две основные группы:

серверы управления трафиком (Web Traffic Control Sites);

конечные серверы (Destination Sites).

Такое деление обусловлено общей логикой навигации в Интернете. В начале пользователь с помощью серверов первой группы должен найти требуемые ресурсы, а потом уже ими воспользоваться. Поэтому для эффективной работы Web-сервера должны быть, во-первых, учтены операции, связанные с первоначальным привлечением посетителей на сервер, выполняемые серверами первой группы, и, во-вторых, решена задача обеспечения максимального количества повторных посещений Web-сервера за счет предоставления пользователю услуг, информации, возможностей для интересного времяпрепровождения, – всего, что может удовлетворить те или иные потребности посетителей сервера.

Серверы управления трафиком

К этой группе можно отнести поисковые системы, каталоги и инициирующие серверы.

Поисковые системы

Задача поисковых систем – опознать другие серверы Интернета при помощи поиска по ключевым словам базы данных, которая состоит из проиндексированного содержания Web-серверов Интернета. Ярким представителем поисковых систем являются международная AltaVista и российский Rambler.

Поисковые системы состоят из трех основных частей. Спайдеры (Spider, Crawler, Robot) – программа, которая посещает Web-серверы, считывает и индексирует полностью или частично их содержимое и далее следует по ссылкам, найденным на сервере. Spider возвращается через определенные периоды времени, например каждый месяц, и повторяет индексацию страниц. Все, что находит и считывает Spider, попадает в индексы поисковой системы. Индексы системы представляют собой гигантское хранилище информации, где хранятся копии текстовой составляющей всех страниц, которые посетил и проиндексировал Spider. Третья часть – это программа, которая в соответствии с запросом пользователя перебирает индексы поисковой системы в поисках информации и выдает ему в порядке убывания релевантности найденные документы. Релевантность определяет, насколько полно тот или иной документ отвечает критериям, указанным в запросе пользователя. Разумеется, далеко не всегда документ, признанный поисковой системой наиболее релевантным, будет таким по мнению самого пользователя. В каждой поисковой системе работает собственный спайдер; каждая система индексирует страницы своим особым способом, и приоритеты при поиске по индексам тоже отличны. Поэтому запрос по определенным ключевым словам или выражениям в каждой из поисковых систем обычно порождает разные результаты.

Наиболее известными международными поисковыми системами являются:

AltaVista (http://www.altavista.digital.com/),

Excite (http://www.excite.com/),

Hot Bot (http://www.hotbot.com/),

Infoseek (http://www.infoseek.com/),

Lycos (http://www.Iycos.com/),

WebCrawler (http://www.webcrawler.com/).

Наиболее популярна российская поисковая система Rambler (http://www.rambler.ru), принадлежащая компании Stack Ltd. Поисковая система Rambler поддерживает рейтинг русских страниц Тор 100 (http://counter.rambler.ru/topl00). Списки страниц разбиты на группы, и многие пользователи используют данный рейтинг как каталог.

Наряду с сервером Rambler большой популярностью пользуются поисковые системы Yandex (http://yandex.ru) и «Апорт!» (http://www.aport.ru/).

Yandex является оригинальной разработкой фирмы CompTek, выполняет поиск по русской части Интернета с учетом морфологии русского языка и имеет очень мощный язык запросов. Результаты поиска упорядочиваются по степени значимости, при этом учитывается число встретившихся в документе терминов, их положение, число слов между ними, и, кроме того, они содержат удобную аннотацию. Поисковая система «Апорт!» разработана компанией «Агама» при поддержке Intel. Система понимает все кириллические кодировки и выполняет поиск с учетом морфологического анализа. Имеет гибкий язык запросов, поддерживает перевод запроса с русского на английский язык и наоборот. Результаты поиска упорядочиваются по частоте употребления искомых терминов. Вместе со ссылкой отображаются фрагмент текста, где встречается термин, дата и время последней модификации файла.

Каталоги (directories)

Аналогичную поисковым системам функцию выполняют серверы-каталоги, с той разницей, что поиск осуществляется пользователем вручную по иерархически организованной тематической структуре каталогов.

Для регистрации в каталоге необходимо либо заполнить опреде­ленную форму, либо послать запрос, содержащий указание, в какой раздел вы хотите поместить свою страницу, краткое описание сайта и список ключевых слов для поиска страницы в каталоге.

«Королем» каталогов по праву считается Yahoo (http://www.yahoo.com/). Этот каталог существует с конца 1994 года, содержит более полумиллиона Web-страниц и считается самым популярным и старейшим из основных каталогов Интернета. При вводе запроса Yahoo производит поиск по своему каталогу. Если результаты поиска неудовлетворительны, запрос автоматически перенаправляется к избранной поисковой системе AltaVista. Регистрация сайта в Yahoo, как правило, вносит значительный вклад в увеличение трафика пользователей. Некоторые онлайновые магазины утверждают, что 70% их клиентов пришли к ним именно через Yahoo.

Страницы внутри каталога идут в алфавитном порядке, так что если имя страницы начинается с цифр, то она находится недалеко от начала списка в директории. Вышеупомянутое утверждение верно, если пользователь переходит из каталога в каталог сам. В случае, если он пользуется внутренней поисковой системой, страницы будут выдаваться в порядке убывания релевантности, а не в алфавитном порядке.

Среди каталогов российской сети можно выделить «Созвездие Интернет» (http://www.stars.ru), Russia on the Net (http://www.ru), List.Ru (http://www.list.ru), Ay! (http://au.ru), The List of Russian Web Servers (http://weblist.ru/), а также появившихся достаточно недавно Search (http://search.site.ru/) и «Интернет Столица» (http://www.data.ru/).

Комбинированные системы

Некоторые поисковые системы имеют при себе и каталог. Индексы для самой поисковой системы добываются спайдером, а каталог пополняется через регистрационную форму или модераторами системы. Примерами таких систем являются:

Excite Net Directory (http://www.excite.com/);

InfoSeek (http://infoseek.go.coHi);

Lycos (http://www.Iycos.com);

WebCrawler (http://www.webcrawler.com/).

Инициирующие серверы

Инициирующие серверы относятся к группе серверов управления трафиком. Если цель поисковых машин или каталогов состоит в поиске информации и последующем перенаправлении пользователей к найденным ресурсам в соответствии с запросом, то инициирующие серверы используют комплексный подход и наряду с функциями поиска информации и перемещения к ней пользователей предоставляют достаточно широкое по тематике информационное содержание. Наиболее крупные из них получили название порталов.

Порталы – это Web-узлы, представляющие собой сочетание информационного наполнения, пользовательского сообщества и базовых услуг, таких как электронная почта. Они служат отправным пунктом навигации в Интернете, где можно ознакомиться с заголовками новостей, узнать о событиях в сети, и являются центрами, вокруг которых строятся взаимоотношения пользователей с Интернетом. Сюда пользователь может вернуться, если он заблудился в Паутине, здесь же можно следить за курсами акций, именно отсюда можно начинать поиск. Здесь находятся почтовые ящики пользователей, предназначенные для получения и отправления сообщений электронной почты, персональная базовая страница, портал выступает гарантией безопасности и ориентиром во всем, что касается Интернета.

Все порталы обладают примерно одинаковой комбинацией информационного наполнения и набора услуг. Различия определяются тем, насколько успешно интегрированы все функции и насколько удачно выбраны технологии для организации сообществ пользователей, Web-страниц, диалогов, электронной почты и мгновенной пересылки сообщений. Кроме того, порталы различаются с точки зрения простоты работы с ними и настройки на нужды конкретного пользователя, а также вероятности встретить в портале тех, с кем хотелось бы провести время в сети.

Основными составляющими элементами порталов являются:

Каналы. Одна из основных функций порталов – упрощение поиска интересующих данных путем разделения всей информации на каналы. Пионером в этой области была служба AOL, а разработчики других порталов учились у нее и в основном перенимали опыт, разделяя информацию на 16 – 18 легкоузнаваемых подкатегорий.

Электронная почта. Самое популярное занятие в сети стало стандартным дополнением к порталам, еще одним способом привлечь пользователей на узел и дать им ощущение связи с порталом. С помощью почтовых клиентов – не только автономных, но и на базе Web – можно просмотреть HTML-почту, создать папки и организовать адресную книгу.

Дискуссии. Возможность организации форума для обмена идеями и встреч с другими пользователями является одним из главных атрибутов любого портала. Большинство порталов наделено встроенными средствами диалогового взаимодействия, охватывающими все службы портала, с большим набором дискуссий – как открытых, так и руководимых ведущим.

Покупки. Интернет превратился в гигантский рынок товаров и услуг, и разработчики порталов извлекают выгоды из создавшегося положения, собирая ссылки на коммерческие узлы и предоставляя пользователям инструменты для поиска нужных им продуктов. Например, в Shopping Guide (Проводник покупателя) узла Yahoo предусмотрена функция поиска в Интернете товаров, например книг с самой низкой ценой.

Одним из самых популярных международных порталов является Excite (http://www.excite.com). Как портал Excite сочетает в себе отличные инструменты индивидуализации, превосходный механизм поиска с прогнозированием запросов пользователя и развитые средства организации сообществ.

Среди российских порталов одно из первых мест по праву занимает сервер компании IT InfoArt Stars (http://www.mfoart.ru). Компания IT InfoArt Stars, образованная в феврале 1999 г. на базе отдела интернет-проектов «ИнфоАрт», владеет несколькими ресурсами, включая информационно-новостной сайт IT InfoArt Stars и каталог Internet Stars, которые входят в число старейших и самых популярных серверов России. Партнерам компании и пользователям предоставляются многочисленные бесплатные интернет-сервисы: служба поиска и индексации iSearch; служба электронной почты e-mail; служба персонализации iCenter; служба push-каналов iPush; служба подсчета обращений к страницам iHITs; рейтинговая служба 1000 Stars и др.

Информационно-новостной сайт IT InfoArt Stars является одним из крупнейших в Европе (до 100 тысяч посетителей в день, свыше 100 миллионов запросов в месяц с 1 миллиона уникальных компьютерных систем мира) и помимо электронной публикации новостных, аналитических и иных материалов из области политики, экономики, науки и техники, спорта, погоды, культуры и искусства на основе новейших компьютерных тех­нологий постоянно совершенствует формы интернет-вещания, расширяет функциональные возможности служб Интернета. Информация размещается на основном и нескольких десятках зеркал-ретрансляторов по территории России и стран СНГ, а также передается посредством 40 тематических push-каналов десяткам тысяч пользователей.

Служба каталога Internet Stars, насчитывающая более 12 тыс. ресурсов, осуществляет регистрацию (по заявкам владельцев) и мониторинг отечественных и зарубежных интернет-ресурсов, ведет элитный рейтинг 1000 Stars (более 3 тыс. участников), учитывающий уникальных посетителей всего рейтингуемого ресурса в целом.

Специального упоминания заслуживает такой уникальный сервис, как организация и проведение интернет-брифингов, семинаров и пресс-конференций.

Группа «конечных серверов»

В группу «конечных серверов» входят конечные адресаты, предоставляющие пользователям разнообразные ресурсы, которыми могут быть информация в виде художественных произведений и документации, финансовые сводки, информация о курсах акций, фирмах, их продукции и услугах, о продаже товаров, различных способах времяпрепровождения. Исходя из выполняемых Web-серверами функций в этой группе можно выделить интерактивные магазины, серверы присутствия в Интернете и информационные серверы.

Серверы присутствия в Интернете

Серверы присутствия относятся к группе «конечных серверов». Они обеспечивают виртуальное присутствие фирм и их предложений в Интернете. Серверы этого типа можно разделить на два вида: рекламные и информирующие, хотя четкую границу между ними провести бывает довольно трудно.

Рекламный сервер может состоять из одной или нескольких Web-страниц и содержать различную рекламную информацию. Информация о продуктах или услугах фирмы обычно обеспечивается в том контексте, в котором они имеют значение для потребителя. Такой тип сервера особенно подходит для продуктов, не требующих представления большого количества информации, при этом основное воздействие на потребителей оказывается скорее в эмоциональном, чем в информационном плане.

Информирующие серверы обеспечивают детальную информацию о фирме и/или ее предложениях. Такие серверы могут иметь довольно разнообразное строение, и для облегчения навигации в случае сложного строения сервера или большого объема представленной информации можно использовать функцию поиска.

Примером информационного сервера присутствия в Интернете является сайт компании МЭЛТ (http://www.melt.aha.ru/). На сервере посетители могут ознакомиться с самыми свежими новостями о перспективных разработках и услугах, о выпускаемых в настоящий момент изделиях, получить самые свежие версии программ для управления изготавливаемыми фирмой продуктами, а также получить подробную документацию по выпускаемым в данный момент изделиям. В качестве другого примера сайта этой группы можно привести Web-сервер магазина «Максидом» (http://www.maxidom.ru/). По своему содержанию он значительно ближе к серверу рекламного типа. Информация и ее представление нацелены на то, чтобы сформировать определенный имидж магазина в глазах потенциальных покупателей: доступные цены, широкий ассортимент, позволяющий сделать все покупки за один визит, широкий спектр услуг и доброжелательный, опытный, квалифицированный персонал. Все укладывается в общий девиз бизнеса данной фирмы: «Большой магазин для большого города».

Еще одним примером корпоративного Web-сайта является сервер Волжского автомобильного завода (http://www.vaz.ru). На сервере представлена полная информация о выпускаемых моделях автомобилей, их характеристиках и ценах, опубликована история предприятия. Сайт ориентирован как на конечного потребителя, так и на партнеров по бизнесу. Например, АО «АВТОВАЗ» предлагает фирмам, торгующим автомобилями ВАЗ в России или желающим заниматься их реализацией, заключить дилерские соглашения.

Любой желающий может через Web-сайт получить консультацию, помощь специалистов предприятия или обратиться к администрации завода с деловым предложением. Для оптимизации такого взаимодействия на сервере представлены ответы на часто задаваемые вопросы.

В целом Web-сайт служит хорошим примером информационно-рекламного сервера.

Информационные серверы

Название серверов этой группы говорит само за себя: это серверы, главной своей целью ставящие представление той или иной информации пользователям Интернета. Наиболее характерное деление в группе можно провести по признаку необходимости оплаты для доступа к информации или для ее представления на Web-сервере.

Рассмотрим для начала платные серверы. В этом случае для доступа к информации пользователи платят определенную сумму. Возможен другой вариант, когда плата взимается за представление информации, например, фирма платит за включение информации о себе в базу данных Web-cервера.

Основной проблемой эффективного функционирования сервера такого типа является задача предоставления уникальной информации, поскольку Интернет – это информационно интенсивная среда, где существует много альтернатив поиска требуемой информации. Наиболее характерным примером серверов, относящихся к этой группе, являются, во-первых, Web-серверы, предоставляющие финансовую информацию, и, во-вторых, Web-серверы, предоставляющие информацию о рынке, то есть информацию о фирмах, их продукции и услугах с возможностью произведения выборок по регионам, отраслям.

Среди российских серверов ведущее место по представлению финансовой информации занимает сервер РИА «РосБизнес-Консалтинг» (bttp://www.rbc.ru). РИА «РосБизнес-Консалтинг» работает с начала 1992 года и предоставляет самый большой в России объем финансовой и аналитической информации по России и СНГ. Главными продуктами являются финансовые данные, новости и аналитика со всего мира. Доступ к разделам сервера платный, за исключением лишь нескольких из них.

Основными продуктами компании являются:

ежедневный бюллетень «Валюты-кредиты. Информация. Анализ. Комментарии»;

Rbc NEWS – лента финансовых и фондовых новостей в режиме реального времени.

Другим примером Web-сервера, предоставляющего платную информацию по широкому спектру рыночных отношений, фирмах и товарах, является Web-сервер Информационной коммерческой системы «Международные Информационные Рынки» (ИКС МИР).

В противовес платным серверам существует достаточно большое количество сайтов, предоставляющих информацию бесплатно. Примером такого Web-сервера, предлагающего бесплатные услуги по размещению информации о недвижимости в Санкт-Петербурге и предоставляющего возможность поиска по ней, является Web-сервер «Межагентская база данных» (http://on.wplus.net /talan/index.htm). На сервере можно произвести поиск интересующего варианта в случае продажи или аренды, оставить собственный вариант, подписаться на рассылку новостей и т.д.