Сложившаяся ситуация далеко неоднозначна. На данный момент число web- серверов удваивается в среднем каждые три месяца, а рост количества доступных через WWW документов и баз данных превышает темпы роста общего количества компьютеров и пользователей всей сети Интернет. Осуществление учета, контроля и других мониторинговых функций за документальным потоком такого масштаба в полной мере представляет собой невыполнимую задачу. Это неизбежно влечет за собой проблему невостребованности информации. С другой стороны, неограниченные возможности для публикации любых материалов индивидуальных пользователей привели к наполнению WWW огромным количеством источников, имеющих крайне низкую информационную ценность. При такой разнородности содержания и таких объемах данных поиск релевантной информации становится сложной задачей.
Тем не менее научный, культурный и образовательный потенциал среды WWW очень высоко оценивается как экспертами, так и миллионами пользователей, которые обращаются к этой системе именно для поиска информации.
Из книги «World Wide Web – cтратегия эффективного поиска»
Поиск в сети Интернет
В рекламе Интернет часто повторяются восторженные слова о том, что там можно найти любую информацию. Однако опытные обитатели Сети знают, что это далеко не так. Действительно, сегодня в Глобальной сети можно получить самые разнообразные сведения
— от расписания авиарейсов и маршрутов движения транспорта до прогнозов погоды и рецептов экзотических блюд. Но если по содержанию («контенту») Сеть представляет собой буквально бездонный кладезь информации, то по способу организации — это, прошу прощения за грубое выражение, типичная свалка, где найти что-либо ценное представляется весьма проблематичным.
Но, к счастью, положение не столь уж безнадежно — для поиска можно воспользоваться многочисленными специализированными инструментами и средствами: поисковыми системами (search engines), индексированными каталогами (directories), метапоисковыми системами и специализированными списками ссылок по определенной тематике.
Типовая структура поисковой машины включает в себя базу данных и программу для ее обработки. Базы данных могут содержать страницы, как присланные (зарегистрированные) владельцами ресурсов, так и обнаруженные средствами самой поисковой системы. Программа обработки данных обычно состоит из двух частей: из сетевого агента («робот», «паук», «червяк»), который обходит все предписанные серверы, анализирует содержимое Web-страниц и выстраивает индексы (информацию) о том, что и на какой странице было обнаружено, а также из определителя рейтинга, выполняющего сортировку ссылок, найденных по определенному ключевому слову. Полнотекстовые поисковые системы (рис.1) индексируют все слова, найденные на Web-
странице, исключая иногда некоторые так называемые стоп-слова (малоинформативные, но при этом имеющие высокую частоту употребления: союзы, предлоги и т.д.).
Чтобы найти нужную информацию, пользователь должен задать вопрос (послать запрос) поисковой машине. В ответ выдается список адресов (URL). Механизм действия очень прост, если сделать запрос правильно. Самое простое — написать в строке запроса одно слово. Однако, запросив одно слово, пользователь вполне может получить в ответ огромное количество ссылок (если, конечно, это не узкоспециализированный термин). Естественно, что для уточнения предмета поиска необходимо построить запрос из двух-
5
трех слов. Все поисковые системы имеют язык запросов, который включает логические операторы, а также свои дополнительные возможности. Подробнее с языком запросов для каждой машины можно ознакомиться на ее сервере.
При правильно составленном запросе слова, включенные в него, будут представлены в ответе наилучшим образом: при наличии документа, в котором все они встречаются, он будет находиться в верхней части списка найденных ресурсов.
Каталог (рис.2), как правило, имеет иерархическую структуру, и все его ресурсы классифицированы по темам. Эти серверы организованы по типу справочников, которые описывают ресурсы Интернет, применяя всевозможные рубрикаторы. Здесь отбор информации производится гораздо жестче, нежели в поисковых системах, поэтому базы данных каталогов обычно во много раз меньше. Тематическую классификацию осуществляют либо
авторы каталога (и тогда такой процесс идет качественно, но медленно), либо хозяева ресурсов (в этом случае нельзя гарантировать соответствие ресурса разделу). Поскольку составлением каталогов занимаются в основном не программы, а люди, то, кроме ссылки на нужный ресурс, вы, скорее всего, получите краткое описание его содержания. Многие индексированные каталоги включают в себя и внутренние поисковые машины.
Метапоисковые системы (напр.: http://www.metacrawler.com), напротив, не содержат собственной базы данных — они производят опрос нескольких внешних поисковых машин, а затем самостоятельно анализируют полученные результаты и в конечном итоге выдают пользователю список ссылок, порядок которых определяется соотношением рейтингов сайта сразу по нескольким поисковым машинам, что, очевидно, повышает объективность результата.
Еще одним популярным средством поиска нужной информации являются
тематические списки ссылок или путеводители, напр.: «Философия в Интернет», «Медицина на WWW» и т.д. (рис.3), расположенные на специализированных сайтах или частных Web-страницах, например под заголовками «Мои любимые ссылки» или «Полезные места в Сети». Беда только в том, что такие списки или специализированные базы данных сначала нужно найти (Приложение 1).
Хорошая отправная точка для тематического поиска — это сборники часто задаваемых вопросов, так называемые Frequently
Asked Questions (FAQ), которые присутствуют на многоих сайтах. В хранилищах таких сборников,
например на http://faqs.org/, http://faqs.org.ru/,
можно найти нужные ключевые слова или словосочетания для поиска. Конечно, при этом следует помнить, что подобные подборки составляются в большинстве случаев одним человеком или конкретной фирмой, поэтому носят субъективный или конъюнктурный характер. Так что вовсе не обязательно, что информация, которая представляет интерес для хозяев данной странички, понадобится и вам. Однако у FAQ-сборников и частных списков есть и несомненные преимущества: во-первых, сведения там, как правило, более точные и полные, чем в общих каталогах, во-вторых, если владелец списка — специалист в данной области, и вы ему доверяете, то даже сама подборка, терминология и классификация материала может представлять ценность. Поставив закладку на такой ресурс, вы всегда можете быстро к нему вернуться. Кстати, многие ныне популярные индексированные
6
каталоги, в том числе и знаменитый Yahoo! (http://www.yahoo.com/), в свое время были простыми списками ссылок.
Не забывайте о телеконференциях или новостных каналах (UseNet или News),
которые служат для обсуждения сетевым сообществом различных тем — от общечеловеческих до специфических. По форме они напоминают доску объявлений, на которой каждый может вывесить все, что угодно, и затем обсуждать это с другими. Порядок в группах новостей чаще всего поддерживают сами пользователи, руководствуясь общепринятыми правилами (за соблюдением правил поведения в некоторых конференциях может наблюдать ведущий, называемый модератором). Старейшим представителем этой части русскоязычного Интернет является узел http://www.relcom.ru/ — здесь, кстати, можно получить исчерпывающую информацию о том, что такое телеконференции и как с ними работать. Конференции не являются надежным источником получения информации, поскольку заочно трудно судить об уровне компетентности респондентов, однако часто они могут быть единственным источником, из которого можно получить конкретную информацию по специфическому вопросу.
И наконец, электронная почта (e-mail). Хотя это, скорее, источник получения, а не поиска информации, однако при желании можно превратить его и в средство поиска. Найдя компетентных людей в телеконференциях, можно попытаться вести общение с ними по почте и получать таким образом более точную информацию из первых рук. При этом в ходе личной переписки они, возможно, будут сообщать вам интересные новости в данной области с указанием точного адреса Интернет-ресурсов.
По узкому или специальному запросу очень хорошие результаты может дать двухступенчатая схема поиска. Сначала нужно обратиться к специализированным спискам ссылок, сборникам часто задаваемых вопросов, конференциям или конкретным людям, чтобы найти хоть что-нибудь. После этого удается точнее определиться с терминологией и сформулировать специфический запрос к универсальной поисковой машине. Это помогает найти не только близкие по теме документы, но и понять место искомого предмета в общей иерархии. Если, например, найдена интересная статья, то целесообразно поискать фамилии ее авторов в мощном автоматическом индексе. При этом могут быть обнаружены ресурсы по интересующей вас теме, ссылающиеся на эту статью, или подборка подобных статей в Интернет.
В заключение, после определения основных типов инструментов поиска информации, можно дать некоторые советы общего характера, касающиеся путешествий по Web-страницам и, как мне кажется, позволяющие несколько повысить эффективность процесса поиска и сэкономить немного времени:
—учитесь учиться и задолго до того, как что-нибудь искать, определитесь хотя бы с терминологией. Правильно поставленный вопрос — это уже половина ответа! Прежде чем подключаться к Сети в поисках нужной информации, постарайтесь найти отправную точку из других источников, то есть ссылки на Интернет-адреса из газет и журналов, справочников типа «Желтые страницы Интернет», руководств по использованию, сопроводительных этикеток на товарах и, наконец, от друзей и знакомых;
—обращайте внимание на количество документов, пришедших в ответ на поисковый запрос. Чем больше и мощнее база данных, тем точнее должен быть запрос — по принципу «лучше меньше, да лучше», иначе искомое потеряется в «мусоре». Путешествуя по Сети, вы наверняка отметите для себя сайты, авторы которых кажутся вам компетентными в тех или иных вопросах. Сохраните их отдельно в папку «Избранное» и, прежде чем в очередной раз приступить к анализу интересующей вас проблемы, пройдите сначала по этим ссылкам — возможно, это поможет вам сэкономить время и деньги. В конце концов ваша папка «Избранное»
станет отправной точкой для любого поиска в Сети.
Некоторые пособия по поиску в Интернет считают искусством поиска умение составлять логические выражения и заключать фразы в кавычки. Это, несомненно, полезная техника, и овладение ею необходимо, но далеко не достаточно для того, чтобы искать и находить в Сети необходимую информацию. Практика показывает, что
7
формализовать и автоматизировать поиск практически невозможно. Подлинное искусство поиска требует активных умственных действий и принятия решений на каждом шагу. Бесспорно, поиск в Интернет требует определенных навыков, но они вырабатываются непосредственно в процессе работы.
Из журнала «КомпьютерПресс»
Печатается с сокращением
Российские поисковые системы
Сегодня количество поисковых систем Интернет исчисляется сотнями. Это и глобальные поисковые системы, индексирующие www-документы вне зависимости от их географической принадлежности и языка, и региональные, производящие фильтрацию документов по доменам верхнего уровня (напр.: de –Германия, ru и su – Россия, uk – Великобритания и т.д.). Кроме того, все поисковые системы обладают массой других характеристик, связанных со скоростью обновления базы, принципами индексирования документов и возможностями составления запроса. Поэтому существует необходимость выбора оптимального поискового средства для нахождения нужной информации.
Практика показывает, что поисковые системы глобального масштаба, созданные в США, например, Alta Vista (http://www.altavasta.com/), ориентируются преимущественно на североамериканские ресурсы и англоязычные web-страницы. Документы на европейских и других языках мира представлены здесь в меньшей степени. Одна из крупнейших поисковых систем Fast Search (http://www.alltheweb.com/), созданная норвежской компанией, тяготеет, наоборот, к европейскому пространству WWW. Несмотря на то, что многие глобальные «поисковики» успешно находят документы на кириллице, их возможности не могут сравниться с возможностями крупнейших российских поисковых систем, которые индексируют русскоязычную область WWW.
Все отечественные разработки объединяет несколько общих черт, ставящих их вне конкуренции при работе с русскоязычными источниками. Прежде всего, все они способны корректно обрабатывать материалы во всех кириллических кодировках. Исторически сложилось, что на русскоязычных серверах все источники представлены (продублированы) по крайней мере в трех различных кодировках: Windows (CP1251), KOI-8r (UNIX) и DOS.
Все российские системы обладают мощным встроенным морфологическим аппаратом, дающим возможность автоматически значительно расширять поиск за счет многообразных словоформ русского языка ("окно", "окон" и т. п.).
К лидирующей группе российских поисковых средств в настоящее время относятся
Yandex, Апорт и Rambler (Приложение 2).
Yandex (http://www.yandex.ru)
Поисковая машина последнего поколения, являющаяся к настоящему времени самой объемной: число учтенных оригинальных документов превышает 33 миллиона. Помимо серверов доменов "ru" и "su", «Yandex» индексирует содержание зарубежных русскоязычных Web-узлов, а также серверов СНГ.
«Yandex» располагает самой мощной и сложной системой составления запросов, которая позволяет сформулировать поисковую задачу максимально точно. Более чем какие-либо другие системы, «Yandex» приспособлен для задания запросов на естественном русском языке. Поисковый механизм сам производит расширения (падежи, числа, склонения), исключает "стоп-слова", анализирует расстояние терминов друг от друга и пр. В списке результатов ссылки снабжаются сведениями о том, есть ли в документе совпадение фразы или же просто присутствуют все введенные термины.
8
Допустимо задать употребление термина только в определенном падеже, указать, на каком расстоянии от другого слова или словосочетания он должен находиться в тексте и какие термины этот текст содержать не должен. Это, однако, требует освоения весьма сложного синтаксиса формирования поисковых предписаний, которые включают чуть ли не все специальные символы компьютерной клавиатуры. Среди используемых знаков: -&, !, /, :, <>, (), |, $.
«Yandex» обладает также "Расширенным поиском" (рис.4), представляющим собой детальную систему меню, с помощью которой можно составить сложный запрос без знания специального синтаксиса. Возможно, в частности, обеспечить сочетание нескольких фраз, исключить документы, содержащие указанные слова, конкретизировать местоположение термина в документе (заголовок, аннотация,
ссылка...), применить ограничение по дате публикации, нахождению его на конкретном сайте, языку публикации. Также обеспечивается выявление иллюстраций указанной тематики. Среди сервисных функций «Yandex» есть возможность искать страницы, схожие по содержанию с конкретным документом.
Апорт (http://www.aport.ru)
Внастоящее время эта поисковая система переживает период серьезного обновления. Объем накопленной информации оценивается примерно в 20 миллионов проиндексированных документов с российских серверов и серверов ближнего зарубежья.
Одно из достоинств «Апорт» состоит в широких возможностях составления запроса. Помимо традиционных операторов "И" и "ИЛИ", поиска по целой фразе (двойные кавычки), система обладает способностью вычленять сочетания терминов только в случае, если они расположены в тексте рядом друг с другом. Насколько "рядом", каждый раз определяется пользователем. Так запрос "{3, налоговые льготы}" выявит все документы, в которых указанные слова (и их производные) встречаются в пределах трех соседствующих предложений, а запрос "[4, цветной металл]" отыщет только те страницы, где между искомыми словами стоит не больше двух других слов. За счет этого пользователь застрахован от большой доли информационного шума, возникающего при случайном сочетании ключевых слов.
Вформе «Расширенного поиска»
(рис.5) «Апорт» предлагает также возможность автоматического перевода запроса с русского на английский язык и
наоборот. В поисковую строку можно ввести термины на любом из двух языков и выбрать из меню условие: искать только на
английском, на английском и русском, только на русском. В этом же случае также появляется возможность ограничения поиска элементами страниц, а также временем создания/обновления документов.
Наибольшей оригинальностью отличается форма выдачи результатов. Список найденных документов открывается сведениями о том, сколько документов и на каком количестве серверов выявлено. Перечень результатов сформирован таким образом, что в начале каждой ссылки идут сведения о сервере, на котором содержится источник. Приводится не только его название и адрес, но и аннотация. Далее приводится число
9
страниц на сервере, содержащих искомые термины, а также следуют соответствующие ссылки.
В списке результатов каждая ссылка включает название файла, дату и время его последнего обновления, адрес/адреса источника с указанием оригинальной кодировки и степень соответствия запросу. Положительным моментом, отличающим «Апорт» от других систем, является то, что найденные ключевые слова выводятся в окружающем контексте из любой части документа, а не только из его начала, что позволяет точнее определять соответствие страницы запросу уже на этапе просмотра ссылок, функция "Реконструкция текста" позволяет получить весь исходный документ, причем с сохранением оригинального форматирования. Это бывает полезно в случае, когда оригинал источника по каким-то причинам в данное время недоступен.
Rambler (http://www.rambler.ru)
Первая профессиональная отечественная поисковая система. Созданная в 1996 году специально для выявления материалов на серверах в пределах бывшего СССР, она обеспечивает полнотекстовый поиск в 12 миллионах документах, расположенных на Webузлах России и стран ближнего зарубежья.
Система имеет дружественный интерфейс, предлагающий воспользоваться простой или детальной формами запроса (клавиша «Расширенный поиск»). Лучше сразу обратиться к последней, так как при использовании основного интерфейса возможности детализации запроса невелики.
Механизм составления детального запроса реализован через меню (рис.6). Пользователю предлагается ввести один или несколько терминов и определить параметры для разыскания. К основным параметрам относятся: область поиска (во всем документе или в заглавии), условия поиска (выдавать ссылки на документ, в котором обязательно встречаются все термины или любой из них)
употребление словоформ (искать ли все производные корня данного слова, ограничиться точно введенной формулировкой или усекать все встречающиеся окончания).
Очень полезными и, кстати, практически
дублирующими друг друга параметрами являются требование минимального расстояния между искомыми словами и поиск на полное
соответствие запросу. Обе эти характеристики применяются при поиске по точной фразе. Помимо этого можно также уточнить поисковое предписание по языку документа, дате его последнего обновления и указать термины, появление которых в источнике должно быть исключено.
«Rambler» обладает хорошим механизмом вывода результатов. Ссылка на найденный объект включает помимо названия, электронного адреса, кодировки, размера и времени обновления документа еще и внушительных размеров резюме, из которого можно получить представление о том, в каком контексте употреблены искомые термины (они выделены жирным шрифтом). Щелчок мышью по стрелке перед названием выявленного документа запустит поиск страниц, схожих содержанием с данной.
Общие требования к информационному поиску
Приступая к информационному поиску в Интернет, следует всегда помнить несколько основных моментов. Никакие средства навигации — справочники или поисковые машины - не охватывают всего текущего информационного массива Интернет. По некоторым оценкам, даже такие признанные лидеры сетевого поиска, как Alta Vista,
10
Northern Light или Fast Search, отражают не более 10— 15% содержания Сети, и цифра эта продолжает снижаться. Причина — колоссальный прирост объемов информации в Интернет, который, несмотря на все усилия навигационных служб, все более и более превращается в кибернетические джунгли.
Практически все поисковые системы имеют внутренние ограничения на отражение материалов одного сайта. Так, Alta Vista даже в идеале берет не более 60% информации с отдельного сервера. Роботы других поисковых механизмов не идут в глубь сервера дальше определенной директории, что также сокращает число отраженных материалов.
В то же время некоторые серверы имеют собственную систему поиска, которая покрывает весь их информационный массив. На таких серверах можно более детально обследовать их содержимое, использовав локальный поисковый механизм. Например, при поиске сведений о конкретном виде креветки, искусственно разводимой человеком, весьма рациональным будет найти и просмотреть сервера, посвященные в целом аквакультуре, а при выявлении данных о конкретном заболевании — серверы учреждений, ведущих исследования в данной области.
Существует также ряд общих требований к поисковой деятельности, соблюдение которых повышает эффективность и экономит время, затрачиваемое на разыскание данных.
—Для получения более полных результатов по сложному запросу поиск рекомендуется проводить в нескольких поисковых машинах. Поисковые системы имеют сильный разнос в отражении документов, и их последовательное использование в значительной степени расширяет охват материала.
—Формировать запрос надо максимально точно, используя все возможности механизма его составления. Затраты времени на детальное составление поискового предписания окупаются при анализе результатов поиска, поскольку процент информационного шума будет намного ниже.
—Ищите больше, чем по одному ключевому слову. Избегайте общих слов. Чем уникальнее ключевые слова, тем больше шансов, что вы найдете то, что ищете. Всегда продвигайтесь от частного к общему, а не наоборот. Используйте синонимы.
—Не пишите ключевые слова заглавными буквами или с заглавных букв. Некоторые поисковые машины чувствительны к регистру (Yandex, Alta Vista) и выдают документы, где ключевые слова стоят в заданном написании – а это нужно далеко не всегда.
—При составлении запроса стоит мысленно представить, каким может быть предполагаемое содержание документа. При поиске источников об А. С. Пушкине недостаточно просто ввести его фамилию. Список результатов в этом случае будет изобиловать адресами всевозможных учреждений, расположенных на улицах Пушкина в разных городах. Гораздо больший эффект принесет поиск по названиям или строкам из произведений поэта. (напр.: "Евгений Онегин" или "Мой дядя самых честных правил").
—Если один из найденных документов ближе к искомой теме, чем остальные, используйте функцию “Найти похожие документы”.
—При разыскании документов об отдельной стране или на конкретном языке следует отдать предпочтение национальным/региональным поисковым средствам. Так, например, при поиске материалов на испанском языке стоит обращаться не к глобальным, а к испанским поисковым системам, например, Trovator
(http://www.trovator.com).
По материалам журналов «Мир библиографии», «КомпьютерПресс»
и книги «WWW-стратегия эффективного поиска»
11