3. Поиск информации с использованием поисковых систем

Для поиска имеющейся на web-страницах информации было создано множество поисковых систем. Большая часть из них не выдержала конкуренции и фактически прекратила свое существование. К настоящему времени крупными, заслуживающими внимание пользователей, поисковыми системами остались американские «Google», «Yahoo!» и «Bing», китайская «Baidu», российские «Яндекс» и «Rambler» и украиноязычные поисковые системы «МЕТА.ua» «Bigmir.net» и «UA portal» [54].

Особняком стоит своеобразная поисковая система «Lookformp3», имеющая свою собственную поисковую систему, предназначенную для поиска в Internet музыкальных МРЗ- файлов.

Часть поисковых машин имеет дополнительную возможность по поиску информации на серверах FTP и на серверах службы News (в UseNet).

Кэширование web-страниц

Поисковая машина (система) сохраняет копию каждой web - страницы, проиндексированной поисковым роботом, в специальной области («кэше») на своем жестком диске. Если оригинальная страница недоступна (например, не работает сервер, на котором она хранится или страница была вообще удалена с сервера), поисковая машина выдаст пользователю кэшированую страницу.

Кэширование помогает получить доступ к информации и в том случае, когда на web-cepвepe происходит перезапись web- страницы (имя страницы сохраняется, ее содержимое заменяется). В основном перезаписываются страницы, содержащие коммерческую информацию.

Но иногда страницы перезаписываются в связи с тем, что на web-странице была ошибочно или случайно размещена информация, не предназначенная для опубликования («утечка информации») или была размещена неправильная, ошибочная информация. В случае необходимости можно получить доступ к уже удаленной владельцами сайта информации, получив ее в виде кэшированной страницы.

Кэшированная страница показывается в том виде, в котором она хранится в базе данных поисковой машины и сопровождается предупредительной надписью о том, что это страница выдана из кэша.

Там же содержится информация о времени создания кэшированной версии. На странице из кэша ключевые слова запроса подсвечены, причем каждое слово для удобства пользователя подсвечено своим цветом.

Скрытый web

Скрытым web называют содержимое web-страниц, по разным причинам не проиндексированных поисковыми машинами.

Основные причины, по которым web-страница может быть не проиндексирована:

• web-страница является динамической;

• на web-страницу не ведет ни одна ссылка с других web-страниц в WWW (т.н. «invisible web»);

• web-страница, закрыта владельцем сайга для индексирования (т.н. «hidden web»);

• web-страница находится на сайте с очень низким рейтингом в поисковых системах (т.н. «deep web»);

• web-страница находится «внутри» локальной сети, отграниченной от Internet прокси-сервером и закрытой брандмауэром (т.н. «dark web»).

Считается, что к скрытому web относится большая часть всех документов, хранящихся на web-серверах (по некоторым оценкам - только 10...20% содержимого web содержимого через поисковые системы). На web-страницы, не связанные гиперссылками с другими web-страницами, можно попасть только зная их точный адрес (URL).