Применение поисковых систем

Поисковые системы обычно состоят из трех компонент: агент (паук или кроулер), который перемещается по сети и собирает информацию; база данных, которая содержит всю информацию, собираемую пауками; поисковый механизм, используемый как интерфейс взаимодействия с базой данных.

Средства поиска типа агентов, пауков, кроулеров и роботов – специальные программы, занимающиеся поиском страниц в Сети, извлекают гипертекстовые ссылки на этих страницах и автоматически индексируют информацию, которую они находят для построения базы данных. Каждый имеет собственный набор правил, определяющих, как собирать документы (следуют за каждой ссылкой на каждой найденной странице; игнорируют ссылки, ведущие к графическим и звуковым файлам и т.д.).

Агенты – самые "интеллектуальные" из поисковых средств, они могут выполнять даже транзакции от Вашего имени, могут искать сайты специфической тематики и возвращать списки сайтов, отсортированных по их посещаемости и т.д.

Пауки сообщают о содержании найденного документа, индексируют его и извлекают итоговую информацию. Также просматривают заголовки, некоторые ссылки и посылают проиндексированную информацию базе данных поискового механизма.

Кроулеры просматривают заголовки и возвращают только первую ссылку.

Роботы могут быть запрограммированы так, чтобы переходить по ссылкам различной глубины вложенности, выполнять индексацию и даже проверять ссылки в документе

База данных отыскивает предмет запроса, согласно информации, указанной в заполненной форме, и выводит соответствующие документы, подготовленные базой данных. Чтобы определить порядок, в котором список документов будет показан, база данных применяет алгоритм ранжирования. Например, время (как долго страница находится в базе поискового сервера) или индекс цитируемости (как много ссылок на данную страницу ведет с других страниц, зарегистрированных в базе поисковика).

В идеале процесс поиска должен выглядеть так –– Сначала делается общий запрос. На запрос получается ответ с результатами поиска, в котором нужно выделить описания более-менее подходящих ссылок. Затем необходимо добавить к запросу общие ключевые слова, которые есть в описании нужных ссылок, и повторить процесс.

Корректировка запроса осуществляется изменением состава и вариантов ключевых слов в виде простой текстовой строки, либо с использованием специального языка операторов, поддерживаемого поисковой машиной.

Оператор строгого соответствия – это кавычки – "". Сочетание слов, которые вы укажете в кавычках, будет учитываться системой как единое целое.

Оператор обязательного наличия слова – "+" и обязательного отсутствия слова – "-".

Применение брандмауэров

Брандмауэр представляет собой барьер между двумя сетями – в большинстве случаев между внутренней сетью, часто называемой защищенной (trusted network), и внешней, незащищенной сетью (untrusted network), в данном случае Internet. В брандмауэре входящие и исходящие пакеты проверяются на соответствие комплексу правил, определенных администратором, а затем в зависимости от результатов проверки они либо пересылаются по назначению, либо блокируются.

В большинстве современных брандмауэров используется один или более из трех способов проверки пакетов. Во многих маршрутизаторах применяется распространенный в брандмауэрах метод, называемый фильтрацией пакетов, который основан на анализе адресов источника и приемника, а также портов входящих TCP- и UDP-пакетов; решение о пересылке или блокировании сообщений принимается на основе набора заранее определенных правил. Фильтры пакетов довольно дешевы, прозрачны для пользователей, а их влияние на пропускную способность сети пренебрежимо мало.

Более совершенный и надежный тип брандмауэра – шлюз прикладного уровня. В большинстве таких систем, используются программы-посредники (proxies) прикладного уровня, называемые агентами. Эти программы, составленные для конкретных служб Internet, таких, как HTTP, FTP и telnet, работают на сервере с двумя сетевыми соединениями, и выполняют роль сервера для клиента и роль клиента для сервера приложений.

Поскольку программы-посредники прикладного уровня служат для проверки сетевых пакетов на наличие достоверных данных, специфических для конкретной программы, они считаются в целом более надежным средством защиты, нежели фильтры пакетов. В большинстве брандмауэров – шлюзов прикладного уровня имеется функция, получившая название трансляции сетевых адресов (network address translation), которая скрывает внутренние IP-адреса от пользователей, находящихся за пределами защищенной сети.

Один из основных недостатков шлюзов прикладного уровня – снижение уровня производительности из-за повторной обработки в программе-посреднике. Второй недостаток – придется ждать от поставщика брандмауэра выпуска программы-посредника прикладного уровня для новой службы Internet, такой, как RealAudio.

Третий тип технологии брандмауэров, названный компанией Check Point Software Technologies комбинированным (stateful inspection), реализован в пакетах Firewall-1 и Firewall/Plus. Как и при использовании метода фильтрации пакетов, сначала происходит перехват пакетов на сетевом уровне, однако затем пакеты анализируются целиком, их содержимое сравнивается с известными последовательностями битов (состояниями) проверенных пакетов. Комбинированный метод, как правило, имеет немного более высокую производительность, чем у программ – посредников прикладного уровня, однако вопрос, обеспечивает ли он такую же степень безопасности или чуть менее надежен, остается открытым.