32. Поисковая система Интернет. Принцип ра­боты, примеры.

Поисковая система - это сервис, предназначенный для нахождения информации в Ин­тернете с автоматическим занесением информации в собственную базу данных.

Современные поисковые системы имеют многоуровневую организацию, и в ос­нове своей все они состоят из пяти программных ком­понентов:

Spider (паук) — это браузероподобная про­грамма-робот, которая планомерно путешествует по Сети 24 часа в сутки и «скачивает» все попавшиеся ей на пути Web-узлы (страницы по глобальным URL-ссыл­кам).

Crawler (сборщик, или путешествующий паук) — это порождаемый Spider'ом процесс, который углуб­ляет поиск, перемещаясь по всем локальным ссылкам, найденным на странице. Собственно, его основные за­дачи — сканирование Интернет-ресурсов в поисках из­менений на страницах и определение того, куда он должен идти дальше, основываясь на найденных ссыл­ках или исходя из заранее заданного списка ад­сов;

Indexer (индексатор) — ключевая программа поис­ковой системы, которая анализирует Web-страницы, скачанные пауками, определяет их тематическую при­надлежность, актуальность, популярность у пользова­телей и т.д. Индексатор разбирает страницу на части и анализирует такие ее элементы, как заголовки страниц, ссылки, тексты, структурные элементы, стилевые эле­менты и т.д. По окончании анализа он индексирует ре­сурсы, то есть строит базы данных по ключевым сло­вам и сохраняет эти базы данных в удобном для поиска виде;

Database (база данных) — хранилище скачанных и обработанных индексатором страниц.

Gateway (шлюз) или Search engine/Resultsengine (собственно поисковая машина) принимает запросы от пользовате­лей, анализирует их и извлекает результаты поиска из базы данных. Именно эта система решает, какие стра­ницы удовлетворяют запросу пользователя, и предос­тавляет ему интерфейс для просмотра и уточнения этих результатов. Наиболее популярными поисковыми системами в настоящее являются поисковые системы GOOGLE.COM, YAHOO.COM, а также россий­ские RAMBLER.RU, YANDEX.RU, MAIL.RU и др.

Рынок поисковых систем каждый год демонстрирует ус­тойчивый рост. Самым успешным мировым поискови­ком является Google.

33.Проблема последней мили.

В настоящее время сеть Интернет может обеспечить высокоскоростную передачу данных, но доступ к ней конечных пользова­телей может быть сопряжен с техническими и экономи­ческими сложностями – возникает так называе­мая проблема «последней мили».

Доступ с необходи­мой высокой скоростью могут обеспечить только широ­кополосные технологии, основными в настоящее время являются следующие:

• беспроводные технологии (на­пример, радио Ethernet)

• цифровая абонентская линия хDSL,

• кабельное телевидение

• спутниковые техноло­гии.

хDSL является технологией, позволяющей превра­тить витую пару телефонных проводов в линию высо­коскоростной передачи данных.

Линия хDSL соединяет два модема хDSL, которые подключены к каждому концу витой пары телефонного кабеля. К технологиям хDSL относятся:

• ADSL — асимметричная цифровая абонентская линия)

• HDSL— высокоскоростная цифро­вая абонентская линия),

• VDSL — сверхвысокоскорост­ная цифровая абонентская линия) и другие.

Технологии хDSL позволяют достичь высокой скорости передачи данных. Скорость передачи данных при использовании технологий хDSL зависит от расстояния, и с увеличе­нием расстояния скорость передачи данных уменьша­ется.

Технология HDSL предусматривает организацию симметричной линии передачи данных, то есть скоро­сти передачи данных от пользователя в сеть и из сети к пользователю равны.

Технологии хDSL имеют опреде­ленные преимущества. Любой абонент, подключенный к телефонной сети общего пользования имеет медную телефонную линию, которая может быть использована для развертывания линии передачи данных.