МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

«ВОРОНЕЖСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ»

(ФГБОУ ВПО «ВГТУ»)

Факультет информационных технологий и компьютерной безопасности

Кафедра автоматизированных и вычислительных систем

Специальность «Вычислительные машины, комплексы, системы и сети»

КУРСОВОЙ ПРОЕКТ

по дисциплине «Сети ЭВМ и телекоммуникаций»

Тема работы «Поисковые системы»

Пояснительная записка

Разработал А.В Горшков, Н.А. Грошев

Подпись, дата Инициалы, фамилия

Руководитель О.Я Кравец

Подпись, дата Инициалы, фамилия

Нормоконтроль провел О.Я Кравец

Подпись, дата Инициалы, фамилия

Защищена _______________ Оценка _______________

Дата

Воронеж 2012

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

«ВОРОНЕЖСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ»

(ФГБОУ ВПО «ВГТУ»)

Кафедра «Автоматизированные и вычислительные системы»

ЗАДАНИЕ

на курсовой проект

по дисциплине «Сети ЭВМ и телекоммуникаций»

Тема «Поисковые системы»

Студенты группы ВМ081

Горшков Алексей Вячеславович ,

Грошев Николай Андреевич.

Объем работы: Изучение и анализ поисковых систем.

Сроки выполнения этапов: анализ задачи, обзор литературы – до ____2012, анализ результатов до _____2012, оформление расчетно-пояснительной записки – до _____2012.

Срок защиты курсового проекта______________________________________

Руководитель _________________________________________

Подпись, дата

Задание принял студент _________________________________________

Подпись, дата

Задание принял студент _________________________________________

Подпись, дата

РЕФЕРАТ

Пояснительная записка 39 с, 3 рисунка, 12 источников.

Ключевые слова: ПОИСКОВЫЕ СИСТЕМЫ, ПОИСК, ИНТЕРНЕТ, КЛЮЧЕВЫЕ СЛОВА SEO-ОПТИМИЗАЦИЯ.

Объект исследования или разработки - поисковые системы.

Цель работы : Изучение и анализ поисковых систем.

Метод исследования и аппаратура – исследование литературы, интернет-ресурсов.

СОДЕРЖАНИЕ

1 ВВЕДЕНИЕ 7

1.1 Поисковая система 7

1.2 История развития поисковых систем 8

2 Информационный поиск 9

2.1 Информационный поиск как процесс 9

2.2 Виды поиска 9

2.2.1 Полнотекстовый поиск 9

2.2.2 Поиск по метаданным  10

2.2.3 Поиск изображений  10

2.3 Методы поиска 10

2.3.1 Адресный поиск 10

2.3.2 Семантический поиск 10

2.3.3 Документальный поиск 11

2.3.4 Фактографический поиск 11

2.4 Информационный поиск как наука 11

2.5 Запрос и объект запроса 13

2.6 Задачи информационного поиска 13

2.7 Оценки эффективности 14

2.7.1 Точность (precision) 14

2.7.2 Полнота (recall) 15

2.7.3 Выпадение (fall-out) 15

2.7.4 F-мера (F-measure, мера Ван-Ризбергена) 15

2.8 Статистика запросов 17

2.8.1 Область применения 17

2.8.2 Особенности 18

2.9 Сниппет, алгоритм обратных индексов, индексация страниц, особенности работы поисковиков 20

2.10 Основные принципы работы поисковых систем 20

2.11 Алгоритмы работы поисковых систем — прямой поиск и алгоритм обратных (инвертированных) индексов 21

2.11.1 Алгоритм прямого поиска 21

2.11.2 Алгоритм обратных (инвертированных) индексов. 21

2.12 Задержка индексации Яндексом сайтов в не-русскоязычных доменных зонах 22

3 Принципы работы механизмов поиска 23

3.1 Поисковые средства 23

3.1.1 Агенты 23

3.1.2 Пауки 23

3.1.3 Кроулеры 23

3.1.4 Роботы 24

3.2 Критерии поиска. 25

4 Сравнительный обзор поисковых систем 27

4.1 Gopher 27

4.2 WAIS 28

4.3 WWW 29

4.4 AltaVista 29

4.5 OpenText 30

4.6 Infoseek 30

4.7 Наиболее популярные русскоязычные справочно-поисковые системы в интернет 31

4.7.1 Rambler 31

4.7.2 Yandex 31

4.7.3 Aport 32

4.8 Наиболее популярные зарубежные поисковики для русскоязычного пользователя 33

4.8.1 Googlе 33

4.8.2 Yahoo 33

5 ВЫВОДЫ И РЕКОМЕНДАЦИИ ПО ИСПОЛЬЗОВАНИЮ ПОИСКОВЫХ СИСТЕМ. 35

5.1 Рекомендации для эффективного использования поисковой системы 35

5.1.1 Оптимизация сайта под поисковые системы, индексация сайта. 35

5.1.2 Рекомендации для эффективного поиска информации 37

5.2 Переспективы развития поисковых систем 39

6 СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 42

1. Введение

   1. Поисковая система

Поиско́вая систе́ма — программно-аппаратный комплекс с веб-интерфейсом, предоставляющий возможность поиска информации в Интернете. Под поисковой системой обычно подразумевается сайт, на котором размещён интерфейс (фронт-энд) системы. Программной частью поисковой системы является поисковая машина (поисковый движок) — комплекс программ, обеспечивающий функциональность поисковой системы и обычно являющийся коммерческой тайной компании-разработчика поисковой системы.

Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на FTP-серверах, товары в интернет-магазинах, а также информацию в группах новостей Usenet.

В целом, принцип работы поисковой системы выглядит примерно так поисковые машины, индексируют информацию, размещённую в виде html-документов и, собирают её в базы данных, располагая в определённом порядке. При вводе запроса в строке поисковой системы автоматически формируется обращение к необходимой базе данных. Система, на основании этого поискового запроса, выдаёт наиболее релевантные ответы (релевантность – мера соответствия результатов поиска, задаче, поставленной в запросе), ранжируя сайты в определённом порядке, т.е. присваивая им позиции в поисковой выдаче в зависимости от их значимости.

Поисковые системы постоянно совершенствуют свои алгоритмы поиска. Для более релевантной выдачи поисковики учитывают поведенческие факторы пользователей, своего рода искусственный интеллект, который построен на более сложных вычислительных методах информационного поиска.

Улучшение поиска — это одна из приоритетных задач современного Интернета

По данным компании Net Applications, в ноябре 2011 года использование поисковых систем распределялось следующим образом:

Google — 83,87 %;

Yahoo! — 6,20 %;

Baidu — 4,22 %;

Bing — 3,69 %;

Yandex — 1,7 %;

Ask — 0,57 %;

AOL — 0,36 %.

2. История развития поисковых систем

Одним из первых инструментов поиска в интернете (до Всемирной паутины) был Archie.

Первой поисковой системой для Всемирной паутины был «Wandex», уже не существующий индекс, который создавал «World Wide Web Wanderer» — бот, разработанный Мэтью Грэем (англ. Matthew Gray) из Массачусетского технологического института в 1993. Также в 1993 году появилась поисковая система «Aliweb», работающая до сих пор. Первой полнотекстовой (т. н. «crawler-based», то есть индексирующей ресурсы при помощи робота) поисковой системой стала «WebCrawler», запущенная в 1994. В отличие от своих предшественников, она позволяла пользователям искать по любым ключевым словам на любой веб-странице — с тех пор это стало стандартом во всех основных поисковых системах. Кроме того, это был первый поисковик, о котором было известно в широких кругах. В 1994 был запущен «Lycos», разработанный в университете Карнеги Мелона.

Вскоре появилось множество других конкурирующих поисковых машин, таких как «Excite», «Infoseek», «Inktomi», «Northern Light» и «AltaVista». В некотором смысле они конкурировали с популярными интернет-каталогами, такими, как «Yahoo!». Позже каталоги соединились или добавили к себе поисковые машины, чтобы увеличить функциональность. В 1996 году русскоязычным пользователям интернета стало доступно морфологическое расширение к поисковой машине Altavista и оригинальные российские поисковые машины «Рамблер» и «Апорт». 23 сентября 1997 была открыта поисковая машина Яндекс.

В последнее время завоёвывает всё большую популярность практика применения методов кластерного анализа и поиска по метаданным. Из международных машин такого плана наибольшую известность получила «Clusty» компании Vivísimo. В 2005 году на российских просторах при поддержке МГУ запущен поисковик «Нигма», поддерживающий автоматическую кластеризацию. В 2006 году открылась российская метамашина Quintura, предлагающая визуальную кластеризацию в виде облака тегов. «Нигма» тоже экспериментировала^[2] с визуальной кластеризацией.

Помимо поисковых машин для Всемирной паутины, существовали и поисковики для других протоколов, такие как Archie для поиска по анонимным FTP-серверам и «Veronica» для поиска в Gopher.