- •Хайретдинов м.С. Cетевые информационные технологии
- •5.3. Электронная почта. 120
- •5.4. Группы новостей 144
- •Глава 6 Основные программы поиска ресурсов сети Интернет 158
- •Глава7. Глобальные поисковые системы 182
- •Глава 8. Перспективные технологии сети Интернет 206
- •8.4. Технология «Web 2.0» 228
- •Введение
- •1.1 Модель osi
- •Глава 1. Открытые системы Понятие «открытая система»
- •1.2. Уровни модели osi Физический уровень
- •Сетевой уровень
- •Транспортный уровень
- •Сеансовый уровень
- •Представительный уровень
- •Прикладной уровень
- •Сетезависимые и сетенезависимые уровни
- •1.3. Модульность и стандартизация
- •1.4. Источники стандартов
- •1.5. Стандартные стеки коммуникационных протоколов
- •Стек osi
- •Необходимый минимум.
- •Глава 2. Internet-организация, структура, методы
- •2.1. Сети коммутации пакетов
- •2.2. Протокол Internet (ip)
- •2.3. Tcp, udp и другие
- •2.4 Принцип «клиент-сервер».
- •2.5 Системы сетевых адресов
- •2.5.1 Региональная система имён
- •2.5.2 Структура региональной системы имён
- •2.5.3 Поиск адреса по доменному имени
- •2.5.5. Система адресов х.400
- •2.6 Маршрутизация
- •2.6.1 Протокол rip
- •2.6.2 Протокол ospf
- •Глава 3. Локальные и глобальные сети
- •3.1. Особенности локальных, глобальных и городских сетей
- •3.2. Отличия локальных сетей от глобальных
- •3.3. Тенденция к сближению локальных и глобальных сетей
- •3.4. Сети отделов, кампусов и корпораций
- •Сети отделов
- •Сети кампусов
- •Корпоративные сети
- •3.5. Требования, предъявляемые к современным вычислительным сетям
- •3.5.1 Производительность
- •3.5.2 Надежность и безопасность
- •3.5.3 Расширяемость и масштабируемость
- •3.5.4 Прозрачность
- •3.5.5 Поддержка разных видов трафика
- •3.5.6. Управляемость
- •3.5.7. Совместимость
- •Глава 4. Виды доступа в Internet
- •4.1 Непосредственный доступ
- •4.3 Доступ "по вызову" (Dial-up Access)
- •4.4 Доступ uucp
- •4.5 Доступ через другие сети
- •Глава 5 Наиболее распространённые возможности Internet Введение
- •5.1. Удалённый доступ (telnet)
- •Простой протокол telnet
- •Командный режим программы telnet
- •Нестандартные telnet-серверы
- •Telnet и нестандартные порты
- •Необходимый минимум
- •Безопасность и предоставление доступа
- •Удаленный вход в систему
- •5.2. Протокол передачи файлов (ftp) Введение
- •5.2.1. Модели работы ftp.
- •Алгоритм работы при соединении двух ftp-серверов, ни один из которых не расположен на локальном хосте пользователя.
- •Представление данных
- •1. Тип файла.
- •2. Управление форматом.
- •3. Структура.
- •4. Режим передачи. (Указывает на то, как файл передается по соединению данных)
- •5.2.2 Команды ftp
- •5.2.3 Ftp отклики
- •5.2.4. Управление соединением
- •Пример ftp
- •Утилита ftp.
- •5.2.5. Спам - трафик, или тонкости работы протокола ftp
- •5.2.6. Некоторые проблемы ftp
- •Необходимый минимум
- •Список источников:
- •Работа с меню
- •5.2.7. Работа с системой ftp
- •Поиск файлов
- •Поиск ключей
- •Применение указателей (индексов)
- •Применение команды grep
- •Движение по каталогам
- •Смена каталога
- •Форматы файлов
- •Ascii-файлы, или текстовые файлы
- •Бинарные Файлы
- •Выбор типа передачи
- •Если вы не уверены ...
- •Получение Файла
- •Права в другой системе
- •Упакованные файлы
- •Проблемы общего характера
- •Пересылка группы файлов
- •Анонимный протокол ftp
- •Архивы интерпретатора команд shell
- •Замечания относительно различий в системах
- •5.2.8. Протоколы tftp и sftp.
- •Выход из ftp
- •Необходимый минимум
- •5.3. Электронная почта. Введение
- •5.3.1. Системы почтовой рассылки.
- •5.3.2. Почтовые протоколы. Введение
- •Протокол smtp Модель протокола
- •Электронная почта
- •Команды smtp
- •Команды простого протокола передачи почты (smtp)
- •Последовательность команд smtp
- •Конверты, заголовки и тело
- •Описание протокола pop3
- •Режим autorization
- •Пример pop3 сессии
- •Литература
- •5.3.3. Мime: многоцелевые расширения электронной почты для Internet
- •Pine: Реализация mime
- •5.3.4. Что делать, когда электронная почта возвращается
- •Неизвестные компьютеры
- •Неизвестные получатели
- •Почту нельзя доставить
- •Неудачи при доставке почты нескольким адресатам
- •Списки рассылки и отражатели почты
- •Отмена подписки
- •Ведущие и этикет списков
- •5.3.5. Поиск файлов с помощью электронной почты
- •Серверы Internet-muna
- •Запросы в формате listserv
- •Команды поиска файлов утилиты listserv
- •Команды поиска файлов утилиты majordomo
- •Команды поиска файлов утилиты almanac
- •Прикладной шлюз ftPmail
- •Группы новостей
- •Тематика UseNet
- •Как получать информацию из групп новостей
- •WinVn — графическая программа чтения новостей
- •Просмотр материалов телеконференций
- •Составление ответов
- •Подготовка нового сообщения
- •Сохранение сообщений на диске
- •Декодирование сообщений
- •Как правильно завершить сеанс работы с WinVn
- •Просмотр новостей программой trn.
- •Глава 6 Основные программы поиска ресурсов сети Интернет Введение
- •6.1. Поиск в internet с помощью системы gopher
- •Каким клиентом Gopher воспользоваться?
- •Работа с Gopher сервисной компании
- •Запуск из оболочки unix
- •Работа через telnet
- •6.1.1.Работа с системой Veronica
- •Необходимый минимум
- •6.2. Глобальная система world wide web
- •Введение
- •6.2.1. Гипертекстовые системы.
- •Взаимодействие паутины и баз данных.
- •Простейшая homepage
- •6.3. Обзор языка html Введение
- •Направления в развитии языка
- •Базовые понятия языка html
- •Взаимодействие html-страницы с web сервером
- •Список литературы
- •6.4. Протоколы передачи гипертекста http Протокол http
- •История развития протокола
- •Структура протокола
- •Стартовые строки
- •Код ответа
- •Заголовки
- •Пример. Запрос/ответ по http
- •Методы обеспечения безопасности передаваемых данных
- •Процедура установления соединения по tls
- •Процедура hadshake в деталях
- •Глава7. Глобальные поисковые системы
- •7.1.Общие принципы работы поисковых систем
- •Внутренние факторы, влияющие на ранжирование документов в поисковых системах
- •Внешние факторы, влияющие на ранжирование документов в поисковых системах
- •7.2. Качество поиска. Понятие Page Rank
- •Что такое PageRank или что надо знать о pr.
- •ТИц (Тематический Индекс Цитирования)
- •Краткое резюме
- •7. 3. Обзор основных глобальных поисковых систем Internet Введение
- •7.3.1.Поисковая система Rambler
- •Нынешняя позиция Rambler в российском Интернет и на рынке интернет-рекламы
- •7.3.2 "Апорт"
- •7.3.3. Поисковая система Yandex.
- •Проверяйте орфографию
- •Используйте синонимы
- •Ищите больше, чем по одному слову
- •Не пишите большими буквами
- •Найти похожие документы
- •Попробуйте использовать язык запросов
- •Искать без морфологии
- •Поиск картинок и фотографий
- •7.3.4. Поисковая система Googlе История
- •7.3.5. Поисковая система tela
- •Зарубежные поисковики для русскоязычного пользователя
- •7.3.6. Поисковая система AltaVista
- •7.3.7. Поисковый каталог Yahoo
- •7.4. Интеллектуальные поисковые системы: принцип организации, сравнительный анализ. Введение
- •Поиск с обратной связью на естественном языке
- •Интерактивный генератор диалогов
- •Начинается с ввода пользовательского запроса, который порождает либо обмен сообщениями на естественном языке, либо направление интерпретированного запроса поисковому агенту
- •Адаптивный поисковый агент
- •Основные выводы
- •Заключение
- •Список литературы
- •Глава 8. Перспективные технологии сети Интернет
- •8.1.Гигабитные испытательные модели
- •8.2. Примеры служб обмена данными
- •Сети х.25
- •Ретрансляция кадров
- •8.3.Широкополосные isdn и atm
- •Эталонная модель b-isdn atm
- •Протокол атм
- •Категории услуг протокола атм и управление трафиком
- •Перспективы atm
- •Сравнение предоставляемых услуг
- •Стандартизация сетей
- •8.3.1. Who's Who в мире телекоммуникаций
- •Передача трафика ip через сети atm
- •Сосуществование atm с традиционными технологиями локальных сетей
- •Использование технологии atm
- •Вопросы
- •8.4. Технология «Web 2.0» Введение
- •Причины появления web 2.0
- •Что такое web 2.0
- •8.4.1. Основные принципы Веба 2.0 Веб как платформа
- •8.4.2. Использование коллективного разума
- •Блоги и мудрость масс
- •Архитектура взаимодействия
- •Конец цикла разработки по
- •Упрощенные модели программирования
- •Софт работает поверх устройств
- •Богатые пользовательские интерфейсы
- •Что должны уметь компании в Вебе 2.0
- •Подходы к проектированию Веба 2.0
- •Примеры сайтов Web 2.0
- •Пример работы в Web 2.0- википедия (http://ru.Wikipedia.Org/wiki/)
- •В контакте (http://vkontakte.Ru/)
- •Заключение
- •Список литературы.
- •Глоссарий
- •Список литературы
- •Темы ргр по дисциплине «Сетевые информационные технологии»
- •Примеры экзаменационных билетов
Внутренние факторы, влияющие на ранжирование документов в поисковых системах
По утверждению специалистов технических отделов поисковых систем, в настоящее время алгоритма выдачи результатов поиска по поисковому запросу учитывают около сотни факторов и критериев.
Наряду с общепринятым понятием, что к внутренним факторам ранжирования относится текст, бытует и другая точка зрения. На наш взгляд более полная, а значит правильная. Кроме текстовых критериев, к внутренним факторам относят код в целом (служебные теги, структура кода и т. д.).
Что касается текста страницы… Поисковые системы оценивают его по двум основным критериям – расположение фраз на странице и частота встречаемости фраз в документе. Касаемо первого критерия, можно утверждать следующее. Чтобы сделать страницу более релевантной поисковому запросу (или нескольким запросам), необходимо располагать фразы, соответствующие поисковым запросам как можно выше по тексту документа. Так же не утратил свое значение критерий вхождения релевантных запросу фраз в текст заголовков (внутри тегов <h1>-<h6>), выделений в тексте (внутри тегов <b>, <br> и др.) и некоторые другие моменты.
Относительно частоты употребления слов в документе сказано немало. Существуют рекомендации об использовании ключевого слова на странице в пределах 3-7%. Однако точные цифры, естественно, неизвестны. Считается, что страница со слишком часто встречающимся словом запроса может быть сочтена спамом, и ее позиция при этом в результатах поиска автоматически понижается. Это утверждение довольно спорно. Ведь если на странице всего 3 слова и запрос содержит эти же 3, то плотность составит 100%, однако такие страницы прекрасно находятся в поиске. Гораздо более вероятно, что существуют некие пороговые значения, после достижения, которых дальнейшее увеличение частоты не влияет на релевантность документа.
Не следует так же забывать, что поисковики накладывают ограничения на индексируемый объем документа. Для разных поисковиков этот критерий варьирует в пределах 100-200 килобайтов.
Внешние факторы, влияющие на ранжирование документов в поисковых системах
Начать разговор о внешних факторов ранжирования стоит с разделения этих факторов на 2 группы:
1. Факторы ссылочного ранжирования.
2. Показатель авторитетности страницы.
Факторы ссылочного ранжирования.
Суммарная точка зрения на эти факторы утверждает, что к факторам ссылочного ранжирования относят такие факторы, как:
- релевантность текста ссылок поисковому запросу;
- релевантность сайтов, на страницах которых проставлены исходящие ссылки;
- популярность ссылок в тематическом сообществе;
- исходящие ссылки со страницы.
Исходя из этого утверждения, можно сделать вывод:
Для того, чтобы повысить значение факторов ссылочного ранжирования, необходимо обмениваться ссылками с сайтами с высокой ссылочной популярностью (PR, тИЦ). Причем текст ссылки на страницу будет учитываться в том случае, если он соответствует поисковому запросу. Остановимся на количественной оценке качества поисковой системы.
7.2. Качество поиска. Понятие Page Rank
Google – это единственная в своем роде компания, которая сосредотачивает свои усилия на разработке "идеального поискового сервера", который, по мнению одного из основателей Лэрри Пэйджа, представляет собой что-то, "что точно понимает, что Вы имеете в виду, и дает Вам именно то, что Вы хотите". С этой целью Google постоянно стремился вводить новшества и отказывался принимать ограничения существующих моделей. В результате Google разработал собственную инфраструктуру оценки и создал революционную систему PageRank, которая изменила метод ведения поиска.
С самого начала разработчики Google поняли, что для обеспечения самых быстрых и точных результатов требуется новая конфигурация серверов. Тогда как большинство поисковых серверов работали на основе нескольких крупных серверов, производительность которых часто снижалась при пиковых нагрузках, Google использовал соединенные ПК для быстрого поиска ответа на каждый запрос. Это нововведение привело к сокращению времени отклика и затрат, а также к повышению масштабируемости. Эту идею затем переняли другие, а Google продолжал совершенствовать технологию серверной части системы клиент-сервер, чтобы сделать ее еще более эффективной.
Программное обеспечение, которое лежит в основе технологии поиска Google, производит серии одновременных расчетов, которые занимают лишь доли секунды. Традиционные поисковые серверы в большой мере исходят из того, насколько часто слово появляется на веб-странице. Google использует PageRank для изучения всей структуры ссылок Интернета и определения, какие страницы являются наиболее важными. Затем выполняется анализ сопоставления гипертекста для определения, какие страницы являются релевантными для данного поиска. Сочетание показателей общей значимости и релевантности для конкретного запроса позволяет Google размещать на первых местах наиболее релевантные и надежные результаты.
Технология PageRank. PageRank выполняет объективную оценку значимости веб-страниц путем расчета уравнения с более 500 переменными и 2 миллиардами терминов. Вместо подсчета прямых ссылок PageRank интерпретирует ссылку страницы А на страницу В как голос страницы А в пользу страницы В. Затем PageRank оценивает значимость страницы по числу полученных голосов. PageRank также учитывает значимость каждой отдавшей голос страницы, так как голоса некоторых страниц имеют больший вес и, тем самым, повышают ценность страницы, на которую они ссылаются. Такие важные страницы получают более высокую оценку PageRank и отображаются на первых местах результатов поиска. Технология Google использует коллективный интеллект Интернета для определения значимости страницы. Человек не принимает участия в обработке результатов, именно поэтому пользователи стали доверять поисковой системе Google, которая предоставляет объективную информацию, не искаженную платой за позицию в результатах поиска.
Анализ сопоставления гипертекста. Поисковый сервер Google также анализирует содержание страниц. Однако вместо простого сканирования текста на странице (которым могут манипулировать издатели сайта с помощью метатегов) выполняется анализ полного содержания страницы и таких факторов, как шрифты, подразделы и точное местоположение каждого слова. Google также анализирует содержание соседних веб-страниц, чтобы обеспечить максимальную релевантность результатов поиска по запросу пользователя.
Инновации Google не ограничиваются стационарными ПК. Чтобы донести точные и быстрые результаты до пользователей, использующих для доступа к Интернету портативные устройства, Google также первым создал технологию поиска для беспроводных устройств для моментального преобразования HTML в оптимизированные форматы для режимов WAP, i-mode, J-SKY и EZWeb. В настоящее время Google предоставляет свою беспроводную технологию многочисленным ведущим компаниям на рынке, среди которых AT&T Wireless, Sprint PCS, Nextel, Palm, Handspring и Vodafone
