14. Программное обеспечение www: по­исковые машины, программы анализа статистики посещений

Поисковые машины – это полностью автоматизированные системы, сканирующие сеть Internet. Ее сетевой агент (робот, «паук», «червяк») обходит все заданные ему серверы и собирает у себя индекс, то есть информацию о том, что и на какой странице было найдено. Сетевые агенты – это, по сути, программы, которые исследуют структуру гипертекста в Internet. Переходя от одного документа к другому, роботы передают собранную информацию поисковой системе, которая заносит ее в свою базу данных.

Основными функциями поисковых систем являются следующие:

• сбор статистики. Первые роботы были созданы именно для этого и определяли число страниц на сервере, типы присутствующих на нем файлов, их соотношения, средний размер страницы и т. д.;

• обслуживание. Имеются в виду такие функции, как сбор информации о неисправных ссылках и обновленных документах, проверка ссылок сайтов, авторы которые самостоятельно подали регистрационную заявку, и др.;

• поиск новых ресурсов. Необязательно регистрировать сайт собственноручно – это может сделать робот, поскольку он постоянно ищет новые ресурсы. Однако может уйти много времени.

Полнотекстовые поисковые машины индексируют все слова, найденные на Web-странице, за исключением стоп-слов (обычно малоинформативных и имеющих незначительную частоту употребления, например, союзов и предлогов).

Каждый день поисковые системы «прочесывают» Web-сайты и сохраняют текстовую информацию в своих огромных каталогах, чтобы завсегдатаи Internet могли по ключевым словам получить список Web-страниц. Как правило, в результате находятся сотни соответствующих запросу ресурсов, но отображаются они на экране «порциями» по 10–25 записей. В первую очередь выведены наиболее подходящие, согласно оценке поисковой системы, страницы.

Достоинства и недостатки поисковых машин определяются различными характеристиками. Принципиальным является то, насколько полно система обследует документы: все ли слова заносятся в индексные файлы или же только термины из названий, заголовков, первых нескольких строк или страниц текста, и т. д. Важна также периодичность обновления данных и критерии оценки понятий при определении степени их соответствия запросу. Не последнюю роль играют простота и удобство интерфейса, возможность использовать булевы операторы (операторы математической логики) и операторы расстояния между словами в тексте документа, а также дополнительные сервисные функции, например, поиск новостей, музыкальных файлов, товаров, и т. д.

В обслуживание, осуществляемое информационно-поисковой системой, входит предварительная обработка текста, в том числе составление индекса, по которому затем происходит поиск. Такая поисковая система может быть организована как база данных с текстовыми полями. Другой вариант организации – работа с внешними текстами. В этом случае тексты сохраняют первоначальный вид, то есть остаются файлами в файловой системе, страницами на сервере или полями какой-то другой базы данных, а индекс снабжается лишь ссылками на соответствующие источники.Работа с поисковыми средствами требует от пользователя определенного опыта и навыков.

Полнотекстовый поиск

Когда говорят о полнотекстовом поиске, имеют в виду поиск по всем текстовым полям документа. Под текстом подразумевается набор слов (выделенная по некоторым правилам последовательность букв), чисел и меток (комбинации букв и цифр или букв разных алфавитов). Текстовый документ, как правило, имеет внутреннюю структуру – деление на параграфы, отступ для заголовка, подписи, Анонсирование в поисковых системах таблицы. Текстовые редакторы позволяют делать эту структуру достаточно сложной: разбивать текст на колонки, выравнивать его, создавать списки и т. д.

Учет морфологии

Системы, разработанные с учетом морфологии языка, способны дифференцировать слова по формам и выполнять анализ с использованием всего спектра словоизменений.

По способу образования словоформ русский язык – флективный, то есть в нем существуют флексии (от лат. flexio – сгибание), или окончания, выражающие грамматическое значение при словоизменении (склонении, спряжении). Русский язык относится также к классу синтетических языков: в слове объединено и лексическое, и грамматическое значение.

Релевантность

Релевантность – это мера соответствия получаемого результата желаемому, или, в терминах поисковых систем, соответствие ответа запросу. Релевантность можно представить как способ сортировки найденных по запросу документов. Каждая поисковая машина имеет свой алгоритм сортировки результатов поиска. Чем больше документ соответствует запросу, тем выше он должен находиться в списке отклика. Для достижения хорошего результата обычно учитывают следующие параметры: количество найденных слов, «контрастность» слова (относительную частоту его использования в данном документе), расстояние между словами, положение слова в документе и в его зонах.

Статистика

Пути переходов пользователей

Большинство сайтов могут разрабатывать и анализироваться по критерию того, насколько пользователю будет удобно переходить с одной страницы сайта на другую. К примеру, если Ваш сайт служит инструментом В2В (Business to Business), то он должен функционировать по вполне определенной схеме

В данном случае оптимизируется либо главная страница, либо страница, разводящая по услугам и конкретным продуктам. Последняя в этих цепочках страница обычно является результатом того, что хотел получить пользователь от вас, а точнее от Вашего сайта (подписка на рассылку, приобретение товара, получение дополнительной информации). Анализируя данную цепочку посредством статистических данных от счетчиков, можно определить, например, насколько эффективно работает ваш сайт.

Страницы, с которых пользователь уходит

Имеется в виду страницы, с которых пользователь наиболее часто покидает сайт, кликая по определенным ссылками, баннерам. Данные страницы могут дать вам следующую информацию:

• технические проблемы: кликая по ссылке, пользователь переходит на несуществующую страницу или на страницу с некорректно работающей формой;

• непродуманная внутри ссылочная организация (пользователь, не дойдя до страницы заказа, кликает по ссылке и попадает на другой Интернет-ресурс);

• непрофессиональный дизайн (пользователю очень трудно разобраться в организации сайта – он предпочитает уйти с сайта);

Страницы, найденные поисковыми системами

Наиболее часто запрашиваемая страница

Анализируя так называемые “Самые популярные страницы” (которые наиболее часто посещаются пользователями) с помощью log-файлов или статистики сайта, можно привлечь пользователей на менее популярные страницы.

Обновление страниц

Статистика по наиболее часто обновляемым страницам может свидетельствовать о том, что у данной страницы сайта могут быть технические проблемы, которые не позволяют ей нормально загружаться.

Ссылающиеся страницы

Статистика по ссылающимся страницам может показать, на каких сайтах, блогах, форумах люди ставят на ваш сайт ссылки. Данная информация может оказаться полезной для определения и организации рекламных кампаний, как on-line, так и off-line.

Поиск рефералов

Для руководителя любого Интернет-проекта важно знать, сколько посетителей приходит из поисковых машин, благодаря каким поисковикам они посещают сайт, происходит это благодаря общедоступному поиску или рекламным кампаниям, проводимым за деньги (контекстная реклама).

Семантическое ядро

Статистика по фразам, по которым пользователи находят ваш сайт, позволит определиться с тем, по каким запросам следует оптимизировать страницы сайта с целью максимального привлечения целевых пользователей на сайт.

PPC кампании

Статистика по PCC кампаниям позволит руководителю Интернет-проекта знать о том, за что он платит деньги, проводя работу по контекстной рекламе, на какие запросы ему необходимо тратить больше денег, чтобы привлечь на сайт больше посетителей.

Статистика позиций

Регулярное отслеживание позиций сайта, вплоть до ежедневного анализа, может помочь довольно оперативно определить, были ли применены какие-либо санкции к сайту со стороны поисковых систем (банн или пессимизация). Обычно это выражается в падении позиций сайта или выпадении его индекса поисковика.

Просмотреть статистику посещений сайта можно с помощью счетчика. Примеры счетчиков посещения сайтов:

• Нit.ua

• bigmir.net

• liveinternet.ru

• top100.rambler.ru

• сервисы Яндекс и Google (Google-Analytics)