Практические аспекты разработки веб-ресурсов. Учебное пособие

Технология Web Mining тесно связана с другими направлениями Data Mining. Для анализа текстовой информации применяют методы Text Mining. Для анализа изображений, видео используется Multimedia. Web Content Mining — аналог интеллектуального метода анализа данных для реляционных баз данных.

Технология Web Mining является новым перспективным направлением анализа ресурсов, получения знаний о посетителях сайта, описания социальных сетей и сообществ, а также для автоматического поиска и структуризации ин­формации из Internet.

Процесс автоматического изучения характеристик доступа пользователей к серверам может включать изучение наиболее популярных путей посещения, нахождение ассоциативных правил, кластеризацию и т.д. Для решения этих за­дач можно использовать накопленные Internet технические документы. Органи­зации собирают огромные объемы информации, автоматически создаваемой серверами и оседающей в журналах. Источниками информации являются также ссылочные журналы, в которых содержится информация для каждой страницы, на которую есть ссылка, журналы браузеров и регистрационные или анкетные данные пользователей, собранные CGI-сценариями.

Основные потребители систем категории usage mining — организации, торгующие или предоставляющие услуги в Сети. Главными задачами для них являются персонификация наполнения страниц и оптимизация сайта с точки зрения упрощения навигации [8]. Также подобные системы представляют инте­рес для провайдеров Internet и сетевых администраторов. Основными областя­ми применения в этом случае являются оптимизации работы сети, минимиза­ция трафика и оптимизация предоставляемых услуг (например, интеллектуаль­ное кэширование данных).

Большинство традиционных систем мониторинга Сети предоставляют возможность фильтрации и получения статистической информации о пользова­телях. Подобный инструментарий помогает определять количество обращений к разным файлам и серверам, адреса отдельных пользователей, при этом такие системы рассчитаны на малый или ограниченный поток данных и редко предо­ставляют возможности анализа связи между обращениями к файлам и логикой их расположения. Рассмотрим инструменты, дающие аналитику более полную информацию.

Существует возможность собирать статистические данные на сервере, на клиенте, на промежуточных участках сети.

Заманчиво собирать информацию о посещениях на уровне клиента. Один из способов — использование Java-программ, подгружаемых через страницы интересующего нас сервера; однако функциональность подобных приложений ограничена, кроме того, сам пользователь с помощью настроек своего браузера способен исключить или ограничить возможность подобного сбора информа­ции. Вторым способом могло бы стать внесение изменений в программы для просмотра Сети. Но следует понимать, что вносить в журнал придется все сра­зу, поскольку если в будущем понадобится собирать данные по какому-либо новому параметру, то внести соответствующие изменения в браузеры всех кли­ентов будет почти невозможно. Также при таком подходе возникают две нераз­решимые проблемы: во-первых, как правило, никто не хочет, чтобы его шаги протоколировались, а затем собранные данные куда-либо отсылались, а во­вторых, мало кто станет обновлять свое программное обеспечение из-за нужд третьей стороны, осуществляющей сбор данных. Таким образом, сбор инфор­мации на стороне клиента более любых других методов затрагивает проблему сохранения неприкосновенности личной жизни, и пока такие методики мало применимы. Тем не менее, на данный момент существует несколько систем, использующих подобный подход [6].

Хорошим примером подобной системы служит Web Traffic Warehouse [11]. Создатели системы обнаружили, что расположение сборщика данных вли­яет на качество получаемых результатов. Вследствие асинхронного характера передачи данных по Сети входящий и исходящий трафики могут проходить по разным физическим каналам. Просматривая его в некоторой точке сети, можно увидеть только одну из сторон диалога. Чтобы этого избежать, система собира­ет данные непосредственно на уровне приложений. В будущем планируется ис­пользовать большее количество датчиков в сети. Тогда, получая, скажем, дан­ные как от приложения, так и от клиента, можно получать дополнительные па­раметры (такие, как потеря и задержка пакетов). Кроме того, много коррелированных источников могут использовать для выявления точек потерь или задержек информации.

Следует заметить, что независимо от места сбора информации, в полном потоке данных содержатся пароли, частная корреспонденция, тексты докумен­тов. Даже IP-адреса источника или получателя в некоторых случаях могут быть сочтены частной информацией, особенно с учетом того, что по адресу можно определить компьютер, с которого была произведена операция. Можно исклю­чать из обработки подобные данные, но это приводит к потерям ценной инфор­мации [11]. Разработчики должны выбирать подходящий компромисс. Напри­мер, желательно скрывать IP-адреса; при этом есть потребность определять вхождения на один сайт с разных компьютеров, для чего необходимо осу­ществлять проекции от истинных к зашифрованным адресам.