Методы автоматической фильтрации

 

Программы автоматической фильтрации используют статистический анализ содержания письма для принятия решения, является ли оно спамом. Наибольшего успеха удалось достичь с помощью алгоритмов, основанных на теореме Байеса. Для работы этих методов требуется «обучение» фильтров, т. е. нужно использовать рассортированные вручную письма для выявления статистических особенностей нормальных писем и спама.

Метод очень хорошо работает при сортировке сообщений, в которых рекламная информация представлена в виде простого текста или HTML. После обучения на достаточно большой выборке, удаётся отсечь до 95—97 % спама. Однако спамеры нашли способ для обхода таких фильтров. Для этого в письмо помещается произвольный текст и реклама в виде присоединённого к письму изображения. Наличие случайного текста обманывает фильтр и не даёт возможности его обучить. Хотя существует возможность воспользоваться программами распознавания текста, чтобы извлечь рекламное сообщение из изображения и обработать его байесовским фильтром, существующие сейчас фильтры этого, как правило, не делают. К тому же, такое решение потребует дополнительных вычислительных мощностей.

Для обучения фильтров многие сервисы в Паутине используют кнопку «пожаловаться на спам». Сведения о том, какие сообщения пользователи считают спамом, используются как для фильтрации этих сообщений, так и для обучения фильтров в дальнейшем.

Программы, работающие на компьютере клиента, также получают от клиента обратную связь о том, какие сообщения, по его мнению, являются спамом.

Неавтоматическая фильтрация

 

Многие программы и почтовые сервисы в Паутине позволяют пользователю задавать собственные фильтры. Такие фильтры могут состоять из слов или, реже, регулярных выражений, в зависимости от наличия или отсутствия которых сообщение попадает или не попадает в мусорный ящик. Однако такая фильтрация трудоёмкая и негибкая, кроме того, требует от пользователя известной степени знакомства с компьютерами. С другой стороны, она позволяет эффективно отсеять часть спама, и пользователь точно знает, какие сообщения будут отсеяны и почему.

Черные списки

 

В черные списки заносятся IP-адреса компьютеров, о которых известно, что с них ведется рассылка спама. Также широко используются списки компьютеров, которые можно использовать для рассылки — «открытые релеи» и «открытые прокси», а также — списки «диалапов» — клиентских адресов, на которых не может быть почтовых серверов. Можно использовать локальный список или список, поддерживаемый кем-то еще. Благодаря простоте реализации, широкое распространение получили черные списки, запрос к которым осуществляется через службу DNS. Они получили название DNSBL (DNS Black List). В настоящее время этот метод не очень эффективен. Спамеры находят новые компьютеры для своих целей быстрее, чем их успевают заносить в черные списки. Кроме того, несколько компьютеров, отправляющих спам, могут скомпрометировать весь почтовый домен или подсеть, и тысячи законопослушных пользователей на неопределённое время будут лишены возможности отправлять почту серверам, использующим такой чёрный список.

Кроме этого, часто встречаются списки, создатели которых проповедуют довольно радикальные теории (например, приравнивая вирусные сообщения к злонамеренному спаму и т. п.). Также нередко безответственное и неправильное использование черных списков администраторами ресурсов, приводящих к блокированию большого числа ни в чем не повинных пользователей.