Области применения нечеткого поиска
Интерес к практическому использованию нечеткого поиска возник практически одновременно с появлением первых массовых информационных систем. Сегодня эта технология применяется в самых разных сферах.
Поисковые системы общего назначения (Google, Яндекс, Bing) - самая очевидная область. Именно здесь пользователь чаще всего вводит запросы с ошибками, и именно здесь функция «Возможно, вы имели в виду» стала стандартом.
Интернет-магазины также активно используют нечеткий поиск. Покупатель, желающий найти «смартфон», но по ошибке набравший «сматрфон», не должен уйти с сайта без результата. Чем лучше магазин понимает опечатки, тем выше его конверсия.
Корпоративные базы данных и CRM-системы применяют нечеткий поиск для работы с клиентской информацией. Сотрудник банка или страховой компании ищет клиента по фамилии. Фамилия может быть введена неточно или по-разному записана в разных документах. Нечеткий поиск помогает найти нужного человека даже в таких условиях.
Медицинские информационные системы используют эту технологию для поиска пациентов, лекарственных препаратов и диагнозов. Ошибка в медицинской карте может иметь серьезные последствия, и способность системы находить похожие записи снижает риски.
Системы проверки орфографии (например, в текстовых редакторах Microsoft Word или Google Docs) также основаны на принципах нечеткого поиска. Программа не просто сверяет слово со словарем, а ищет наиболее похожие варианты.
Таким образом, нечеткий поиск из теоретической задачи, интересной лишь узкому кругу специалистов, превратился в повседневный инструмент, который используют миллионы людей, часто даже не подозревая об этом.
2. Алгоритмы оценки схожести строк
Основой любого нечеткого поиска является математический аппарат, позволяющий количественно измерить, насколько одна строка похожа на другую. За прошедшие десятилетия было разработано несколько десятков различных алгоритмов, каждый из которых имеет свои сильные и слабые стороны. В данной главе рассматриваются наиболее известные и широко применяемые методы: расстояние Левенштейна, его модификация Дамерау-Левенштейна, фонетические алгоритмы (Soundex, Metaphone) и метод n-грамм. Особое внимание уделяется тому, как каждый из этих алгоритмов работает с разными типами ошибок и где его применение наиболее эффективно.
2.1. Расстояние Левенштейна: первый математический метод
В 1965 году советский математик Владимир Иосифович Левенштейн, работавший в области теории кодирования, предложил способ количественного измерения различий между двумя строками. Этот способ вошел в науку как расстояние Левенштейна и до сих пор остается одним из самых популярных алгоритмов нечеткого поиска.
Основная идея Левенштейна была проста. Он предложил считать, что одну строку можно превратить в другую с помощью трех элементарных операций:
вставка одного символа;
удаление одного символа;
замена одного символа на другой.
Каждой такой операции приписывается стоимость (обычно 1). Расстояние Левенштейна — это минимальное количество операций, необходимых для превращения строки A в строку B.
Пример. Возьмем строку «КОТ» и строку «КИТ». Чтобы превратить «КОТ» в «КИТ», достаточно заменить букву «О» на «И». Это одна операция замены. Следовательно, расстояние Левенштейна между «КОТ» и «КИТ» равно 1.
Другой пример. Превратим «СТОЛ» в «СТОЛБ». Для этого нужно добавить букву «Б» в конец слова. Это одна операция вставки. Расстояние снова равно 1.
Более сложный случай. Превратим «МАРК» в «МАК». Здесь нужно удалить букву «Р». Расстояние равно 1.
Если же взять слова «ДОМ» и «КВАРТИРА», то количество необходимых операций будет большим (замены, вставки, удаления), и расстояние Левенштейна окажется значительным.
Математическая запись.
Алгоритм вычисления расстояния Левенштейна основывается на построении матрицы, где строки соответствуют символам первой строки, а столбцы — символам второй. Значение в каждой ячейке матрицы вычисляется по правилу:
Где cost
= 0, если символы совпадают, и cost
=1, если различаются. Начальные значения
.
На практике это означает, что компьютер, сравнивая два слова, последовательно заполняет таблицу и в правой нижней ячейке получает искомое расстояние.
Рис. 2. – Пример работы алгоритма
Благодаря своей простоте и универсальности расстояние Левенштейна было реализовано в тысячах систем — от поисковых движков до систем проверки орфографии. Однако у него есть один недостаток: он не учитывает перестановку соседних символов, которая является очень частой опечаткой.