1.1 Четкий и нечеткий поиск: базовые различия

В основе любой информационной системы лежит задача поиска данных, соответствующих запросу пользователя. Долгое время господствовал подход, при котором система искала точное совпадение введенной строки с теми данными, которые хранились в ее базе. Такой поиск получил название четкого (точного). Его главный принцип прост: если слово или фраза в точности совпадают с тем, что есть в базе - результат выдается, если допущена хотя бы одна ошибка - результат отсутствует.

Однако человек в повседневной жизни редко пользуется таким жестким подходом. Когда мы ищем знакомого в списке контактов, мы можем ввести фамилию с ошибкой или вспомнить её неточно. Когда мы набираем запрос в поисковике, мы часто торопимся или не проверяем раскладку клавиатуры. Именно для решения этой проблемы был разработан нечеткий поиск (fuzzy search) - технология, позволяющая находить данные даже при наличии небольших искажений в запросе.

Нечеткий поиск оперирует понятием меры схожести. Система оценивает, насколько строка запроса похожа на строки в базе данных, и выдает те результаты, степень похожести которых превышает заданный порог. Компьютер перестал требовать идеальной точности и научился «понимать», что пользователь мог ошибиться.

Таблица 1. Сравнение четкого и нечеткого поиска

Параметр сравнения	Четкий поиск	Нечеткий поиск
Принцип работы	Требует полного совпадения строки запроса с данными в базе	Допускает частичное совпадение, оценивает степень похожести
Опечатки и ошибки	Любая ошибка приводит к отсутствию результата	Корректно обрабатывает замены, пропуски, вставки, перестановки символов
Ранжирование результатов	Все найденные записи равнозначны (либо совпадают, либо нет)	Результаты сортируются по степени схожести — наиболее похожие показываются первыми
Скорость работы (при малых базах)	Высокая (простое сравнение)	Ниже (требуется вычисление расстояния или сравнение n-грамм)
Параметр сравнения	Четкий поиск	Нечеткий поиск
Скорость работы (при больших базах)	Требует индексации, но при наличии индекса работает быстро	Без специальных индексов работает очень медленно (полный перебор)
Требования к пользователю	Пользователь должен вводить данные абсолютно точно	Пользователь может допускать небольшие ошибки без потери результата
Тип выдаваемых результатов	Только точные совпадения	Точные совпадения + близкие по написанию/звучанию
Пример применения	Поиск по точному номеру паспорта, артикулу товара, штрих-коду	Поиск по фамилии с опечаткой, поиск товара с ошибкой в названии

1.2 Типичные ошибки ввода данных

Чтобы понять, какие именно искажения должен уметь обрабатывать нечеткий поиск, необходимо классифицировать типичные ошибки, которые допускают пользователи при вводе текста. Практика эксплуатации информационных систем выделяет несколько основных видов неточностей.

Замена символа - одна из самых распространенных ошибок. Например, пользователь ищет «молоко», а вводит «малоко», заменяя «о» на «а». Такая ошибка возникает из-за невнимательности или плохого знания орфографии.

Пропуск символа - случай, когда пользователь случайно не нажимает на клавишу. Вместо «магазин» получается «магаин». Особенно часто такие ошибки встречаются при быстрой печати.

Вставка лишнего символа - противоположная ситуация. Вместо «парк» пользователь вводит «ппарк», случайно нажав клавишу дважды.

Перестановка двух соседних символов - классическая опечатка. Слово «картон» превращается в «катрон». Человеческий мозг часто «обгоняет» пальцы, и порядок букв нарушается.

Ошибка раскладки клавиатуры - одна из самых коварных. Пользователь забыл переключить язык с английского на русский и ввел «ghbdtn» вместо «привет». Внешне такие запросы выглядят как бессмысленный набор символов, но для нечеткого поиска это тоже решаемая задача.

Все перечисленные типы ошибок должны корректно обрабатываться современной информационной системой. Более того, хороший алгоритм нечеткого поиска способен справляться с комбинацией сразу нескольких ошибок в одном слове.