3. Задача идентификации. Транслитерация.

Обобщенная схема ЛА

классификатор

идентификатор

транслитератор

сканер

• Сканер

  • сканирует текст и заносит его в буфер

  • выделяет комментарии

  • приводит к одному регистру

• Транслитератор – возвращает класс входного символа

• Идентификатор – выделяет слово и определяет, где оно заканчивается

• Классификатор – распознает лексему и определяет ее класс

Несмотря на то, что лексический анализатор обрабатывает входную цепочку, удобнее на его вход подавать не просто отдельные символы, а символы, сгруппированные по категориям. Поэтому, перед лексическим анализатором осуществляется дополнительная обработка, сопоставляющая с каждым символом его класс, что позволяет сканеру манипулировать единым понятием для целой группы символов, иногда достаточно большой. Устройство, осуществляющее сопоставление класса с каждым отдельным символом, называется транслитератором. Наиболее типичными классами символов являются:

• буква - класс, с которым сопоставляется множество букв, причем необязательно только одного алфавита;

• цифра - множество символов, относящихся к цифрам, чаще всего от 0 до 9;

• разделитель - пробел, перевод строки, возврат каретки перевод формата;

• игнорируемый - может встречаться во входном потоке, но игнорируется и поэтому просто отфильтровывается из него (например, невидимый код звукового сигнала и другие аналогичные коды);

• запрещенный - символы, который не относятся к алфавиту языка, но встречается во входной цепочке;

• прочие - символы, не вошедшие ни в одну из определенных категорий.

Пара, класс символа и его значение, поступают на вход сканера, который выбирает для анализа тот ее элемент, который наиболее удобен в данный момент. Например, при анализе идентификатора удобнее манипулировать понятием "буква", тогда как при анализе действительного числа можно сразу смотреть значение буквы "E" или "e", означающей начало порядка. Следует также отметить, что во всех дальнейших рассуждениях будем считать, что понятия "буква" и "цифра" являются терминалами, как полученные в транслитераторе до начала лексического анализа. В предыдущей трактовке эти понятия считались нетерминальными символами.

4. Методы лексического анализа.

Выделяются методы непрямого и прямого лексического анализа.

Непрямой лексический анализ, или лексический анализ с возвратами, заключается в последовательной проверке версий о классах лексем. Если проверка текущей версии не подтверждается, то происходит откат назад по цепочке символов и осуществляется проверка следующей версии.

Прямой лексический анализ позволяет определить значение лексемы без откатов назад по цепочке символов.

Организация непрямого лексического анализатора

Непрямой лексический анализатор состоит из отдельных автоматов, каждый из которых распознает одну заданную лексему. Все автоматы имеют одинаковую структуру и отличаются только внутренними состояниями, что связано с различием распознаваемых лексем.

Организация прямого лексического анализатора

Прямой лексический анализатор строится на основе одного детерминированного автомата, объединяющего множество автоматов, распознающих отдельные лексемы. Такой автомат на каждом шаге читает один входной символ и переходит в следующее состояние, приближающее его к распознаванию текущей лексемы или формированию ошибки. Для лексем, имеющих одинаковые подцепочки, автомат имеет общие фрагменты, реализующие единое множество состояний. Отличающиеся части реализуются своими фрагментами.

АЛГОРИТМЫ ПОИСКА

1. Бинарный поиск

Условие работы: список слов должен быть лексографически (в алфавитном порядке) упорядочен.

Для поиска слова в словаре, словарь делим пополам и среднее слово сравниваем с искомым. Если оно совпадает, то поиск окончен, если нет, то смотрим, в верхней или нижней части словаря находится это слово. Делим эту часть пополам. И снова проверяем…

Трудоёмкость: log₂N

2. Метод линейного списка

Приводим список в соответствии с частотой появления слов. Можно хранить и длину слова.

Вначале проверяем по длине слова, потом пробегаем по списку слов…

Трудоёмкость: меньше n/2

3. Хеширование

Один из самых распространенных и оптимальных методов.

Выбираем функцию хеширования F(x)=k, 0<k<m. Все зависит от того, какую функцию мы выберем.

Трудоёмкость: n/m

4. Метод индексов

Смотреть 3) при условии, что m=n

Трудоёмкость: ~время определения индекса