Определение синтаксиса лексем.

Определение автоматных грамматик, описывающих синтаксис лексем, будем выполнять в следующем порядке:

• Разбить литеры, с помощью которых записываются программы на входном языке, на классы. В один класс помещаются литеры, которые одинаковым образом используются для образования лексем. Примерами классов литер являются: латинская буква, двоичная цифра, десятичная цифра, символ «=».

• Составить автоматные грамматики, описывающие синтаксис лексем, при условии, что терминальными символами грамматики являются классы литер, а начальным символом грамматики – символ S.

Разобьем литеры на классы:

• Латинская буква

• Цифра

• Однолитерные разделители

• Двухлитерные и однолитерные разделителитили

И составим автоматные грамматики:

1. Идентификатор id

ε₁ – любой символ, кроме букв и цифр.

S буква id

id буква id

id цифра id

S ε₁

2. Целое без знака number

ε₂ – любой символ, кроме цифр.

S цифра number

number цифра number

number ε₂

3. Вещественное vesh

ε₂ – любой символ, кроме цифр.

S цифра vesh

vesh .T

vesh цифра

vesh E+T

vesh E-T

T цифра T

T ε₂

4. Однолитерные разделители 1–Liter {+, -, *, /, >, <, =, !, {, }, [, ], :, ;, , ., ?, ~ }

ε – любой символ.

S 1–Liter L

L ε₃

5. Двулитерные разделители 2–Liter = {++, --, +=, -=, *=, /=, >=, <=, ==, != }

ε₃ – любой символ.

1. S + N

N +

N ε₃

2. S - N

N -

N ε₃

3. S + N

N =

N ε₃

4. S - N

N =

N ε₃

5. S * N

N =

N ε₃

6. S / N

N =

N ε₃

7. S > N

N =

N ε₃

8. S < N

N =

N ε₃

9. S = N

N =

N ε₃

10. S ! N

N =

N ε₃

Построение диаграммы лексического анализатора.

Построение диаграммы лексического анализатора выполним в следующей последовательности:

• Для каждой лексемы строится граф конечного автомата, в котором начальное состояние отмечено символом S, а конечное состояние, соответствующее концу разбора лексемы, - символом F.

• Начальное и конечное состояния отдельных конечных автоматов объединяются. Если построенный таким образом конечный автомат является недетерминированным, его преобразуют в детерминированный конечный автомат. Граф полученного детерминированного конечного автомата называется диаграммой лексического анализатора.

1. Идентификатор

2. Целое без знака

3. В ещественное

4. Однолитерные разделители

5. Двулитерные разделители

1. ++

2. --

3. +=

4. -=

5. *=

6. /=

7. >=

8. <=

9. ==

10. !=

Общая схема:

3.4. Тестирование лексического анализатора.

Тестирование лексического анализатора заключается в моделировании его работы. Результатом этапа лексического анализа являются заполненные в ручную таблицы и выходной поток токенов для контрольного примера, представляющего собой программу на входном языке.