4.2. Описание лексем в языке расширенных регулярных выражений

Цепочки символов, образующие лексемы языков программирования, почти всегда оказываются регулярными множествами и представимы в виде соответствующих регулярных выражений . Для некоторых из лексем представление их регулярными выражениями оказывается слишком громоздким. Для более компактного описания лексем обычно используют расширенные регулярные выражения .

Определение. Расширенные регулярные выражения и множества, которые они обозначают определяются рекурсивно следующим образом :

1. Если R - регулярное выражение, то оно является расширенным и будет обозначать множество R .

2. Если R - расширенное регулярное выражение , то:

а) R⁺ - расширенное регулярное выражение , обозначающее множество RR* (R⁺ = RR* ) ;

б) R^*n - расширенное регулярное выражение , обозначающее множество {e} È R È RR È ... È Rⁿ ( или R^*n = );

в) R⁺ⁿ - расширенное регулярное выражение , обозначающее множество R È RR È ... È Rⁿ ( или R⁺ⁿ = ).

3. Если R₁ и R₂ - расширенные регулярные выражения , то R₁ - R₂ и R₁ÇR₂ - расширенные регулярные выражения, обозначающие следующие множества: R₁ - R₂ = { x / xÎR₁ и xÏR₂ }; R₁ÇR₂ = { x / xÎR₁ и xÎR₂ }.

4. Ничто другое не является расширенным регулярным выражением. ¨

Если требуется описать регулярные выражения , построенные из других регулярных выражений , то можно ввести регулярные определения , представляющие собой имена этих выражений . В этом случае алфавит регулярных выражений - å расширяется до

å È <множество имён регулярных выражений > . Этим достигается ещё большая компактность.

Пример 4.1. Пусть требуется описать идентификаторы и константы языка Фортран при помощи регулярных определений: 1. Описание идентификаторов: <буква> = A | B | ... | Z <цифра> = 0 | 1 | ... | 9 < идентификатор> = <буква> ( <буква> / <цифра>)^*5

2. Описание констант: <цифра> = 0 | 1 | ... | 9 <знак> = + | - | e <целое> = <знак> <цифра>⁺ <десятичное> = <знак> ( <цифра>^*_. <цифра>⁺ | <цифра>⁺_. <цифра>^* ) <константа> = <целое> | <десятичное> | <десятичное> E <целое>

4.3. Построение недетерминированного конечного автомата по расширенному регулярному выражению

Рассмотрим теперь метод получения КА, распознающих лексемы языка, заданные регулярными выражениями. Такой метод изложен в [ 1 ] в форме соответствующего алгоритма. Назовём этот алгоритм А1 и приведём его описание .

Вход А1 : расширенное регулярное выражение R в алфавите å , не содержащее символа Æ и операций « Ç » « - ».

Выход А1 : недетерминированный КА (НКА) - М, для которого L(М)=R.

Описание А1: Получим автомат М₀ такой, что L(М₀)= R ₀ , выполняя рекурсивно следующие действия:

1. Если R₀=е, тогда М₀=( {q} å , Æ, q, {q} ), где q - новое состояние;

2. Если R ₀ =а, где aÎS , тогда М₀= ( {q₁,q₂}, S,d₀ , q₁, {q₂} ), где d₀ (q₁,a) = {q₂}, в остальных случаях d₀ не определена; q₁ и q₂- новые состояния;

3. Если R₀=R₁| R₂, тогда применяем весь алгоритм к R₁ и R₂ и получаем соответственно М₁= ( Q ₁,S, d₁, q₁, F₁ ) и

М₂=( Q₂ , S , d₂, q₂ , F₂ ) , где Q₁ и Q₂ не пересекаются, а затем построим М₀=(Q₁ÈQ₂ È{q₀},S , d ₀ ,q₀ ,F₀), где

а) q₀-новый символ;

б) d₀ включает d₁ и d₂, т.е. d₀ (q₀ ,a)= d₁ (q₁ ,a) Èd₂ (q₂ ,a);

в) F₀=F₁ÈF₂ , если q₁Ï F₁ и q₂ ÏF₂ , в противном случае F₀ =F₁ÈF₂ È{ q₀ }.

4. Если R₀=R₁ R₂ , то применим весь алгоритм к R₁ и R₂ и получим М₁ и М₂ , как в п.3 .Построим М₀=(Q₁ È Q₂ , å, d₀ , q₁, F₀ ) , где

а) d₀ включает d₂ ; d₀ (q ,a)= d₁ (q ,a) для всех q Î Q и a Î å , если q Ï F₁, и d₀ (q ,a)= d₁ (q ,a) È d₂ (q₂ ,a) в противном случае;

б) F₀=F₂ , если q₂ Ï F₂ , и F₀=F₁ ÈF₂ в противном случае.

5. Если R₀=R₁^* , то применим весь алгоритм к R₁ и получим М₁=( Q₁ ,å, d₁ , q₁ , F₁).

Построим М₀=( Q₁ È {q₀}, å, d₀ , q₀ , F₁ È{q₀}), где q₀ - новый символ и d₀ определяется соотношениями:

а) d₀ (q₀ ,a)=d₁ (q₁ , a);

б) если q Ï F₁ , то d₀ (q ,a)=d₁ (q ,a);

в) если q Î F₁ , то d₀ (q ,a)=d₁ (q,a) È d₁ (q₁ , a).

6. Если R₀=R₁⁺ , то применим весь алгоритм к R₁ и получим М₁, как в п.5. Построим М₀=( Q₁, å, d₀ , q₁ ,F₁), где d₀ (q,a)=d₁(q,a), если q Ï F₁ , и d₀ (q ,a)=d₁ (q ,a) Èd₁ (q₁ ,a), если q Î F₁.

7. Если R₀=R₁^*n, то применим весь алгоритм к R₁ и получим М₁ , как в п.5. Построим М₀ =(Q₁ ´{1,..., n}, å, d₀ , [q₁ ,1], F₀), где

а) если q Ï F₁ или i=n, то d₀ ([q ,i], a )={[p , i] |d₁ (q ,a) содержит p};

б) если q Î F₁ и i<n, то d₀ ( [ q , i ] , a)={ [p , i] | d₁( q , a) содержит p}U{ [p ,i +1] | d₁(q₁ ,a) содержит p }

в) F₀={ [q , i ] | q Î F₁ , 1 £ i £ n } U { [q₁ ,1] }.

8. Если R₀=R₁⁺ⁿ , выполним то же , что и в (7) , но пункт (7,в) заменим на F₀={ [q , i ] | q Î F₁ , 1£ i £ n }.

Пример 4.2. Пусть R = (0 | 1) , преобразуем его в НКА :

1. R можно представить как R = (R₁ | R₂) , где R₁ = 0 , R₂ .

2. Применяя п. 2 для R₁ и R₂ , получаем :

3. Применяя п. 3 к R = (R₁ | R₂), объединяем состояния автоматов М₁ , М₂ и получаем результирующий автомат М

Пример 4.3. Пусть R = (0 | 1)^* , преобразуем его в НКА :

1. Используя результаты , полученные в примере 4.2, и применяя п.5 для R , получим автомат М:

2. Согласно п. 5 , объединяем q₁ и q₂ и получаем

Пример 4.4. Пусть R = (a | b) (a | b |0 | 1)^* , выполним его преобразование в НКА :

1. Представим r как R = R₁ R₂ ,

где R₁ = (R₃ | R₄) , R₂ = ( )^* , R₃ = a , R₄ = b ;

= (R₅ | R₆ | R₇ | R₈) , R₅ = a , R₆ = b , R₇ = 0 , R₈ = 1 ;

2. Автоматы , соответствующие выражениям R₁ и R₂ легко получить , используя результаты примеров 4.2 , 4.3. Для R₁ получим

для R₂

3. Применяем п. 4 к выражению R = R₁ R₂ и получаем результирующий автомат М:

Пример 4.5. Пусть R = (00 | 11)^* , преобразуем его в НКА :

1. Представим R следующим образом :

R = R1* , R1 = R2 | R3

R2 = R4 R5 , R3 = R6 R7 ,

R4 = 0 , R5 = 0, R6 = 1 , R7 = 1

2. Для R₂ и R₃ применяем пп. 2 и 4 ( можно использовать результаты предыдущих примеров ) и получаем автоматы М₂ и М₃ :

3. Применяя п. 3 к R₁ = R₂ | R₃ , получаем из М₂ и М₃ результирующий автомат М₁ :

4. Применяя п. 5 к R = R₁^* , получаем из М₁ автомат М

Для того, чтобы лучше усвоить и закрепить навыки преобразований, полученные в этих примерах, и использовать их в дальнейшем, приведём соответствия между некоторыми простыми регулярными выражениями и КА:

Рассмотрим теперь практический случай .

Пример 4.6. Построим НКА для регулярного определения, описывающего вещественные константы языка Фортран 77.

Построим вначале КА для отдельных регулярных выражений, входящих в регулярное определение , а затем получим результирующий КА .

1. <цифра>⁺ =( 0 | 1 | ... | 9) ⁺

2. <знак> = + | - | e

3. <целое> = <знак> <цифра>⁺

4. <десятичная дробь> = <знак>. <цифра>⁺ |<целое>.<цифра>^* Выражениям, расположенным слева и справа от знака | , соответствуют автоматы М₄ и М₅.:

Результирующий автомат М₆ для выражения <десятичная дробь> имеет вид

5. Регулярное определение для вещественой константы:

<вещественная константа>=<десятичная дробь> |

<десятичная дробь> E<целое>|<целое>Е<целое>

Результирующий автомат М имеет вид