2.2. Общие методы синтаксического анализа

Здесь будем рассматривать алгоритмы синтаксического анализа, применимые ко всему классу контекстно-свободных языков. Не все эти алгоритмы можно применять к любым КС-грамматикам, но каждый КС-язык имеет хотя бы одну грамматику, к которой все они применимы.

Вначале мы обсудим алгоритмы с полным возвратом. Эти алгоритмы детерминировано моделируют недетерминированные анализаторы. Емкость памяти, которую требуют эти возвратные методы, линейно зависит от длины анализируемой цепочки, но время может выражаться экспонентой.

Алгоритмы, рассматриваемые во втором разделе, носят табличный характер; это алгоритм Кока-Янгера-Касами и алгоритм Эрли. Они затрачивают емкость и время . Алгоритм Эрли работает для любой КС-грамматики и для него требуется время , если грамматика однозначная.

Эти алгоритмы рассматриваются главным образом для того, чтобы пояснить внутренние проблемы, связанные с построением анализаторов. С самого начала следует вполне определенно заявить, что в большинстве практических применений надо избегать возвратных алгоритмов разбора. Даже табличные методы (а они асимптотически гораздо более быстрые, чем алгоритмы с возвратами) неприемлемы, если для интересующего нас языка существует грамматика, к которой применимы более эффективные алгоритмы (рассматриваемые далее). Можно почти не сомневаться в том, что фактически для всех языков программирования существуют легко анализируемые грамматики, к которым эти алгоритмы применимы.

Методы данного раздела могут оказаться полезными в таких приложениях, когда исходные грамматики не обладают теми специальными свойствами, которых требуют алгоритмы, рассматриваемые ниже. Например, если требуются неоднозначные грамматики и интерес представляют все разборы цепочки, как это бывает при работе с естественными языками, можно обратиться к некоторым методам данного раздела.

2.2.1. Синтаксический анализ с возвратами

Предположим, что у нас есть недетерминированный МП-преобразователь н входная цепочка . Допустим, что все последовательности тактов, которые может сделать для входной цепочки , ограничены по длине. Тогда общее число различных последовательностей тактов МП-преобразователя тоже конечно, хотя, возможно, и экспоненциально зависит от длины цепочки . Грубый, зато прямой способ детерминированного моделирования MП-преобразователя состоит в том, чтобы каким-то образом линейно упорядочить последовательности тактов и затем в предписанном порядке промоделировать каждую последовательность.

Если нас интересуют все выходные цепочки для данной входной цепочки , то мы должны промоделировать все последовательности тактов. Если можно обойтись одной выходной цепочкой, то, обнаружив первую последовательность тактов, оканчивающуюся заключительной конфигурацией, можно прекратить моделирование . Разумеется, если ни одна последовательность не оканчивается заключительной конфигурацией, придется перепробовать все.

Синтаксический анализ с возвратами можно представлять себе в следующем виде. Последовательности тактов располагают обычно в таком порядке, чтобы к моделированию очередной последовательности можно было перейти, возвратившись по последним сделанным тактам (т. е. прослеживая их) к конфигурации, в которой возможен еще не испытанный альтернативный такт. Этот такт и надо затем сделать. На практике для ускорения процесса возврата пользуются локальными критериями, позволяющими, не моделируя всей последовательности, определить, может ли она привести к заключительной конфигурации.

В этом разделе мы рассмотрим, как можно детерминировано моделировать недетерминированный МП-преобразователь, используя возвраты. Затем исследуем два специальных случая. Первый—нисходящий анализ с возвратами, при котором для входной цепочки строится левый разбор. Во втором случае восходящий анализ с возвратами дает правый разбор.