Формальные языки и грамматики

Понятие алфавита. Цепочки символов и формальные языки. Конкатенация, обращение, подстановка, итерация цепочек. Замыкание алфавита. Способы задания языков. Лексика, синтаксис и семантика языка. Особенности языков программирования. Понятие грамматики. Нетерминальный и терминальный словари грамматики, аксиома грамматики, продукции. Вывод цепочек, сентенциальная форма. Запись правил грамматик. Форма Бэкуса-Наура. Синтаксические диаграммы. Принцип рекурсии. Общая схема распознавателя. Конфигурация распознавателя. Виды распознавателей. Задача разбора

Понятие алфавита. Цепочки символов и формальные языки

В общем случае язык состоит из знаковой системы (множество допустимых последовательностей знаков), множества смыслов этой системы, соответствия между последовательностями знаков и смыслами. В общем случае знаками могут быть буквы алфавита, математические обозначения, звуки и т.д. Символ (буква) – это простой неделимый знак. Алфавит – это счетное множество допустимых символов языка. Обозначим алфавит символом A. Алфавит не обязательно должен быть конечным множеством, хотя все существующие языки строятся на основе конечных алфавитов. Цепочка символов (строка)

– это произвольная упорядоченная конечная последовательность символов алфавита. Цепочки будем обозначать греческими буквами α, β, γ и т.д. Произвольность означает, что в цепочку может входить любая допустимая последовательность символов, она не обязательно имеет смысл. Упорядоченность означает, что цепочка имеет определенный состав входящих в нее символов, их количество и порядок следования. Цепочки символов α и β равны α=β, если они имеют один и тот же состав символов, их количество и порядок следования. Количество символов в цепочке называется ее длиной и обозначается как |α|. Если α=β => |α|=|β|. Конкатенацией Θ цепочек α, β называется цепочка γ=αΘβ=αβ. => |γ|=|α|+|β|. Цепочка α является префиксом, β - суффиксом строки γ. Конкатенация не транзитивна: α,β: αβ≠βα. Конкатенация ассоциативна: γ(αβ)=(γα)β. Любую цепочку символов можно представить как конкатенацию составляющих ее частей, причем может существовать большое число вариантов такой разбивки. Цепочка ω называется подцепочкой γ, если γ=αωβ. Заменой (подстановкой) це-

почки γ=αωβ называется новая цепочка γ’=αϕβ. Пример. Обращение цепочки αR– это запись символов цепочки α в обратном порядке. αRR=α. αR=ααR-1=αR-1α. α,β: (αβ)R=βRαR. Итерация цепочки αn - это конкатенация цепочки α самой с со-

бой n раз, n Ν, n≥0. Пустая цепочка символов λ (ε) не содержит ни одного символа. α0=λ. Для пустой цепочки справедливо: |λ|=0. α: λα=αλ=α. λR=λ. n≥0: λn=λ. .α0=λ. Цепочка символов α является цепочкой над алфавитом A: α(A), если для символа x α, x A. Замыкание алфавита А – это множество всех возможных цепочек из симво-

лов алфавита А (над алфавитом А): Если А={a,b,c}, то А*={λ, a, b, c, aa, ab, ac, bb, ba, bc, cc, ca, cb, aaa, aab, aac,…}.

∞

A*= А0 А1 А2 … = UAn , где А0={λ}, A1=A. Множество непустых цепочек над алфавитом А определяется сле-

n=0

∞

дующим образом: A+= А1 А2 … = UAn . A*= A+ {λ}.

n=1

Язык L над алфавитом А: L(A) это некоторое счетное подмножество цепочек конечной длины из множества всех цепочек алфавита А: L(A) А*. Множество цепочек языка не обязательно должно быть конечным. Длина цепочки символов может быть сколь угодно большой. Все существующие языки подпадают под это определение. Всего языков над алфавитом А может быть сколь угодно много. Язык L(A) включает в себя язык L’(A): L’(A) L(A), если α L’(A): α L(A). Т.е. множество цепочек языка L’(А) является подмножеством множества цепочек языка L(A). Языки L(A) и L’(A) эквивалентны:

L’(A)=L(A), если L’(A) L(A) и L(A) L’(A). Или α L’(A): α L(A) и β L(A): β L’(A). Для эквивалентных языков множества допустимых цепочек равны. Языки L(A) и L’(A) почти эквивалентны: L’(A) L(A), если L’(A) {λ}=L(A) {λ}. Для них множества допустимых цепочек могут различаться только на пустую цепочку символов. Над языками могут выполняться все операции, допустимые для множеств. Особые случаи конкатенации с множеством, содержащим только пустую строку и с пустым множеством (это разные понятия !!!): L{λ}={λ}L=L; L = L= . Конкатенация произвольного числа цепочек формального языка L носит название замыкания Клини:

∞

L*= L0 L1 L2 … = ULn , где L0={λ}. При n≥1 справедливо Ln=LLn-1=Ln-1L. Такое замыкание означает ноль или

n=0

∞

более сцеплений языка L. Позитивное замыкание означает одно или более сцеплений языка L: L+=L1 L2 … = ULn , или

n=1

L+=LL*=L*L, L*=L+ {λ}.

Способы задания языков. Синтаксис и семантика языка.

Вобщем случае язык можно задать тремя способами:

•перечислением всех допустимых цепочек языка;

•указанием способа порождения цепочек языка (задание грамматики);

•определение метода распознавания цепочек языка.

Лексика – это совокупность слов (словарный запас) языка. Лексема (слово, лексическая единица) языка – это конструкция, которая состоит из элементов алфавита языка и не содержит в себе других конструкций. Например, для русского языка лексемами являются слова русского языка, знаки препинания и пробелы это разделители, не образующие лексем. Для алгебры лексемами являются числа, знаки операций, обозначения функций и неизвестных величин. Для ЯП – ключевые слова, идентификаторы, константы, метки, знаки операций. Синтаксис – набор правил, определяющий допустимые конструкции языка, т.е. задает набор цепочек символов, которые принадлежат языку. В виде строгого набора правил можно описать только формальные языки, для большинства ЯП набор заданных синтаксических правил нуждается в дополнительных пояснениях. Математический аппарат для изучения синтаксиса языков называется теорией формальных грамматик. Семантика –

это раздел языка, определяющий значение предложений языка, т.е. задает смысл всех допустимых цепочек языка. Как правило, не поддается формальному определению. Конкретная программа несет в себе некоторое воздействие на транслятор, т.н. прагматизм. Синтаксис, семантика и прагматизм в совокупности образуют семиотику языка. ЯП занимают промежуточное положение между формальными и естественными языками. Как и формальные языки, они имеют строгие синтаксические правила. Из естественных языков ЯП позаимствовали ряд слов, выражающих ключевые слова. Для задания ЯП необходимо:

•определить множество допустимых символов языка;

•определить множество правильных программ языка;

•задать смысл для каждой правильной программы.

Первый вопрос решается легко, при задании алфавита языка. Для ЯП это как правило набор символов, который можно ввести с клавиатуры. Второй вопрос решается в теории формальных языков только частично. Для ЯП существуют правила, определяющие синтаксис, но их недостаточно, чтобы строго определить все допустимые предложения ЯП. Семантические ограничения накладываются неформально, например, необходимость предварительного описания переменных, требование соответствия типов данных и т.д. Третий вопрос в принципе в теории формальных языков не решается.

Формальное определение грамматики.

Язык L над алфавитом А – это подмножество цепочек А*. Это очень общее определение , не позволяющее выделять среди множества языков отдельные их классы. Соотношения Туэ – это правила, согласно которым любой цепочке α=γξδ из множества А* ставится в соответствие цепочка β=γηδ из того же множества. Эти соотношения приводят к ассоциативным исчислениям, но и они достаточно общи. Ограничения на них в виде введения односторонних правил привели к созданию формального математического аппарата – формальным грамматикам. Теория формальных грамматик занимается описанием, распознаванием и переработкой языков. Они позволяют ответить на ряд прикладных вопросов – могут ли языки из некоторого класса Z быть легко распознанными, принадлежит ли данный язык классу Z, существуют ли алгоритмы, определяющие принадлежность цепочки α языку L и т.д. Существует два основных способа описания отдельных классов языков: с помощью порождающей процедуры и с помощью распознающей процедуры. Первая из них задается с помощью конечного множества правил, называемых грамматикой. Распознающая процедура задается с помощью абстрактного распознающего устройства – автомата. При построении транслятора используются оба эти способа – грамматика как средство описания синтаксиса ЯП, а автомат как модель алгоритма распознавания предложений языка, который и кладется в основу транслятора. Т.е. вначале строится грамматика, а по ней строится алгоритм распознавания.

Грамматику можно описать, используя формальное описание грамматики, построенное на основе системы правил. Правило (продукция) – упорядоченная пара цепочек символов (α, β). Как правило их записывают в виде α->β - α порождает β. Грамматика ЯП содержит правила 2 типов – поддающиеся формальному описанию, такие как определяющие синтаксические конструкции языка, и неформально описываемые, определяющие семантические ограничения.

Язык, заданный грамматикой G, обозначается как L(G). Грамматики G и G’ называются эквивалентными, если определяют один и тот же язык: L(G) = L(G’). Грамматики почти эквивалентны, если заданные им языки различаются не более чем на пустую цепочку символов: L(G) {λ}=L(G’) {λ}.

Формально грамматика определяется как четверка G(T, N, P, S), где T - конечное непустое множество терминальных символов языка (терминальный или основной словарь грамматики G), N – конечное непустое множество нетерминальных символов (нетерминальный или вспомогательный словарь), P – конечное множество правил (продукций) грамматики вида α- >β, где α (N T)+, β (N T)*, S – начальный символ (аксиома) грамматики, S N, обозначает главный нетерминал, цель грамматики G. Алфавиты терминальных и нетерминальных символов грамматики не пересекаются: N∩T= . Т.е. символ не может быть терминальным и нетерминальным одновременно. Начальный символ – всегда нетерминальный. Множество N T называют полным алфавитом (объединенным словарем) грамматики G. Множество терминальных символов включает в себя символы, входящие в алфавит языка, порождаемого грамматикой. Нетерминальные символы определяют слова, понятия, конструкции языка. Правила грамматики обычно строятся так, чтобы в левой части правил был хотя бы один нетерминальный символ. Элементы нетерминального словаря будем обозначать прописными латинским буквами А,В,С,… терминальные символы – строчными – a,b,c…. Произвольные цепочки – греческими α,β,γ,…

Цепочка ω’ непосредственно выводима из цепочки ω в грамматике G (ω ω’), если ω=ξ1ϕξ2 ω’=ξ1ψξ2 и (ϕ→ψ) P. Цепочка ω’ выводима из цепочки ω в грамматике G (ω *ω’), если цепочка последовательностей ω=ω0,ω1,…,ωn=ω’: ωi+1 ωi, i=0,1,…,n-1, либо ω=ω’. Последовательность цепочек ω=ω0,ω1,…,ωn называется выводом цепочки ωn из цепочки ω0 в грамматике G. Здесь ωn может быть выведена и за ноль шагов (ω=ω’). Для уточнения, что вывод цепочки осуществляется не менее чем за один шаг, обозначается ω +ω’. Отношение * называется транзитивным замыканием. Каждая строка, которую можно вывести из аксиомы – сентенциальная форма. Сентенциальная форма, состоящая только из терминалов, представляет собой строку языка.

Язык L, порождаемый грамматикой G – это множество всех цепочек терминальных символов, выводимых из аксиомы грамматики: L(G)={χ | S *χ, χ T*}

Пример. G=<N,T,P,S>, N={S,D,C}, T={>,<,=,!}, P={C→D=, C→S, D→!, D→=, D→S, S→<, S→>}, S={C}.

Грамматике не присуща детерминированность – т.е. конкретный порядок подстановки правил (алгоритм) является произвольным, не определенным строго. Это обеспечивает компактность. Алгоритм можно зафиксировать различными способами, поэтому формальная грамматика потенциально задает множество алгоритмов порождения языка.

Форма Бэкуса-Наура

Форма БН явилась исторически первой для записи в сжатом виде привил грамматики. В ней точно так же используются основной и вспомогательный словари. В терминологии ФБН они называются соответственно как основные символы языка и металингвистические переменные. Каждая металингвистическая формула (форма) в левой части находится металингвистическая переменная, обозначающая соответствующую конструкцию, в правой части указывается один или несколько спосо-

заключительная, если УУ находится в одном из заданных заключительных состояний, входная головка находится за концом исходной цепочки.

Распознаватель допускает входную цепочку ω, если находясь в начальной конфигурации и получив на вход эту цепочку он может проделать последовательность шагов, заканчивающуюся одной из его заключительных конфигураций.. Язык, определяемый распознавателем – это множество всех цепочек, которые допускает распознаватель.

Виды распознавателей

По типу считывающего устройства разделяются на односторонние и двусторонние (может ли считывающая головка двигаться в обе стороны). Распознаватели разделяются на левосторонние и правосторонние – соответственно с какой стороны начинается чтение входной цепочки. По виду УУ распознаватели разделяются на детерминированные и недетерминированные. Для детерминированных распознавателей для каждой допустимой конфигурации, которая может возникнуть на некотором шаге, существует единственно возможная конфигурация, в которую распознаватель перейдет на следующем шаге. Для недетерминированного существует несколько допустимых конфигураций в которые распознаватель может перейти из текущей конфигурации. По виду рабочей памяти разделяются на:

-Р. без внешней памяти

-Р. с ограниченной внешней памятью

-Р. с неограниченной внешней памятью

Вслучае ограниченной памяти ее объем зависит от длины входной цепочки символов. Зависимость может быть произвольной – линейной, полиномиальной, экспоненциальной и др. Может быть указан способ организации памяти, например, стековая. Для Р. с неограниченным объемом памяти предполагается произвольный метод доступа.

Для случая преобразования одного языка в другой можно вести речь о преобразователях. Преобразователь пишет строку символов на выходную ленту. Если входная строка переводит преобразователь из начальной конфигурации в заключительную, строка на выходной ленте считается переводом входной строки.

Задача разбора.

Для ЯП важно не только уметь построить текст программы на данном языке, но и определить принадлежность входного текста к данному языку. Именно эту задачу наряду с задачей построения

эквивалентной выходной цепочки решают компиляторы. Для описания языка используется грамматика, для распознавания – распознаватель. Фактически это два независимых метода определения языков. На практике возникает задача связывания их между собой.

Разработчики компилятора имеют дело с уже описанным языком программирования, грамматика для которого известна. Таким образом задача разбора в общем виде состоит в построении распознавателя для некоторого языка на основе уже имеющейся грамматики. Заданная грамматика и распознаватель должны быть эквивалентны, т.е. определять один и тот же язык. В общем виде эта задача решается не для всех языков. Для синтаксических конструкций ЯП задача разбора решаема. И найдены формальные методы ее решения. Язык L(G) называется распознаваемым, если существует алгоритм, который за конеч-

ное число шагов позволяет определить., принадлежит ли произвольная цепочка над основным словарем грамматики α языку L(G). Если при этом число шагов алгоритма зависит от длины цепочки и может быть оценено до начала его выполнения,

язык L(G) называется легко распознаваемым.