Графы. Модели вычислений. Структуры данных

Глава 4. РАВНОДОСТУПНАЯ АДРЕСНАЯ МАШИНА

Равнодоступная адресная машина (РАМ) – это числовая модель вычислительного устройства. Эта модель является наиболее близкой из рассмотренных к реальным вычислительным машинам и позволяет наиболее реалистично применять теоретические оценки сложности алгоритмов к реальным вычислениям.

Память машины состоит из регистров (ячеек). Каждый регистр имеет адрес и может содержать произвольное число. Регистр с номером 0 называется сумматором.

Программа – последовательность пронумерованных команд. Команда имеет вид

<код операции> <операнд>

Коды операций:

Load, Store, Add, Sub, Mult, Div, Read, Write, Jump, JgtZ, Jzero, Halt.

Операнд может быть одного из трех видов

= i, i, *i,

где i – натуральное число.

Содержимое регистра с номером i обозначим через c (i). Значение v(a) операнда a определяется в зависимости от его вида следующим образом

При оценке сложности алгоритмов используют в зависимости от обстоятельств разные веса команд. При работе с малыми числами и малым числом регистров реалистичным оказывается так называемый равномерный вес, при котором каждая команда требует единицу времени. При работе с большими числами и большим количеством регистров используется так называемый логарифмический вес команды, при котором время выполнения команды зависит как от значения операнда, так и от значения его адреса.

141

При определении веса команды используется функция L: Z →Z, выражающая длину записи числа

Основание логарифма при получении асимптотических оценок не имеет существенного значения.

Вес t(a) операнда a определяется в зависимости от его вида следующим образом

Например, команда Add *i имеет логарифмический вес

L(c(0)) + L(i) + L(c(i)) + L(c(c(i))).

Временная сложность программы определяется как сумма весов всех выполненных команд с учетом их многократного выполнения.

Емкостная сложность программы определяется как сумма по всем регистрам длин максимальных чисел, побывавших в этих регистрах.

142

Пример. Рассмотрим вычисление nn. На псевдокоде оно может выглядеть следующим образом.

Read(r1);

if r1 < 0 then write (0) else

{r2:= r1; r3:= r1−1; while r3<0 do {r2:= r2*r1; r3:= r3-1}; write (r2)}.

Этот псевдокод легко может быть представлен в виде следующей РАМ-программы.

1.Read 1

2.Load 1

3.JgtZ 6

4.Write = 0

5.Jump 22

6.Load 1

7.Store 2

8.Load 1

9.Sub =1

10.Store 3

11.Load 3

12.JgtZ = 14

13.Jump 21

14.Load 2

15.Mult 1

16.Store 2

17.Load 3

18.Sub = 1

19.Store 3

20.Jump 11

21.Write 2

22.Halt

Когда команда 15 выполняется i-й раз, сумматор содержит n i, а r2 содержит n. Эта команда выполняется (n − 1) раз.

При равномерном весовом критерии суммарное время – O(n).

При логарифмическом весовом критерии суммарное время равно

Σ(L(n i ) + L(n)), где суммирование ведется по i = 1, 2, …, n. Поскольку

(L(ni) + L(n)) ~ (i + 1) Log (n), получаем

Σ(L(ni)+L(n))= O (n2 log n).

143

Емкостная сложность программы при равномерном критерии равна O(1), при логарифмическом – O (n log n).

144

Глава 5. ФОРМАЛЬНЫЕ ЯЗЫКИ

5.1. Основные понятия и обозначения

Алфавит – конечное множество абстрактных символов, как правило, упорядочено, в так называемом алфавитном порядке.

Слово (в алфавите А) – конечная последовательность символов (алфавита А).

Длина слова – количество вхождений символов в слово. Длина слова u, обычно обозначается |u|.

Пустое слово – пустая последовательность, то есть последовательность, не содержащая ни одного символа. Пустое слово, соблюдая традиции, часто обозначают греческой буквой λ, полагая при этом, что она не является символом рассматриваемого алфавита.

Слово длины k (k > 0) можно отождествить с элементом декартова произведения (А × А × … × А), в котором k сомножителей, обозначаемого Аk. При k = 0 имеем А0, состоящее из одного пустого слова; не путать с пустым множеством, обозначаемым знаком .

Замечание. При отождествлении элемента декартова произведения со словом полагаем, что слово составлено из входящих в него символов в соответствующем порядке.

Множество всех слов в алфавите А обозначают

∞

A* = A0 A1 A2 ... = UAi.

i=0

Множество всех непустых слов в алфавите А обозначают

∞

A+ = A1 A2 ... = UAi.

i=1

Сверхслово (в алфавите А) – бесконечная последовательность символов (алфавита А).

Формальный язык (в алфавите А) – множество слов (в алфавите А). Конкатенация слов – двухместная операция над словами, заключающаяся в приписывании второго слова к первому. Результат конкате-

нации слов u и v обозначается uv.

Начальный фрагмент слова u, имеющий длину k ≤ |u|, называется

145

префиксом длины k слова u, обозначается prefk u.

Конечный фрагмент слова u, имеющий длину k ≤ |u|, называется суффиксом длины k слова u, обозначается suffk u.

Если k < |u|, то префикс и суффикс называются собственными. Заметим, что при нашем определении пустое слово λ будет и собственным префиксом и собственным суффиксом любого слова u.

Операции над формальными языками. Поскольку формальные языки являются множествами, то к ним применяются обычные теоретико-мно- жественные операции: объединение, пересечение, дополнение (до множества всех слов в рассматриваемом алфавите). Кроме перечисленных применяются специфические операции – это конкатенация двух языков и итерация языка.

Результатом конкатенации языков L1 и L2 является язык L = {uv | uL1, v L2}, обозначаемый также L1 L2. Результат конкатенации k экземпляров языка L обозначим через Lk.

Результатом итерации языка L является язык L* = {u |( k ≥ 0) u Lk}. Заметим, что L0 = {λ} и поэтому λ L* при любом L.

Замечание. При работе с формальными языками операцию объединения часто обозначают знаком “+”. В следующих тождествах используется именно это соглашение.

Основные тождества. Пусть α, β, γ – произвольные формальные языки над некоторым фиксированным алфавитом, тогда справедливы следующие тождества:

(α + β) + γ = α + (β + γ), (α β) γ = α (β γ),

α + β = β + α, α (β + γ) = α β + α γ,

(α + β) γ = α γ + β γ,

α * = α,

α = ,

α* = α α* + *,

α* = (α + *)*.

5.2. Способы задания формальных языков

146

Прежде всего, для задания формального языка может подойти любое математически корректное определение множества слов в заданном алфавите. Однако если иметь в виду задание, при котором возможно алгоритмическое решение вопроса о принадлежности слова языку, то нужны средства более ограниченные.

Наиболее общим из конструктивных способов задания языков является способ, использующий так называемые формальные грамматики.

Формальной грамматикой для порождения формального языка в алфавите A называется набор

G = (A, B, S, P),

где A – алфавит терминальных (основных) символов; B – алфавит нетерминальных (вспомогательных) символов, A ∩ B = ; S – стартовый символ, S B; P – конечный набор правил вывода. Каждое правило вывода имеет вид ϕ → ψ, где ϕ, ψ – слова в объединенном алфавите A B, причем ϕ содержит хотя бы один символ из алфавита B.

Правило ϕ → ψ применимо к слову u, если ϕ является фрагментом слова u. Результатом применения этого правила к слову u называется слово v, полученное заменой любого фрагмента ϕ в слове u на слово ψ.

Если v – результат применения некоторого правила к слову u, то пи-

шем u v.

Если u v1 v2 … vn v, то пишем u v.

Язык L(G), порождаемый грамматикой G, определяется следующим образом

L(G) = {v | v A*, S v}.

Другими словами, L(G) – множество слов в основном алфавите, которые могут быть получены из стартового символа S путем конечного числа применений правил грамматики.

Классификация Хомского

•грамматики типа 0 – это грамматики, не имеющие ограничений на вид правил;

•грамматики типа 1 – это грамматики, в которых правила имеют вид: ϕ1Xϕ2 → ϕ1vϕ2, где X – нетерминальный символ, а ϕ1, ϕ2, v – слова

в объединенном алфавите. Слова ϕ1, ϕ2 называются контекстом правила. Эти грамматики (и языки, порождаемые ими) называются контекстными, так как в описанном правиле символ X заменяется словом v, если находится в контексте ϕ1, ϕ2;

147

•грамматики типа 2 – это грамматики, в которых правила имеют вид: X → v, где X – нетерминальный символ, а v – непустое слово в объединенном алфавите. Эти грамматики (и языки, порождаемые ими) называются контекстно-свободными;

•грамматики типа 3 – это грамматики, в которых правила имеют вид: X → v, где X – нетерминальный символ, а v может иметь вид либо a, либо aY, где a – символ основного алфавита, а Y – вспомогательного. Языки, порождаемые грамматиками типа 3, называются регулярными.

Известно, что класс языков, задаваемых грамматиками типа 0, является классом рекурсивно перечислимых языков, не совпадающим с классом рекурсивных языков. На языке теории алгоритмов это означает, что не существует алгоритма, который по любой грамматике G типа 0 и любому слову u отвечает на вопрос «u L(G)?». С другой стороны, существует алгоритм, который, получив на входе грамматику G и слово u, ответит «да», если u L(G), в противном случае он либо ответит «нет», либо будет работать бесконечно.

Классы языков, задаваемых грамматиками типа 1, 2, 3, являются классами рекурсивных языков.

Альтернативный способ задания формальных языков – их описание с помощью различных видов автоматов.

Одним из простейших классов языков, имеющих большое прикладное значение, является класс регулярных языков, допускающих описание и с помощью конечных автоматов, и с помощью аналитических выражений.

5.3. Регулярные выражения

Регулярные выражения – это аналитический (формульный) способ задания регулярных языков.

Определение. Регулярным выражением над алфавитом A называется выражение, построенное по следующим правилам:

1.– регулярное выражение;

2.λ – регулярное выражение;

3.a – регулярное выражение, если a A;

4.(P S) – регулярное выражение, если P и S – регулярные выражения;

5.(P S) – регулярное выражение, если P и S – регулярные выражения;

6.P* – регулярное выражение, если P – регулярное выражение.

148

Регулярное выражение R задает язык L(R) в соответствии со следующими правилами:

•L( ) – пустой язык;

•L(λ) – язык, состоящий из одного пустого слова;

•L(a) – язык, состоящий из одного однобуквенного слова a;

•L((P S)) = L(P) L(S);

•L((P S)) = L(P)L(S);

•L(P*) = (L(P))*.

Пример 1 . Рассмотрим регулярное выражение R = (ab ac)*(a λ) над алфавитом A = {a, b, c}. Язык L(R) состоит из слов, в которых на нечетных местах стоит символ a, а на четных b или c.

Замечание 1. В регулярных выражениях вместо знака « » часто используют знак «+».

Замечание 2. Если дополнить правила построения регулярных выражений еще двумя правилами

7.(P ∩ S) – регулярное выражение, если P и S – регулярные выражения;

8.P – регулярное выражение, если P – регулярное выражение, и счи-

тать L((P ∩ S)) = L(P) ∩ L(S), а L( P ) = L(P) ,

где дополнение берется до множества всех слов в алфавите A, то получим так называемые расширенные регулярные выражения. Если не использовать дополнение, то получим полурасширенное регулярное выражение.

Как увидим в дальнейшем, использование расширенных регулярных выражений не расширяет класса регулярных языков.

Замечание 3. Используя описанную интерпретацию регулярных выражений, мы будем вместо соотношения u L(R) писать u R.

5.4. Решение уравнений в словах

Рассмотрим уравнение вида X = α X + β, где α и β – формальные языки над некоторым алфавитом A.

Теорема. Если λ α, то уравнение X = αX + β имеет единственное решение X = α*β. Если λ α, то X = α*(β + γ) будет решением уравнения X = αX + β при любом γ A*.

Доказательство. Пусть λ α и X0 – решение, тогда, подставляя его в уравнение, получим

149

X0 = αX0 + β= α(αX0 + β) + β= α(α(αX0 + β) + β) + β= α3X0 + α2β+ αβ+ β.

Продолжая выполнять подстановки, видим, что при любом k = 0, 1, 2, … выполняется равенство

Покажем сначала, что α* β X0. Действительно, пусть u α* β, тогда при некотором значении k получим u (αkβ +αk−1β + … + αβ + β) и из

(1) при таком значении k получаем u X0.

Осталось показать, что X0 α*β. Действительно, пусть u X0, тогда при любом k

u αk+1 X0 + (αkβ +αk−1β + … + αβ + β).

Но так как λ α, то при достаточно больших значениях k каждое

слово в множестве αk+1 X0 будет длиннее слова u и, следовательно, u αk+1 X0, но тогда при таких k

u (αkβ +αk−1β + … + αβ + β) α*β.

Следовательно, u α*β. Итак, мы показали, что если X0 – решение, то оно задается формулой X0 = α*β, то есть является единственным. Тот факт, что α*β на самом деле решение, проверяется простой подстановкой.

Второе утверждение теоремы предоставляем доказать читателю. Замечание. Если в уравнении X = αX + β под α и β понимать регу-

лярные выражения, то в случае λ L (α) его единственным решением будет регулярное выражение α*β.

В случае когда L(α) содержит λ, уравнение имеет бесконечно много решений вида X = α*(β + γ), но здесь под γ можно понимать не только регулярные выражения, но и выражения в каком-либо формализме, задающие произвольный язык. Часто в таком случае интересуются наименьшим по включению решением, так называемой «наименьшей неподвижной точкой».

Системы линейных уравнений с регулярными коэффициентами.

Под стандартной системой понимают систему вида

150