Вероятностные алгоритмы и их анализ

носторонней ошибкой, т. е. ошибается только для случаев неравенства — легко видеть, что если алгоритм сообщает, что тождество не выполнено, то всегда AB ≠ C.

При этом ABx вычисляется как A(Bx), что и обеспечивает оценку сложности алгоритма O(n2). Следующая теорема обеспечивает корректность алгоритма.

Теорема 13. Пусть A, B, и C — n n матрицы, элементы которых принадлежат некоторому полю F, причем AB ≠ C. Тогда для вектора x, выбранного случайно и равномерно из f0; 1gn,

P fABx = Cxg 1/2:

Доказательство. Пусть D = AB C. Мы знаем, что D — не полностью нулевая матрица и хотим оценить вероятность того, что Dx = 0. Без ограничения общности можно считать, что ненулевые элементы имеются в первой строке и они располагаются перед нулевыми. Пусть d — вектор, равный первой строке матрицы D, и предположим, что первые k элементов в d — ненулевые. Имеем

PfDx = 0g PfdT x = 0g:

Но dT x = 0 тогда и только тогда, когда

Для каждого выбора x2; : : : ; xk правая часть этого равенства фиксирована и равна некоторому элементу v поля F. Вероятность того, что x1 равно v, не превосходит 12 , поскольку x1 равномерно распределено на двухэлементном множестве f0; 1g, а вероятность события dT x = 0 либо равна 12 , если правая часть принадлежит множеству f0; 1g, либо равна нулю в противном случае.

Классическим примером задачи, где вероятностные алгоритмы традиционно успешно применяются, является задача проверки тождеств для многочлена от многих переменных.

Задача 17. Проверить для заданного полинома P (x1; : : : ; xn) выполнение тождества P (x1; : : : ; xn)

0:

Следующая лемма (см. [MR95]), по сути, описывает вероятностный алгоритм Монте–Карло с односторонней ошибкой.

Лемма 14. Пусть Q(x1; : : : ; xn) — многочлен от многих переменных степени d над полем F и пусть

SF — произвольное подмножество. Если r1; : : : ; rn выбраны случайно, независимо и равномерно из

S, то

d P (Q(r1; : : : ; rn) = 0 j Q(x1; : : : ; xn) ̸0) jSj:

Доказательство. По индукции по n.

Базисный случай n = 1 включает полиномы от одной переменной Q(x1) степени d. Поскольку каждый такой полином имеет не более d корней, вероятность того, что Q(r1) = 0 не превосходит jdSj .

Пусть теперь предположение индукции верно для всех полиномов, зависящих от не более n 1 переменной.

Рассмотрим полином Q(x1; : : : ; xn) и разложим его по переменной x1:

∑k

Q(x1; : : : ; xn) = xi1Qi(x2; : : : ; xn);

i=0

где k d — наибольшая степень x1 в Q.

Предполагая, что Q зависит от x1, имеем k > 0, и коэффициент при xk1, Qk(x2; : : : ; xn) не равен тождественно нулю. Рассмотрим две возможности.

Первая — Qk(r2; : : : ; rn) = 0. Заметим, что степень Qk не превосходит d k, и по предположению индукции вероятность этого события не превосходит (djSjk) .

Вторая — Qk(r2; : : : ; rn) ≠ 0. Рассмотрим следующий полином от одной переменной:

∑k

q(x1) = Q(x1; r2; r3; : : : ; rn) = Qi(r2; : : : ; rn)xi1:

i=0

Полином q(x1) имеет степень k и не равен тождественно нулю, т.к. коэффициент при xk1 есть Qk(r2; : : : ; rn). Базовый случай индукции дает, что вероятность события

q(r1) = Q(r1; r2; : : : ; rn) = 0

не превосходит jkSj .

Мы доказали два неравенства:

d k PfQk(r2; : : : ; rn) = 0g jSj ;

k PfQ(r1; r2; : : : ; rn) = 0j Qk(r2; : : : ; rn) ≠ 0g jSj:

Используя результат упражнения 4.1.1, мы получаем, что вероятность события Q(r1; r2; : : : ; rn) = 0 не превосходит суммы двух вероятностей (d k)/jSj и k/jSj, что дает в сумме желаемое d/jSj.

Упражнение 4.1.1. Покажите, что для любых двух событий E1, E2,

PfE1g PfE1j E2g + PfE2g:

Упражнение 4.1.2. Имеется n n матрица A, элементами которой являются линейные функции fij(x) = aijx + bij.

Придумайте алгоритм Монте-Карло с односторонней ошибкой для проверки этой матрицы на вырожденность (det A 0).

Одной из многочисленных областей, где широко применяются вероятностные алгоритмы, являются параллельные и распределенные вычисления. Эффективным параллельным алгоритмом (или NCалгоритмом) называется алгоритм, который на многопроцессорной RAM (так называемой PRAM) с числом процессоров, не превосходящим некоторого полинома от длины входа, завершает работу за время, ограниченное полиномом от логарифма длины входа.

Построение эффективного детерминированного параллельного алгоритма (NC-алгоритма) для нахождения максимального паросочетания в двудольном графе является одной из основных открытых проблем в теории параллельных алгоритмов. Удалось, однако, построить эффективный параллельный вероятностный алгоритм нахождения максимального паросочетания в двудольном графе (так называемый RNC-алгоритм) [MR95]. Примеры применения вероятностных алгоритмов для построения эффективных параллельных и распределенных алгоритмов рассматриваются в разделе 4.3.

4.2Вероятностные методы

вперечислительных задачах

Вданном разделе мы рассмотрим перечислительные задачи и изучим, как вероятностные методы могут быть применены для решения таких задач.

Алгоритм для решения перечислительной задачи получает на вход конкретные входные данные рассматриваемой задачи (например, граф) и в качестве выхода выдает неотрицательное целое, являющееся числом решений задачи (например, число гамильтоновых циклов в графе или число совершенных паросочетаний).

Пусть Z — некоторая перечислительная задача, I — вход задачи. Пусть далее #(I) обозначает число различных решений для входа I задачи Z.

Определение 4.2.1. Пусть

Z — перечислительная задача.

I — вход для Z, n = jIj.

#(I) — число различных решений для входа I задачи Z.

" > 0 — параметр точности.

Вероятностный алгоритм A(I; ") — полиномиальная рандомизированная аппроксимационная схема, если время его работы ограничено полиномом от n, и

P[(1 ")#(I) A(I; ") (1 + ")#(I)] 34:

Определение 4.2.2. Полностью полиномиальной рандомизированной аппроксимационной схемой (FPRAS)

называется полиномиальная рандомизированная аппроксимационная схема, время работы которой ограничено полиномом от n и 1/".

Определение 4.2.3. Полностью полиномиальной рандомизированной аппроксимационной схемой с па-

раметрами ("; ) (или кратко ("; )-FPRAS) для перечислительной задачи Z называется полностью полиномиальная рандомизированная аппроксимационная схема, которая на каждом входе I вычисляет "-аппроксимацию для #(I) с вероятностью не менее 1 за время, полиномиальное от n, 1/"

и log 1/ .

Рассмотрим теперь одну перечислительную задачу.

Задача 18. f(x1; : : : ; xn) = C1_ : : :_Cm — булева формула в дизъюнктивной нормальной форме (ДНФ), где каждая скобка Ci есть конъюнкция L1 ^ : : : ^ Lki ki литералов (см. определение 3.3.1 «Литерал»).

Набор v = (v1; : : : ; vn) — выполняющий для f, если f(v1; : : : ; vn) = 1.

Найти число выполняющих наборов для данной ДНФ.

Пусть

V — множество всех двоичных наборов длины n.

G — множество выполняющих наборов.

Рассмотрим алгоритм, основанный на стандартном методе Монте-Карло, и покажем, что он не является ("; )-FPRAS для этой задачи.

1. Проведем N независимых испытаний:

•выбирается случайно v 2 V (в соответствии с равномерным распределением);

•yi = f(vi). Заметим, что Pfyi = 1g = jjVGjj . Обозначим эту вероятность через p.

2.Рассмотрим сумму независимых случайных величин Y = ∑Ni=1 yi. В качестве аппроксимации jGj возьмем величину

~ Y

G = N jV j:

Упражнение 4.2.1. Почему yi независимые случайные величины?

Воспользуемся следующей леммой.

Лемма 15. Пусть x1; : : : ; xn — независимые случайные величины, такие, что xi принимают значения

= Pf(1 ")Np Y (1 + ")Npg:

?

3. 8v 2 V за полиномиальное время проверяемо «v 2 Hi».

Рассмотрим объединение H = H1 [ : : : [ Hm. Надо оценить его мощность jHj.

Связь с исходной задачей 18:

«V »: базовое множество V состоит из всех двоичных наборов длины n.

«Hi»: Hi = fv 2 V : Ci(v) = 1g, т. е. состоит из всех наборов, на которых скобка Ci равна 1 (выполнена).

Условие (1): Пусть ri — число литералов в Ci, тогда:

{

Ci 0 ) jHij = 0; Ci ̸ 0 ) jHij = 2n ri :

Условие (2): Cлучайная выборка элемента из Hi — зафиксировать переменные из Ci, а остальные переменные выбрать случайно.

Условие (3): вычислить Ci(v), т. е. проверка, что некоторое v 2 V принадлежит Hi, эквивалентно проверке выполнимости скобки (конъюнкции) на данном наборе.

Идея, позволяющая предложить для рассматриваемой задачи FPRAS, проста. Мы определим относительно небольшой универсум, подмножеством которого будет H = H1 [ : : : [ Hm. Универсум U образуется из точек H, причем точка берется с кратностью, равной числу множеств Hi, которым она принадлежит. Тогда

168 Глава 4. ВЕРОЯТНОСТНЫЕ АЛГОРИТМЫ И ИХ АНАЛИЗ

и к U можно применять стандартный алгоритм Монте-Карло.

Конкретно для нашей задачи 18 «DNF#» определения и иллюстрация множеств U и H показаны на рис. 4.1. Наша цель теперь заключается в оценке мощности G U, для чего мы применяем метод МонтеКарло к множеству U:

1. Выбираем случайно и равномерно u = (v; i) 2 U:

(b)выбирается случайно и равномерно v 2 Hi.

2.yi = 1 при v 2 G, иначе yi = 0.

3.Y = ∑Ni=1 yi.

Теорема 14. Метод Монте-Карло дает ("; )-FPRAS для оценки jGj при условии

N 3"m2 ln 2:

Время полиномиально по N.

Доказательство. Выбор случайного элемента (v; i) из U происходит равномерно из U — для доказательства достаточно перемножить соответствующие вероятности.

?

Проверка (v; i) 2 G — полиномиальна: 8j < i : Cj(v) = 0.