С другой стороны, работа над верхними оценками — построение конкретных алгоритмов, как правило, производится в терминах машин с произвольным доступом (RAM).

Упражнение 6.2.6. Покажите, что задача распознавания гамильтоновых графов (т. е. графов, содержащих гамильтонов цикл) принадлежит NP, а задача распознавания негамильтоновых графов принадлежит coNP.

Упражнение 6.2.7. Придумайте полиномиальный алгоритм для проверки, есть ли в заданном графе хотя бы один «треугольник».

Упражнение 6.2.8. Рассмотрим язык DF NT , состоящий из полиномов от нескольких переменных, имеющих целочисленные корни.

Студент утверждает, что DF NT 2 NP , т.к. если оракул-Мерлин предоставит решение v, доказываю-

?

щее принадлежность полинома p 2 DF NT , то верификатор Артур сможет легко проверить: p(v) = 0. Прав ли студент?

6.3Вероятностные вычисления

Вероятностные алгоритмы с односторонней ошибкой. Классы сложно-

сти RP и coRP и отношение к классам NP и coNP. Вероятностная

амплификация для RP и coRP. Вероятностные алгоритмы с двусторонней ошибкой. Класс сложности BPP. Вероятностная амплификация для BPP. Неамплифицируемый класс PP.

Итак, в разделе 6.1.1 мы познакомились с детерминированными машинами Тьюринга, моделями, ко-

торые можно использовать для описания всех существующих вычислительных устройств, будь то карманный калькулятор или суперкомпьютер. В разделе 6.2.2 мы рассматривали недетерминированные машины Тьюринга — интересную, мощную модель вычислений, полезную для описания классов сложностей задач, но, увы, не соответствующую никаким реальным вычислительным устройствам. Однако оказалось, что можно частично использовать мощь «параллельного перебора», присущую НМТ, привнеся в детерминированный процесс вычисления вероятностную составляющую. Выяснилось, что такие устройства вполне можно построить физически, и что они способны эффективно решать больший класс задач, чем обыкновенные МТ.

Впрочем, по-порядку. Сначала определим ВМТ — вероятностную машину Тьюринга. Существует два подхода к определению ВМТ, приведем их оба.

Определение 6.3.1. Вероятностная машина Тьюринга аналогична недетерминированной машине Тьюринга, только вместо недетерминированного перехода в два состояния машина выбирает один из вариантов с равной вероятностью.

Определение 6.3.2. Вероятностная машина Тьюринга представляет собой детерминированную машину Тьюринга (см. определение 6.1.1 «Машина Тьюринга»), имеющую дополнительно источник случайных битов, любое число которых, например, она может «заказать» и «загрузить» на отдельную ленту и потом использовать в вычислениях обычным для МТ образом.

Оба определения — 6.3.1 «online ВМТ» и 6.3.2 «o ine ВМТ» — очевидно, эквивалентны. Более того, они вполне соответствуют обычному компьютеру, к которому подключен внешний генератор случайных последовательностей на основе случайных физических процессов, таких, как, например, распад долгоживущего радиоактивного изотопа (замер времени между щелчками счетчика Гейгера рядом с образцом изотопа рубидия-85), снятие параметров с нестабильных электрических цепей и т. п.

Привнесение случайности в детерминированную вычислительную модель (как и привнесение недетерминизма) модифицирует понятие разрешимости. Теперь, говоря о результате работы ВМТ M на входе x, мы можем говорить о математическом ожидании результата E[M(x)] или вероятности вывода того или иного ответа на заданном входе: P[M(x) = 1], P[M(x) = 0], но ограничение на время работы (как правило, полиномиальное) понимается так же, как и для ДМТ.

Вообще, есть вероятностные алгоритмы, не совершающие ошибок при вычислении. Они используют «вероятностную составляющую» для «усреднения» своего поведения на различных входных данных таким образом, чтобы избежать случая, когда часто встречаются «плохие» входные наборы. Такие алгоритмы иногда называют «шервудскими», в честь известного разбойника-перераспределителя ценностей, и мы уже рассматривали один из таких алгоритмов — алгоритм 12 «Quicksort» с вероятностным выбором оси.

ВМТ может быть полезна, как мы увидим дальше, даже если будет иногда ошибаться при вычислении некоторой функции. Разумеется, нас будут интересовать машины, ошибающиеся «нечасто» и, желательно, работающие эффективно, т. е. полиномиальное от длины входа время.

Мы сконцентрируемся на анализе ВМТ, применяющихся для задач разрешения, т. е. задач, в которых нужно получить ответ «0» или «1».

Рассматривая ВМТ, предназначенные для решения таких задач, можно их классифицировать на три основные группы:

1.«zero-error» — ВМТ, не допускающие ошибок. Правда, в этот же класс попадают алгоритмы, которые хоть и не допускают ошибок, могут и не выдать никакого ответа или отвечать «не знаю».

2.«one-sided error» — ВМТ с односторонними ошибками. Например, ВМТ-«автосигнализация» обязательно сработает, если стекло разбито, дверь открыта и происходит автоугон, но могут произойти

и ложные срабатывания (так называемые ошибки второго рода, напомним также, что ошибкой первого рода является «пропуск цели»).

3.«two-sided error» — ВМТ с двусторонними ошибками. Ошибки могут быть и первого, и второго рода,

но вероятность правильного ответа должна быть больше (чем больше, тем лучше) 12 , иначе эта ВМТ ничем не лучше обычной монетки.

Далее мы более подробно рассмотрим перечисленные классы ВМТ и классы языков, эффективно (т. е. полиномиально) распознаваемых ими.

6.3.1Классы RP/coRP. «Односторонние ошибки»

Итак, определим классы языков, эффективно распознаваемых на ВМТ с односторонней ошибкой.

Определение 6.3.3. Класс сложности RP (Random Polynomialme) состоит из всех языков L, для которых существует полиномиальная ВМТ M, такая, что:

Cразу же представим аналогичное определение для класса-дополнения coRP fLjL 2 RPg.

Определение 6.3.4. Класс сложности coRP (Complementary Random Polynomialme) состоит из всех языков L, для которых существует полиномиальная ВМТ M, такая, что:

p( ) — некий полином, и заменим условия на вероятность условиями на долю строк y, на которых ДМТ дает тот или иной результат.

Определение 6.3.5. Класс сложности RP состоит из всех языков L, для которых существуют некий полином p( ) и полиномиальная МТ M(x; y), такая, что:

Определение 6.3.6. Класс сложности coRP состоит из всех языков L, для которых существуют некий полином p( ) и полиномиальная МТ M(x; y), такая, что:

Теперь вспомним определение класса NP через детерминированную машину Тьюринга (определение 6.2.4 «NP/ДМТ») и сравним его с определением 6.3.5 «RP/ДМТ», опуская одинаковые описания M, y:

Из этого сравнения видно, что класс RP вложен в класс NP. Если для распознавания языка L из NP нам для каждого x 2 L нужен был хотя бы один полиномиальный «свидетель» y, который мы могли предъявить «верификатору», то в случае с классом RP этих свидетелей должно быть достаточно много, согласно определению 6.3.5 «RP/ДМТ» не меньше половины. На самом деле, как мы увидим дальше, этих свидетелей может быть и меньше, а пока очевидны следующие утверждения (см. рис. 6.11):

Теорема 30. RP NP.

Теорема 31. coRP coNP.

Теперь вернемся к пресловутой «одной второй». Рассмотрим некоторый класс ~.

C

Можем ли мы утверждать, что RP C и, следовательно, C RP? Оказывается, да.

Доказательство. Допустим L 2 RP. Тогда существует ВМТ M(x) со свойствами, описанными в определении 6.3.3 «RP». Для заданного x будем запускать машину M два раза, обозначая результаты запусков через M1(x) и M2(x). Построим машину M,~ дважды вызывающую машину M и выдающую в качестве результата M1(x)_M2(x). Тогда вероятность ошибки первого рода (других ошибок машина M не допускает), случающейся, когда x 2 L, а M(x) = 0 (обозначим эту вероятность pM ), будет меньше 12 . Машина M,~ по построению, тоже будет допускать только ошибки первого рода, но они будут происходить только в случае ошибки машины M на обоих запусках M1(x) и M2(x), и вероятность такой ошибки будет

~.

C

Примененный нами метод называется «вероятностным усилением» (или «вероятностной амплификацией» от amplifica on), и, применив его полиномиальное число раз, мы добиваемся экспоненциального уменьшения вероятности ошибки. Таким образом, уже очевидно, что в определениях RP и coRP вместо «одной второй» можно использовать любые константы 12 — с помощью амплификации мы легко можем достичь заданного уровня «здравости».

Можно вполне использовать упоминающуюся шумную сигнализацию, срабатывающую ложно в половине случаев, если заставить ВМТ сигнализации выполнить проверку раз двадцать — тогда вероятность ложной тревоги была бы меньше 100001 . Это, к сожалению, пока является недостижимым уровнем для существующих автосигнализаций.

Более того, «порог», после которой можно «усиливать» вероятность, не обязательно должен быть больше одной второй, он может быть даже очень малым, главное, не быть пренебрежимо малым.

Определение 6.3.8. Класс сложности RPweak состоит из всех языков L, для которых существуют полиномиальная ВМТ M и полином p( ), такие, что:

Определение 6.3.9. Класс сложности RPstrong состоит из всех языков L, для которых существуют полиномиальная ВМТ M и полином p( ), такие, что:

x 2 L ) P [M(x) = 1] 1 2 p(jxj);

x 2/ L ) P [M(x) = 1] = 0:

Поначалу кажется, что RPweak — это некоторая релаксация, т. е. определение более широкого класса из-за ослабления ограничений, класса RP, а RPstrong, наоборот, усиление ограничений, и, по крайней мере:

RPstrong RP RPweak:

Однако оказывается, все это определения одного и того же класса.

Лемма 36. RPweak = RPstrong = RP.

Доказательство. Достаточно доказать RPweak RPstrong, для чего мы покажем, как для любого языка L 2 RPweak из машины Mweak (машина M из определения 6.3.8) сделать машину Mstrong, соответствующую определению 6.3.9. Действуем, как и в более простом случае леммы 35 — для данного x машина

Определение 6.3.10. Класс сложности BPP (Bounded-Probability Polynomialme) состоит из всех язы-

ков L, для которых существует полиномиальная ВМТ M, такая, что:

Из определения видно, что класс BPP замкнут относительно дополнения.

По опыту раздела 6.3.1 читатель ожидает обобщений определения класса BPP без магической константы «23 », и мы его не разочаруем. Итак, предоставим «свободное» и «жесткое» определения клас-

са BPP.

Определение 6.3.11. Класс сложности BPPweak состоит из всех языков L, для которых существуют:

c, 0 < c < 1 — константа;

p( ) — положительный полином;

M — полиномиальная ВМТ;

такие, что:

284 Глава 6. ОСНОВЫ ТЕОРИИ СЛОЖНОСТИ ВЫЧИСЛЕНИЙ

Определение 6.3.12. Класс сложности BPPstrong состоит из всех языков L, для которых существуют полиномиальная ВМТ M, и полином p( ), такие, что:

В следующей лемме мы используем следующие результаты из теории вероятностей.

Теорема 32. «Закон Больших Чисел для схемы Бернулли»

Пусть событие A может произойти в любом из t независимых испытаний с одной и той же вероятностью p, и пусть Mt — число осуществлений события A в t испытаниях. Тогда Mtt 7! p, причем

Пусть M1; : : : ; Mt — независимые события, каждое из которых имеет вероятность p 2 . Тогда вероятность одновременного выполнения более половины событий будет больше, чем 1 exp( 2(p

12 )2t).

Лемма 37. BPPweak = BPP.

Упражнение 6.3.1. Вы разработчик военного программного комплекса, использующего сложновычислимую и секретную функцию F : [0; : : : ; N 1] ! [0; : : : ; m 1], которую подключают к вашему алгоритму в виде отдельного массива длины N, т. е. функция задана таблично на внешней флеш-памяти огромного объема(только вес этой флэшки — 20 кг, которую носят и охраняют два майора-особиста). Функция гомоморфна, т. е.

F ((x + y) mod N) = (F (x) + F (y)) mod m

Однако, утром перед приемными испытаниями, выяснилось, что «флешка побилась», т. е. некоторые значения этой функции стали неверными. Виновные майоры уже расстреляны, а вся команда разработчиков пытается решить проблему.

Инженеры исследовали сбой — и утверждают, что «побилось» не более 16 ячеек, к сожалению, неизвестно каких.

С учетом этого факта вам поставлена задача реализовать простой и быстрый алгоритм, который правильно вычисляет F (x) с вероятностью не меньше 23 .

Стрелки показывают вложенность классов сложности

Рис. 6.12: Классы сложности: BPP и его «соседи»

Упражнение 6.3.2. Все то же, что и в упражнении 6.3.1, но чтобы вероятность ошибки Perr можно было сделать произвольно малой, т. е. 2 p(jxj), и при этом, чтобы выполнение алгоритма было замедлено не больше, чем в O(p(jxj)) раз.

Упражнение 6.3.3. Вводная, что и в упражнении 6.3.1, только теперь достаточно времени (испытания прошли, есть пара недель перед вводом в опытную эксплуатацию), и нужно восстановить значение этой функции за время O(N2).

6.3.3Класс PP

Теперь познакомимся с максимально широким классом языков, распознаваемых полиномиальной ВМТ.

Определение 6.3.13. Класс сложности PP (Probability Polynomialme) состоит из всех языков L, для которых существует полиномиальная ВМТ M, такая, что:

По опыту разделов 6.3.1 и 6.3.2 читатель может предположить, что константа «12 » также выбрана произвольно, «для красоты», но здесь это не так. В отличие от определений 6.3.3 «RP», 6.3.10 «BPP», в определении 6.3.13 «PP» мы никак не можем заменить константу «12 » на любую большую константу, т.к. в этом случае нет гарантированной возможности амплификации вероятности за полиномиальное время.

Обратите внимание, что в определении 6.3.13 «PP» важна даже строгость неравенства (что необязательно для определений 6.3.3 «RP», 6.3.10 «BPP»), т. е. нельзя заменить символ «>» на « », т.к. тогда определение полностью «выродится», ведь проверяющую машину можно будет заменить подбрасыванием одной монетки. Единственное ослабление, на которое мы можем пойти, — это пожертвовать строгостью одного из неравенств в определении.

Определение 6.3.14. Класс сложности PPweak состоит из всех языков L, для которых существует полиномиальная ВМТ M, такая, что:

Упражнение 6.3.4. Что будет, если в определении 6.3.14 в обоих неравенствах поставить « »? Какой класс языков будет определен?

Лемма 39. PPweak = PP.

Доказательство. Очевидно, доказывать нужно только вложение PPweak PP, для чего мы покажем, как для любого языка L 2 PPweak из машины Mweak (машина M из определения 6.3.14) сделать машину M из определения 6.3.13 «PP». Пусть машина Mweak использует не больше w(jxj) случайных бит (см. определение 6.3.2 «o ine ВМТ»), машина M будет использовать p(jxj) = 2 w(jxj) + 1 случайных бит следующим образом:

M(x; r1; :::;rp(jxj) ) (rw(jxj)+1_ :::_rp(jxj))^Mweak(x; r1; :::;rw(jxj) );

причем, «оптимизируя» вычисление этого выражения, мы даже не будем запускать Mweak, если rw(jxj)+1 _ : : : _ rp(jx что, очевидно, может произойти с вероятностью 2

Итак, рассмотрим случай x 2 L. Тогда P(Mweak(x) = 1) > 12 , причем P(Mweak(x) = 1) 12 + 2

т.к. всего вероятностных строк не больше 2w(jxj), и минимальный «квант» вероятности, соответствующий одной вероятностной строке, будет не меньше 2 .

Оказывается, у этого класса есть и альтернативное определение:

Теорема 36. ZPP = RP \ coRP.

Доказательство. ZPP RP, т.к. для любого языка L 2 ZPP из машины MZPP (машина M из определения 6.3.15 «ZPP») можно сделать машину M из определения 6.3.3 «RP»:

Answer = MZPP(x)

if Answer = «?» then

Answer = 0 end if

RETURN Answer

Действительно, если x 2 L, то P [MZPP(x) = 1] > 12 , и, следовательно, P [M(x) = 1] 12 . Если x 2/ L, то

P [M(x) = 0] = P [MZPP(x) = 0] + P [MZPP(x) = «?»] = 1:

Аналогично доказывается, что ZPP coRP.

Теперь покажем, что RP \ coRP ZPP. Изготовим машину M для распознавания ZPP из машин MRP (M из определения 6.3.3 «RP») и McoRP (M из определения 6.3.4 «coRP»), используя «безошибочные» возможности обеих машин:

if MRP(x) = 1 then

RETURN «1» end if

if McoRP(x) = 0 then

RETURN «0» end if