Вероятностный анализ детерминированных алгоритмов

(входов) такие задачи бывают легко разрешимы на практике. Дело в том, что вся трудность задачи может заключаться в небольшом подмножестве входов. Проблема нахождения таких входов важна для экспериментальной оценки эффективности алгоритмов и в то же время играет заметную роль в математической криптографии. Концепция сложности в среднем для таких задач представляется более адекватной, чем концепция сложности в худшем случае.

Имеется еще одно соображение в пользу перехода от анализа по худшему случаю к анализу сложности в среднем. Оно состоит в том, что некоторые практически эффективные алгоритмы не являются эффективными при анализе по худшему случаю. Пожалуй, наиболее известным примером такого алгоритма является симплекс-метод решения задач линейного программирования, который, не являясь полиномиальным алгоритмом, поразительно хорошо зарекомендовал себя при решении практических задач.

Таким образом, естественные попытки ослабить требования в определении эффективности привели к понятию сложности в среднем (average case complexity), под которым, грубо говоря, понимается математическое ожидание времени работы алгоритма при заданном вероятностном распределении на исходных данных. С середины 80-х годов начала развиваться теория сложности в среднем, в некотором смысле аналогичная теории полиномиальной сводимости для NP-трудных задач. Кроме того, для ряда NP-полных задач удалось построить полиномиальные в среднем алгоритмы. Однако достигнутые здесь успехи оказались гораздо скромнее результатов в теории сложности при анализе по худшему случаю.

В последнее время получен ряд интересных результатов для задач типа рюкзака с константным числом ограничений, введено новое понятие «сглаженной сложности» (smoothed complexity) и доказано, что некоторые варианты симплекс-метода имеют полиномиальную сглаженную сложность. Построены приближенные полиномиальные в среднем алгоритмы нахождения максимальной клики в графе с гарантируемыми оценками точности, существенно лучшими аналогичных оценок для худшего случая.

Перейдем к конкретизации сказанного выше. Пусть для данного алгоритма A время его работы на входе I обозначается через TA(I). Пусть также для каждого натурального n задано распределение вероятно-

стей на входах I длины n, обозначаемое Pn(I). Поскольку T является случайной величиной, естественным кажется определить среднее время работы алгоритма A как математическое ожидание времени работы алгоритма En TA на входах длины n.

Определение 3.1.1. «Полиномиальный в среднем (точно)»

Алгоритм A называется полиномиальным в среднем, если среднее время его работы ограничено полиномом от длины входа, т. е.

9C > 0 : En TA = O(nC):

Однако в теоретических работах, касающихся теории сводимости и сложности в среднем, полиномиальность в среднем принято определять по-другому. Причина состоит в том, что приведенное выше определение слишком чувствительно: изменение T на T 2 (типичная оценка при симуляции одной вычислительной модели на другой) может привести к тому, что алгоритм, полиномиальный в среднем, скажем, на модели RAM, не является полиномиальным в среднем на машине Тьюринга.

Упражнение 3.1.1. Приведите пример функции TA (времени работы некоторого алгоритма A) и распределения исходных данных Pn(I), для которых TA является полиномиальной в среднем (En TA = O(nc)), а TA2 — нет.

Эту ситуацию нельзя признать удовлетворительной, поскольку ничего подобного не происходит при анализе сложности по худшему случаю: определение полиномиального алгоритма не зависит от выбранной модели вычислений.

Поэтому в теоретических работах, касающихся теории сводимости и сложности в среднем, используют обычно другое определение.

Определение 3.1.2. «Полиномиальный в среднем»

Алгоритм называется полиномиальным в среднем, если для времени работы алгоритма T выполняется:

9" > 0 : En T " = O(n):

Тем не менее, в исследовании сложности в среднем конкретных алгоритмов обычно используется определение 3.1.1 «Полиномиальный в среднем (точно)» с указанием конкретной вычислительной модели, для которой проводится анализ (обычно это машины с произвольным доступом к памяти — RAM). Мы в следующих разделах также будем следовать этому определению.

3.2Задача упаковки

Алгоритм динамического программирования для задачи упаковки подмножеств. Полиномиальность алгоритма «в среднем».

Задача 15. «Упаковка» (Packing)

Дано конечное множество L из m элементов и система его подмножеств S1, …, Sn. Требуется найти максимальную по числу подмножеств подсистему попарно непересекающихся подмножеств.

При реализации и анализе алгоритмов гораздо удобней формализовать представление отношений между элементами и подмножествами в виде матрицы инцидентности.

Определение 3.2.1. Пусть

L = fl1; : : : ; lmg — m-элементное множество; fS1; : : : ; Sng — семейство подмножеств L;

Тогда

•Элемент li и подмножество Sj инцидентны, если li 2 Sj.

•Матрицей инцидентности называется f0;1g-матрица A = (aij) размером m n, для которой: aij = 1 , элемент li и подмножество Sj инцидентны.

Таким образом, задача 15 «Packing» будет эквивалентна следующей 0–1 целочисленной линейной программе:

j=1

В этой целочисленной линейной программе n столбцов и переменных x1; : : : ; xn соответствуют подмножествам S1; : : : ; Sn и их включению в решение, а 0–1-матрица инцидентности A = (aij) размера

m n описывает состав каждого подмножества (см. определение 3.2.1 «Инцидентность»). Таким образом, m строк-ограничений, соответствующих m предметам, очевидным образом выражают ограничение на попарную непересекаемость выбранных подмножеств ни по одному предмету, а целевая функция равна числу таких подмножеств.

Заметим, что в литературе «Упаковкой подмножеств» называется иногда и более общая постановка ЦЛП, где c1; : : : ; cn и b1; : : : ; bm — произвольные положительные целые числа:

жеств с проверкой на совместность и выбором набора, содержащего наибольшее число подмножеств. Более перспективный подход — ограничить перебор по допустимым решениям задачи, применив

метод динамического программирования.

Обозначим через Xj множество всех допустимых булевых векторов для системы с n j нулевыми последними компонентами и через ej — вектор размерности n с единичной j-й компонентой и остальными нулевыми компонентами. Тогда можно строить множество допустимых решений Xj на основе множества Xj 1, пытаясь добавить вектор ej ко всем допустимым решениям из Xj 1. Более формально это описано в алгоритме 28.

Рис. 3.1: Работа алгоритма 28 «Упаковка-ДинПрог»

Нетрудно убедиться, что сложность алгоритма 28 «Упаковка-ДинПрог» составляет O((m + n)njXnj). Действительно, внешний цикл — O(n), внутренний — O(jXnj), проверка на допустимость и добавление нового решения — O(m + n).

Таким образом, сложность алгоритма существенно зависит от размера множества допустимых решений, возникающих при выполнении алгоритма.

Упражнение 3.2.1. Какие входные данные для алгоритма 28 «Упаковка-ДинПрог» заставят его работать