Эвристические методы поиска экстремума. Метод Монте-Карло.

Ме́тод Мо́нте-Ка́рло (методы Монте-Карло, ММК) — общее название группы численных методов, основанных на получении большого числа реализаций стохастического(случайного) процесса, который формируется таким образом, чтобы его вероятностные характеристики совпадали с аналогичными величинами решаемой задачи. Используется для решения задач в различных областях физики, химии, математики, экономики, оптимизации, теории управления и др.

Предположим, требуется вычислить определённый интеграл 

Рассмотрим случайную величину  , равномерно распределённую на отрезке интегрирования  . Тогда   также будет случайной величиной, причём еёматематическое ожидание выражается как , где   — плотность распределения случайной величины  , равная   на участке  .

Таким образом, искомый интеграл выражается как .

Но матожидание случайной величины   можно легко оценить, смоделировав эту случайную величину и посчитав выборочное среднее.

Итак, бросаем   точек, равномерно распределённых на  , для каждой точки   вычисляем  . Затем вычисляем выборочное среднее:  .

В итоге получаем оценку интеграла: 

Точность оценки зависит только от количества точек  .

Этот метод имеет и геометрическую интерпретацию. Он очень похож на описанный выше детерминистический метод, с той разницей, что вместо равномерного разделения области интегрирования на маленькие интервалы и суммирования площадей получившихся «столбиков» мы забрасываем область интегрирования случайными точками, на каждой из которых строим такой же «столбик», определяя его ширину как  , и суммируем их площади.

Гомеостат Эшби и его связь со случайным поиском.

Гомеоста́т (от ὁμοιος — одинаковый, подобный и στάσις — состояние, неподвижность) — самоорганизующаяся система, моделирующая способность живых организмов поддерживать некоторые величины (например, температуры тела) в физиологически допустимых границах

Схема гомеостата приведена на рис. 14. Система, как сказано, может иметь различные параметры. Эти параметры генерируются генератором случайности и заводятся в систему по каналу А. Проверка состояния системы производится по каналу Б. Если система находится в неустойчивом состоянии, то блок управления включает генератор случайных параметров, который начинает немедленно их заводить в систему, как бы «применяя» к системе различные варианты параметров. Это происходит до тех пор, пока система не придет в устойчивое состояние и блок управления выключит генератор случайных параметров, сохранив в системе последние параметры, которые привели ее в устойчивое состояние. Как легко заметить, гомеостат Эшби близко копирует механизм приспособления вида. Действительно, как показано выше, приспособление вида к внешней среде происходит чисто случайным образом. Случайность входит в виде мутаций, которые создают различные случайные отклонения представителей этого вида от некоторого среднего организма. В результате естественного отбора представители вида, мутированные «неудачным» образом, вымирают, а мутации, приведшие к благоприятным изменениям в организме, закрепляются в потомстве. Так случайно вид приходит в устойчивое, стабильное состояние относительно внешней среды. Если внешние условия изменятся, то механизм мутации и естественного отбора снова приведет вид в устойчивое состояние. Аналогично работает гомеостат. Он тоже отыскивает устойчивое состояние чисто случайным способом и фиксирует именно те значения своих параметров, которые соответствуют его устойчивому, стабильному состоянию.

Рис. 14. Гомеостат — первый в мире прибор, рабо­тающий по методу случайного поиска. Он еще не де­лает никакой полезной работы, но хорошо иллюст­рирует полезность случая.

Идея Эшби

Если внешнее воздействие выводит гомеостат из устойчивого состояния, то включается механизм случайного выбора параметров гомеостата, имитирующий механизм случайных мутаций вида, причем этот механизм работает и ищет до тех пор, пока не находится устойчивое состояние, после чего случайный поиск параметров выключается. Идея Эшби о случайном поиске, подсмотренная им у природы, имеет глубокий смысл и большие перспективы применения. Изучая роль случайности в природе, Эшби пришел к замечательной мысли об использовании неограниченного богатства случая. Действительно, что может быть проще, чем генератор случайности? Шум — неисчерпаемый источник случайности, его легко получить, и он фактически ничего не стоит. Следовательно, сырье есть в изобилии! Но что можно сделать из этого сырья? Очень многое! Действительно, случайность является источником всех возможностей. Так, случайное сочетание букв может образовать любое известное слово, более того, таким образом можно создать слова, которые еще не придуманы, а возможно, и вообще не появятся на свет. Случайное сочетание слов может образовать любое предложение, т. е. любую законченную мысль, когда-либо высказанную людьми, или которую еще выскажут наши потомки. Случайное сочетание предложений может образовать любое художественное произведение, любое научное исследование, сообщение о любом сделанном людьми открытии или открытии, которое когда-либо будет сделано. Таким образом, случайность таит в себе неограниченные богатства. Комбинируя случайным образом буквы, слова или фразы, можно получить новые мысли, новые данные, новые результаты. Короче: из случайности можно создавать новую информацию! Этот парадоксальный вывод мало что дает практически, если вспомнить, что вместе с правильной информацией при таком подходе мы получим огромное количество ложной информации весьма правдоподобного вида.