- •О.В.Старожилова специальные главы математики
- •Оглавление
- •Тема 3 Нелинейная парная регрессия 152
- •Тема 4. Линейная множественная регрессия 160
- •Тема 5. Нелинейная множественная регрессия 175
- •Глава 1 Гармонический анализ
- •1.1 Задача о звучащей струне
- •1.2 Ортогональные системы функций
- •Доказательство
- •1.3 Ряд Фурье по тригонометрической системе функций
- •Доказательство
- •1.4 Достаточные условия разложения функции в ряд Фурье
- •1.5 Разложение в ряд Фурье непериодической функции
- •1.6 Ряд Фурье для четных и нечетных функций
- •Доказательство
- •1.7 Ряды Фурье для функций любого периода
- •1.8 Интеграл Фурье
- •1.9 Интеграл Фурье для четной и нечетной функции
- •1.10 Комплексная форма интеграла Фурье
- •1.11 Преобразование Фурье
- •Глава 2 Математическая логика и ив
- •2.1 Этапы развития логики
- •2.2 Логика высказываний
- •2.3Логические связки
- •2.4Логические операции
- •2.5 Алфавит исчисления высказываний
- •2.6 Формулы .Тавтология
- •2.7Законы логики высказываний
- •2.8 Формальные теории. Выводимость. Интерпретация
- •2.9 Аксиоматический метод
- •2.10 Система аксиом исчисления высказываний (ив)
- •2.11 Правила вывода
- •1 Правило подстановки(пп).
- •2 Правило заключения (пз).
- •2.12 Производные правила вывода
- •2.13 Построение вывода в логике высказываний
- •Закон перестановки посылок.
- •Закон соединения посылок
- •Закон разъединения посылок .
- •2.14 Связь между алгеброй и исчислением высказываний
- •Контрольные вопросы
- •Глава 3 Задачи регрессионного анализа
- •3.1 Метод наименьших квадратов
- •3.2 Линейный регрессионный анализ
- •3.3 Оценка модели регрессии
- •3.4 Проблемы применения метода линейной регрессии
- •3.5 Предпосылки статистической модели лр
- •3.6 Задачи регрессионного анализа
- •3.7 Многомерная нормальная регрессионная модель
- •3.8 Вариация зависимой переменной
- •Контрольные вопросы
- •Глава 4 Общая постановка и виды задач принятия решений
- •4.1 Математическая постановка задачи оптимизации
- •4.2Локальный и глобальный минимум цф
- •4.3 Методы безусловной оптимизации
- •4.4 Метод покоординатного спуска
- •4.5 Метод Розенброка
- •4.6 Метод конфигураций
- •4.7 Методы случайного поиска
- •4.8 Метод Ньютона
- •Глава 5 Преобразование Фурье
- •5.1 Аппрокисмация функции по Фурье
- •5.2 Преобразование Фурье
- •5.3 Быстрое преобразование Фурье
- •Лабораторный комплекс Гармонический и спектральный анализ
- •Вариант № 29
- •Вариант № 30
- •Тема 2. Линейная парная регрессия
- •Решение
- •Тема 3 Нелинейная парная регрессия
- •Тема 4. Линейная множественная регрессия
- •Тема 5. Нелинейная множественная регрессия
- •Численные методы поиска безусловного экстремума Графический анализ функции
- •Задача одномерного поиска
- •Алгоритм Свенна
- •Метод перебора
- •Метод поразрядного поиска
- •Метод дихотомии.
- •Метод Фибоначчи
- •Метод средней точки
- •Метод Ньютона
- •Литература
4.2Локальный и глобальный минимум цф
При решении задач оптимизации следует иметь в виду, какой вид имеет целевая функция.
Например,
.
Целевая функция имеет вид
З
десь
т.
-
глобальный минимум, а т.
-
локальный минимум целевой функции.
П
усть
теперь
,
здесь
-
точка глобального максимума, а
-
точка локального максимума целевой
функции.
Разрешимость задач оптимизации
Приведенная выше задача оптимизации
имеет решение не при любых целевых
функциях и допустимых множествах.
Существуют задачи, в которых невозможно
найти оптимальное решение и экстремум
целевой функции. Например, не существует
точек минимума функции одной переменной
на
множестве
в
случаях, приведенных ниже
Иллюстрация случая, когда множество допустимых решений не замкнуто.
Здесь
граница «а» множества допустимых решений
в интервал входит, а граница «b» нет.
-
множество
не
замкнуто, следовательно,
–
не существует.
Иллюстрация
неограниченности множества допустимых
решений
определена
лишь одна левая граница множества
допустимых решений.
,
т.е. множество допустимых решений
неограниченно.
Р
ассмотрим,
когда задача оптимизации не имеет
однозначного решения.
Функция f(x) не является непрерывной,функция
не
является непрерывной, т.к. в т.
существуют
два значения функции –
и
.
Следовательно, задача оптимизации разрешима, если выполняются следующие три условия:
Множество допустимых решений замкнуто, т.е. если предельные точки принадлежат этому множеству.
Множество ограничено.
Целевая функция непрерывна.
Это нестрогая формулировка теоремы Вейерштрасса
4.3 Методы безусловной оптимизации
Среди методов оптимизации нулевого порядка в САПР находят применение методы Розенброка, конфигураций, деформируемого многогранника, случайного поиска. К методам с использованием производных относятся методы наискорейшего спуска, сопряженных градиентов, переменной метрики.
Метод Розенброка является улучшенным вариантом покоординатного спуска.
4.4 Метод покоординатного спуска
Метод
покоординатного спуска
характеризуется выбором направлений
поиска поочередно вдоль всех
координатных
осей, шаг рассчитывается на основе
одномерной оптимизации, критерий
окончания поиска
,
где
—
заданная точность определения локального
экстремума,
—
размерность пространства управляемых
параметров. Траектория покоординатного
спуска для примера двумерного пространства
управляемых параметров показана на
рис. 1, где
—
точки на траектории поиска,
—
управляемые параметры.
Целевая функция представлена своими
линиями равного уровня, около каждой
линии записано соответствующее ей
значение
.
Очевидно, что
есть
точка минимума.
При использовании метода покоординатного
спуска велика вероятность "застревания"
поиска на дне оврага
вдали от точки экстремума. После попадания
в точку
,
расположенную на дне оврага, дальнейшие
шаги возможны лишь в направлениях
или
,
но они приводят к ухудшению целевой
функции. Следовательно, поиск прекращается
в точке
.
Оврагом называют часть пространства управляемых параметров, в которой наблюдаются слабые изменения производных целевой функции по одним направлениям и значительные изменения с переменой знака — по некоторым другим направлениям.
Знак производной меняется в точках, принадлежащих дну оврага.
|
"Застревание" покоординатного спуска на дне оврага
В то же время при благоприятной ориентации дна оврага, а именно при положении одной из координатных осей, близком к параллельности с дном оврага, поиск оказывается весьма быстрым.
Траектория покоординатного спуска при благоприятной ориентации координатных осей
