Статистические методы анализа систем управления и их сущность

Регрессионный анализ

1. Регрессионный анализ ставит своей задачей исследование зависимости одной случайной величины от ряда других. Например, при проведении N экспериментов на статистической модели получен набор реализаций случайных величин , где X – независимая переменная, а Y – функция.

2. Общая вычислительная задача, которую требуется решать при анализе методом множественной регрессии, состоит в подгонке прямой линии к некоторому набору точек.

В простейшем случае, когда имеется одна зависимая и одна независимая переменная, это можно увидеть на диаграмме рассеяния.

3. Уравнение регрессии. Прямая линия на плоскости (в пространстве двух измерений) задается уравнением Y=a*X +b; более подробно: переменная Y может быть выражена через константу (b) и угловой коэффициент (a), умноженный на переменную X. Константу иногда называют также свободным членом, а угловой коэффициент - регрессионным или B-коэффициентом.

4. В многомерном случае, когда имеется более одной независимой переменной, линия регрессии не может быть отображена в двумерном пространстве, однако она также может быть легко оценена. Тогда, в общем случае, процедуры множественной регрессии будут оценивать параметры линейного уравнения вида:

Y = b + a₁*X₁ + a₂*X₂ + ... + a_p*X_p

5. Метод наименьших квадратов.

Найти a, b при которых Q=min.

Корреляционный анализ

Корреляционный анализ используется для определения степени линейной взаимосвязи между случайными величинами (корреляция – зависимость между случайными величинами, выражающая тенденцию одной величины возрастать или убывать при возрастании или убывании другой).

Если число случайных величин больше двух (r>2), то составляется квадратная корреляционная матрица размером (r х r), элементами которой являются коэффициенты корреляции , а диагональные элементы равны единице (т.е. =1). Коэффициенты корреляции изменяются от нуля до единицы, и чем больше его значение, тем теснее связь между случайными величинами.

Ковариация двух наборов данных (цен закрытия или логарифмических доходностей двух финансовых инструментов), или, выражаясь языком теории вероятностей, двух случайных величин представленных выборками, это показатель взаимозависимости этих случайных величин. Основным свойством ковариации является следующее утверждение «если ковариация отлична от нуля, то случайные величины зависимы».

N - размер выборки, и  — соответственно значения случайных величин в замере с индексом t.

и— среднеквадратические отклонения, рассчитанные по выборкам первого и второго показателя соответственно:

.

Пример 9.4. Требуется оценить зависимость времени перевозок товара от расстояния между пунктом хранения и различными пунктами доставки внутри города. Данные наблюдения приведены в таблице:

Расстояние (в км)	3,5	2,4	4,9	4,2	3,0	1,3	1,0	3,0	1,5	4,1
Время (в мин)	16	13	19	18	12	11	8	14	9	16

Обозначим: Y - время, X - расстояние и нарисуем поле рассеяния ( Рис. 9.4 ). Расположение точек говорит о возможной линейной связи Y и X. Поэтому, используя формулы (9.2.8) и (9.2.9) , вычислим:

Тогда линейная модель имеет вид:

Коэффициент корреляции, рассчитанный по формуле (9.4.1) , есть

Так как это значение очень близко к единице, то линейная связь между расстоянием и временем доставки очень тесна. Этот вывод подтверждается характером разброса точек на Рис. 9.4. Коэффициент детерминации (9.4.7) здесь показывает долю общей вариации времени перевозок, которая зависит от расстояния:

r²=(0,958)²=0,918

Таким образом, выборочная модель (9.4.8) объясняет 91,8% вариации времени доставки. Не объясняется 8,2% вариации времени доставки. Эта часть вариации обусловлена не учтенными в модели, но влияющими на время поездки факторами (пробки на дорогах, время суток, погода, вид транспорта и пр.).

Метод временных рядов

Анализ временных рядов используется при исследовании дискретного случайного процесса, протекающего на интервале времени Т.

Результаты экспериментов или наблюдений, полученные на данном интервале, представляются в виде временного ряда, каждое значение Y_i ко­торого включает детерминированную f(t) и случайную z(t) составляющие:

.

Детерминированная составляющая описывает влияние детерминиро­ванных факторов в момент времени t, влияние же множества случайных факторов описывает случайная составляющая. Детерминированную часть временного ряда называют трендом. Этот временной ряд описывается так называемой трендовой моделью:

,

где а_а, а_i — коэффициенты тренда;

k — количество функций времени, линейная комбинация которых определяет детерминированную составляющую;

- функция времени.

В процессе анализа вид функции времени постулируется исследо­вателем в виде рабочей гипотезы. Это может быть степенная функция либо тригонометрическая, например , где - круговая частота изменения i-й функции. Коэффициенты тренда и оценку дисперсии слу­чайной составляющей определяют путем проведения статистической обра­ботки результатов эксперимента или наблюдений.

Синтез систем управления методами оптимизации

Сущность методов безусловной оптимизации состоит в поиске минимума функции путем многократных вычислений, при различных значе­ниях параметров, к = 0, 1, 2, ..., причем на каждом k-м шаге вычислений контролируют выполнение условий , которые должны привести к минимальному значению функции.

Основные трудности применения заключаются в определении шага изменения параметра , направления этого изменения и начального при­ближения.

Методы нулевого порядка

Методы нулевого порядка используют, если производную исследуемой функции найти нельзя или существуют разрывы функций.

Метод покоординатного спуска

Сущность метода состоит в том, что про­изводится раздельная оптимизация по параметрам функций: один из параметров считается изменяемым, а остальные фиксируются при некоторых зна­чениях; затем изменяемым становится следующий параметр, а предыдущий принимает значение, полученное при предыдущей оптимизации (на преды­дущем шаге). Процесс продолжается до окончания перебора всех параметров. Метод прост в реализации и эффективен для малого числа параметров.

Рассмотрим функцию двух переменных. Ее линии постоянного уровня представлены на рис. 10.9, а минимум лежит в точке . (Напомним, что линией постоянного уровня называется кривая в двумерном сечении пространства параметров (в данном случае в плоскости (х₁, х₂), значение функции на которой - константа). Простейшим методом поиска является метод покоординатного спуска. Из точки А мы производим поиск минимума вдоль направления оси х₁ и, таким образом, находим точку B, в которой касательная к линии постоянного уровня параллельна оси x₁. Затем, производя поиск из точки B в направлении оси x₂, получаем точку C, производя поиск параллельно оси x₁, получаем точку D, и т.д. Таким образом, мы приходим к оптимальной точке. Любой из одномерных методов, описанных в предыдущей главе, может быть использован здесь для поиска вдоль оси. Очевидным образом эту идею можно применить для функций n переменных.

Рис. 10.9. 

Рассмотрим данный метод более детально на примере некоторой целевой функции.

Пусть нужно найти наименьшее значение целевой функции u=f(M)=f(x₁,x₂,...,x_n). Здесь через M обозначена точка n-мерного пространства с координатами x₁,x₂,...,x_n:M=(x₁,x₂,...,x_n). Выберем какую-нибудь начальную точку и рассмотрим функцию f при фиксированных значениях всех переменных, кроме первой: . Тогда она превратится в функцию одной переменной x₁. Изменяя эту переменную, будем двигаться от начальной точки в сторону убывания функции, пока не дойдем до ее минимума при , после которого она начинает возрастать. Точку с координатами обозначим через M¹, при этом .

Фиксируем теперь переменные: и рассмотрим функцию f как функцию одной переменной . Изменяя x₂, будем опять двигаться от начального значения в сторону убывания функции, пока не дойдем до минимума при . Точку с координатами обозначим через M², при этом . Проведем такую же минимизацию целевой функции по переменным x₃,x₄,...,x_n. Дойдя до переменной x_n, снова вернемся к x₁ и продолжим процесс.

Эта процедура вполне оправдывает название метода. С ее помощью мы построим последовательность точек M⁰,M¹,M²,... которой соответствует монотонная последовательность значений функции Обрывая ее на некотором шаге k, можно приближенно принять значение функции f(M^k) за ее наименьшее значение в рассматриваемой области (рис. 10.10).

Отметим, что данный метод сводит задачу поиска наименьшего значения функции нескольких переменных к многократному решению одномерных задач оптимизации. Если целевая функция f(x₁,x₂,…,x_n ) задана явной формулой и является дифференцируемой, то мы можем вычислить ее частные производные и использовать их для определения направления убывания функции по каждой переменной и поиска соответствующих одномерных минимумов.

На рис. 10.10. изображены линии уровня некоторой функции двух переменных u=f(x,y). Вдоль этих линий функция сохраняет постоянные значения, равные 1, 3, 5, 7, 9. Показана траектория поиска ее наименьшего значения, которое достигается в точке O, с помощью метода покоординатного спуска.

При этом нужно ясно понимать, что рисунок служит только для иллюстрации метода. Когда мы приступаем к решению реальной задачи оптимизации, такого рисунка, содержащего в себе готовый ответ, у нас, конечно, нет.

Рис. 10.10. 

Теоретически данный метод эффективен в случае единственного минимума функции. Но на практике он оказывается слишком медленным. Поэтому были разработаны более сложные методы, использующие больше информации на основании уже полученных значений функции.

Метод случайного поиска

Метод имеет большое количество модифика­ций. Общее для них состоит в использовании элемента случайности (путем розыгрыша случайного события) при определении направления поиска и величины шага изменения параметров. Метод эффективен для сложных систем с большим числом параметров

Этот метод похож на метод случайной стрельбы с уменьшением радиуса, однако в его основе лежит другая идея – сгенерируем случайный вектор и будем использовать его вместо градиента. Этот метод использует одномерную оптимизацию – подбор шага.

В этом методе есть два параметра, задаваемых пользователем:

1. Число неудачных пробных генераций вектора при одном радиусе.

2. Минимальное значение радиуса, при котором продолжает работать алгоритм.

Идея этого метода состоит в следующем:

1. Зададимся начальным состоянием вектора параметров.

2. Новый вектор параметров будем искать как сумму начального и случайного, умноженного на радиус, векторов.

3. Если после выбранного «числа попыток» (случайных генераций) не произошло уменьшения оценки, то уменьшаем радиус.

4. Если произошло уменьшение оценки, то полученный вектор объявляем начальным и продолжаем процедуру с тем же шагом.

*Важно, чтобы последовательность уменьшающихся радиусов образовывала расходящийся ряд. Примером такой последовательности может служить использованный в примере на рис. 4 ряд .

Методы первого порядка

Методы первого порядка используют, если возможно найти первую про­изводную исследуемой функции. К данному классу относятся градиентные методы. Их суть заключается в определении лучшего направление и шага поиска минимума функции по значениям первых производных в некото­рой точке . Наибольшее значение производной показывает направление наискорейшего уменьшения функции, и в этом направлении рассчитыва­ется следующее приближение функции , параметры которой отличаются на величину некоторого шага . В зависимости от способа задания этого шага и производится классификация градиентных методов: гра­диентный спуск; наискорейший спуск; градиентный спуск постоянным шагом; градиентный спуск с переменным шагом. Методы эффективны для функций со слабовыраженной нелинейностью.

Метод градиентного спуска

Рассмотрим функцию f считая для определенности, что она зависит от трех переменных х, у, z. Вычислим ее частные производные df/dx, df/dy, df/dz и образуем с их помощью вектора, который называют градиентом функции:

Здесь i, j, k - единичные векторы, параллельные координатным осям. Частные производные характеризуют изменение функции по каждой независимой переменной в отдельности. Образованный с их помощью вектор градиента дает общее представление о поведении функции в окрестности точки (x, y, z). Направление этого вектора является направлением наиболее быстрого возрастания функции в данной точке. Противоположное ему направление, которое часто называют антиградиентным, представляет собой направление наиболее быстрого убывания функции. Модуль градиента

определяет скорость возрастания и убывания функции в направлении градиента и антиградиента. Для всех остальных направлений скорость изменения функции в точке (x, y, z) меньше модуля градиента. При переходе от одной точки к другой как направление градиента, так и его модуль, вообще говоря, меняются. Понятие градиента естественным образом переносится на функции любого числа переменных.

Перейдем к описанию метода градиентного спуска. Основная его идея состоит в том, чтобы двигаться к минимуму в направлении наиболее быстрого убывания функции, которое определяется антиградиентом. Эта идея реализуется следующим образом.

Выберем каким-либо способом начальную точку, вычислим в ней градиент рассматриваемой функции и сделаем небольшой шаг в обратном, антиградиентном направлении. В результате мы придем в точку, в которой значение функции будет меньше первоначального. В новой точке повторим процедуру: снова вычислим градиент функции и сделаем шаг в обратном направлении. Продолжая этот процесс, мы будем двигаться в сторону убывания функции. Специальный выбор направления движения на каждом шаге позволяет надеяться на то, что в данном случае приближение к наименьшему значению функции будет более быстрым, чем в методе покоординатного спуска.

Метод требует вычисления градиента целевой функции на каждом шаге. Если она задана аналитически, то это, как правило, не проблема: для частных производных, определяющих градиент, можно получить явные формулы. В противном случае частные производные в нужных точках приходится вычислять приближенно, заменяя их соответствующими разностными отношениями:

Отметим, что при таких расчетах , нельзя брать слишком малым, а значения функции нужно вычислять с достаточно высокой степенью точности, иначе при вычислении разности

будет допущена большая ошибка.

На рис.10.12 изображены линии уровня той же функции двух переменных u=f(x,y), что и на рис.10.11, и приведена траектория поиска ее минимума с помощью метода градиентного спуска. Сравнение рис.10.11 и рис.10.12 показывает, насколько более эффективным является метод градиентного спуска.

Рис. 10.11.  Поиск наименьшего значения функции методом градиентного спуска.

Рис. 10.12.  Поиск наименьшего значения функции методом наискорейшего спуска.