58. Марковские процессы. Выражение (основа) для формулировки марковской задачи в виде задачи линейного программирования.
Марковскую задачу принятия решений при бесконечном числе этапов как с дисконтированием, так и без можно сформулировать и решить как задачу линейного программирования. Рассмотрим сначала случай без дисконтирования.
Марковская
задача без дисконтирования при бесконечном
числе этапов сводится к нахождению
оптимальной стратегии
,
соответствующей
где
- множество всех возможных стратегий,
здесь
,
представляют установившиеся вероятности
марковской цепи
.
Подобная задача была решена полным
перебором всех стратегий
.
Приведенная
задача служит основой для формулировки
марковской задачи принятия решений в
виде задачи линейного программирования.
Однако необходимо преобразовать
переменные задачи таким образом, чтобы
оптимальное решение автоматически
определяло оптимальное действие
(альтернативу)
,
когда система находится в состоянии
.
Совокупность всех оптимальных действий
определяет оптимальную стратегию
.
59. Марковские процессы. Формулировка Марковской задачи в виде задачи линейного программирования. Постановка задачи.
Задача без дисконтирования.
Введем
обозначение:
- условная вероятность выбора альтернативы
,
когда система находится в состоянии
.
Тогда задачу можно представить в
следующем виде.
Максимизировать
При ограничениях
Преобразование этой задачи в задачу линейного программирования:
Обозначим
для всех
и
.
По определению величина
представляет собой совместную вероятность
пребывания в состоянии
и принятия решения
.
Из теории вероятностей известно, что
.
Следовательно,
.
Поэтому очевидно, что ограничение
можно записать в виде:
.
Ограничение
также автоматически вытекает из способа
определения
через
.
Таким образом, задачу можно записать в
виде
Максимизировать
При
ограничениях
,
Задача с дисконтированием.
Минимизировать
При
ограничениях
Двойственной к приведенной задаче является задача
Максимизировать
При
ограничениях
60. Марковские процессы. Пример формулировки задачи садовника без дисконтирования при бесконечном числе этапов в виде задачи линейного программирования.
Формулировка задачи садовника без дисконтирования в виде задачи линейного программирования
Максимизировать
При
ограничениях
Оптимальным
решением является
,
,
,
.Это
означает, что
.
Таким образом, оптимальная стратегия
требует выбора альтернативы 2 (k=2) при
.
Оптимальное значение
равно 4,7(6/59)+3,1(31/59)+0,4(22/59)=2,256.
76. Понятие регрессионного анализа.
Данный анализ определяет связь между зависимой величиной (например, спрос на продукцию) и независимой величиной (например, временем). Часто применяемая формула регрессии, описывающая зависимость между переменной y и независимой переменной x, имеет вид:
,
где
- неизвестные параметры. Случайная
ошибка
имеет нулевое математическое ожидание
и постоянную дисперсию (т.е. дисперсия
случайной величины
одинакова для всех наблюдаемых значений
y).
Самая простая регрессионная модель предполагает, что зависимая переменная линейна относительно независимой переменной, т.е.
Константы a и b определяются из временного ряда с использованием метода наименьших квадратов.
77. Метод наименьших квадратов.
Регрессионный
анализ определяет связь между зависимой
величиной
и независимой величиной
.
Для описания функциональной зависимости
применяются различные формулы регрессии.
Процесс построения регрессионной
зависимости аналогичен для разных
функций.
Чтобы
понять основные положения регрессионного
анализа можно использовать самую
простейшую модель:
,
параметры
и
несущественные. Они определяются из
временного ряда с помощью различных
методов, наиболее известным из них
является метод наименьших квадратов,
в соответствии с которым значения этих
констант соответствуют минимуму суммы
квадратов разностей между наблюдаемыми
и вычисляемыми величинами. Чтобы найти
значения
и
записывается функция:
Значения коэффициентов и определяются из условия минимума значения функции :
Решение системы дает и :
,
