Вопрос 39. Вероятностное динамическое программирование в случае бесконечного горизонта планирования: алгоритм определения оптимальной долгосрочной стратегии

Из теории марковских процессов известно, что любая эргодическая марковская система с течением времени переходит в стационарное состояние с независящими от времени вероятностями состояний. В связи с этим возникает вопрос определения оптимальных стратегий для установившегося состояния системы.

Предположим, что в задаче принятия решений имеется S стационарных стратегий. Пусть - матрицы переходных (одношаговых) вероятностей и доходов, соответствующие применяемой стратегии, и . Алгоритм расчета включает следующие шаги.

Шаг 1. Вычисляется - ожидаемый доход, получаемый за один этап при стратегии s для заданного состояния .

Шаг 2. Вычисляются стационарные вероятности для матрицы переходных вероятностей , соответствующие стратегии s . Эти вероятности находятся из уравнений

где .

Шаг 3. Вычисляется ожидаемый доход за один шаг (этап) при выбранной стратегии s:

Шаг 4. Оптимальная стратегия определяется из условия

Вопрос 40. Назначение, общая характеристика и примеры использования имитационного моделирования в экономике и социальной сфере

Целью имитационного моделирования (ИМ) является создание среды или устройства, позволяющих экспериментальным путем получить нужную информацию об объектах окружающего мира без непосредственного контакта с этими объектами. Соответствующее экспериментальное устройство (имитатор), должно в основных чертах, быстро и экономно повторять (имитировать) поведение реальной системы.

Имитационное моделирование является чрезвычайно эффективным инструментом исследования поведения реальных систем. Методы ИМ позволяют получить необходимую информацию о поведении экономической, технической, биологической и др. систем путем создания их компьютеризованных моделей. Эта информация может использоваться, например, для проектирования системы.

ИМ не решает оптимизационных задач, но позволяет оценить функциональные характеристики моделируемой системы и выбрать удовлетворяющее ЛПР решение.

ИМ применяется практически повсеместно – в естественных науках, технике, экономике, социологических исследованиях и т.д. и т.п. Важными практическими задачами, решаемыми с помощью ИМ, являются:

Производственно-технические задачи (системы массового обслуживания, системы связи, управление запасами);

Экономические и коммерческие задачи (оценки поведения потребителя, определение цен, экономическое прогнозирование деятельности фирм);

Задачи социальной сферы (проблемы динамики народонаселения, влияние экологической обстановки на здоровье, прогнозирование группового поведения и др.);

Задачи анализа военной стратегии и тактики.

Преимущество ИМ над аналитическими моделями обусловлено тремя обстоятельствами:

Аналитические модели сложных систем часто невозможно построить из-за того, что на их поведение оказывают влияние плохо описываемые теоретически факторы (например, в финансовых моделях - случайный непрогнозируемый спрос, в производственных моделях – большое число поставщиков материалов и комплектующих и т.п.)

Аналитические модели обычно описывают стационарное решение, однако часто представляет интерес нестационарное поведение системы;

Для ИМ можно использовать широкий круг программного обеспечения – от обычных электронных таблиц типа Excel до программ, написанных на Pascal и C++, или с применением специально разработанных языков создания имитационных моделей (GPSS, SIMAN). Уровень необходимой для этого компьютерной и математической подготовки сегодня значительно снижен.

Можно выделить два типа имитационных моделей.

Непрерывные модели используются для систем, поведение которых изменяется непрерывно во времени (пример – народонаселение мира).

Дискретные модели описывают системы, поведение которых изменяется лишь в заданные моменты времени (например – очередь). Те моменты времени, когда в системе происходят изменения, определяют события модели (например, приход или уход клиента). В теории принятия решений, как правило, используют именно дискретные модели.