2. Анализ работы системы поддержки принятия решений

В рамках исследовательской работы была проведена серия экспериментов над модулем поддержки принятия решений. Суть экспериментов заключалась в следующем.

Группа экспертов периодически прогнозировала динамику нескольких ключевых акций на две недели вперёд. Оценка всех экспертов усреднялась и записывалась.

Одновременно программный комплекс для тех же акций тоже прогнозировал динамику котировок. Использовались 5 разных базовых числа для генератора псевдослучайных чисел, после чего оценка усреднялась и записывалась.

Через две недели собирались показания реального рынка ценных бумаг для этих акций и сравнивались с прогнозами экспертов и программного комплекса. В качестве критериев использовались показатели, описанные в параграфе 2.4.1 этой работы. Расчёты производились при помощи ПО «DeductorAcademic» версии 5.2 по сценарию «time_series_model.ded» [44].

Результаты сравнения краткосрочных прогнозов экспертов и системы поддержки принятия решений «fimas»

Показатель	Модель	Среднее значение	Диапазон
MAPE	Эксперты	5,6 %	2%-15%
	Система «FIMAS»	16,8 %	6%-45%
	Эксперты	0,35	0,18-0.63
	Система «FIMAS»	0,75	0,34-0.92
	Эксперты	0,03	0,01-0,18
	Система «FIMAS»	0,13	0,06-0,27

Результаты сравнения среднесрочных прогнозов экспертов и системы поддержки принятия решений «fimas»

Показатель	Модель	Среднее значение	Диапазон
MAPE	Эксперты	8,6 %	2%-32%
	Система «FIMAS»	10,8 %	3%-40%
	Эксперты	0,53	0,31-0.82
	Система «FIMAS»	0,59	0,27-0.88
	Эксперты	0,08	0,01-0,26
	Система «FIMAS»	0,10	0,01-0,33

Эксперименты продолжались на протяжении несколько месяцев. За это время было проведено 12 таких экспериментов. Сводные результаты экспериментов представлены в таблицах Таблица 3.11и Таблица 3.12. Они оказались неоднозначными.

В краткосрочной перспективе эксперты были заметно точнее, чем прогнозы с помощью программного комплекса. Это притом, что эксперты не специализируются на таких прогнозах из-за их низкой рентабельности и больших трудозатрат. Неудачи системы поддержки принятия решений можно объяснить тем, что в сценариях не используются стратегии, в которых учитывались бы многочисленные особенности дейтрейдинга.

В среднесрочной перспективе прогнозы программного комплекса совпадали с прогнозами экспертов или были чуть хуже их. Совпадения можно объяснить большой ролью фундаментальных трейдеров на реальных рынках и тем фактом, что новости одинаково оценивались виртуальными трейдерами, реальными трейдерами и экспертами.

В нескольких случаях программный комплекс «FIMAS» даже сумел превзойти экспертов по точности прогнозов. Один из примеров – последствия обвала 17 марта 2008 года. В этот день продажа крупного американского инвестиционного банка «Bear Stearns» вызвала резкое падение индексов на мировых рынках. Банк «JP Morgan», который купил «Bear Stearns», заплатил за одну акцию инвестбанка всего 2 долларов, что в 15 раз меньше курсовой стоимости бумаг «Bear Stearns». В результате этого 17 марта, после начала торгов лондонский индекс FTSE 100 опустился на 2,2%, немецкий индекс DAX потерял 1,41%. Падение индексов на азиатских биржах было ещё более значительным: японский Nikkei упал на 3,5%, гонконгский Hang Seng – на 5,2% [35].

Эксперимент начался 17 марта после опубликования новости о продаже. Днём эксперты сделали свой прогноз для нескольких крупных мировых банков, включая «Bank of America», «Bank of New York», «Citigroup», «UBS AG». Одновременно для тех же банков прогноз дала и система «FIMAS». Через две недели была собрана статистика с реального рынка и проанализирована по стандартному набору статистических показателей, которые были описаны в параграфе 2.4.1 этой работы.

Рис. 3.64. Сравнение прогнозов экспертов, расчётов системы «FIMAS» и реальной цены для Citigroup Inc

На рисунке Рис. 3.64 приводится сравнение прогнозов экспертов, расчётов программы и реальной цены для Citigroup Inc, на рисунке Рис. 3.65 – критерии оценки качества прогнозов. Как мы видим, программный комплекс смог более точно (примерно в полтора-два раза) рассчитать первоначальное падение цены и последующее её восстановление.

Рис. 3.65. Критерии оценки качества прогнозов. «Модель 1» – прогноз системы «FIMAS», «Модель 2» – прогноз экспертов

Обвал 17 марта 2008 года отразился на стоимости акций других компаний похожим образом. Программный комплекс смог и для них дать прогноз с большой степенью точности. Стоит заметить, что эксперты со временем корректировали свои прогнозы, и в краткосрочном периоде (до одного дня) они были точней программного комплекса. Но в среднесрочных прогнозах на тот период программный комплекс «FIMAS» оказывался более точным.

Из-за этих противоречий в повседневной деятельности программный комплекс «FIMAS» не смог заменить опыт экспертов и автоматизировать процесс покупки-продажи акций. Но эксперты продолжают использовать «FIMAS» как один из инструментов поддержки принятия решений.

Другой областью практического применения системы стал расчёт экономических эффектов от крупных инвестиционных решений.

Если инвестиционная компания обладает небольшими активами, то её действия никак не могут повлиять на котировки акций, которыми она торгует. Однако, если её доля существенна, то последствия её решений (например, о продаже портфеля) могут сильно повлиять на цену ещё до начала торгов. В некоторых случаях, даже незначительные явления могут вызвать «эффект бабочки» и спровоцировать непредвиденные финансовые потери. Имитационное моделирование таких решений с помощью системы «FIMAS» помогает рассчитать эффект от любого инвестиционного решения и помочь выбрать оптимальную стратегию для проведения крупных операций с ценными бумагами.

Ключевой особенностью системы является то, что она обеспечивает комплексность прогнозов – не только цен, но и других показателей (объём торгов, доходы трейдеров, капитализация рынка и др.). Это позволяет инвестору глубже понимать причинно-следственные связи внутри рынка и быстрее находить оптимальные решения.

Другой особенностью системы стала поддержка сценарного метода. Комплекс способен помочь инвесторам принять правильное решение, например, при моделировании следующих сценариев:

1. Покупка / продажа крупного портфеля ценных бумаг. Насколько плавно это надо делать, чтобы не сбить цену?

2. Известно, что в компании есть люди, обладающие инсайдерской информацией и способные её использовать. Какое потенциальное влияние могут эти люди оказать на цену акций, насколько опасно инвестировать в такую компанию?

3. Известно, что акции компании сейчас серьёзно недооценены, но они малоликвидные. Какие существуют потенциальные риски?

4. Произошло событие, которое затрагивает несколько сфер экономики, с которыми косвенно связана интересующая нас компания. Насколько это событие повлияет на фундаментальную цену компанию и на реальную цену её акций?