Глава 20. Тестирование и оптимизация торговых систем 721

ТЕСТИРОВАНИЕ ИЛИ ПОДГОНКА?

Вероятно, наиболее существенная ошибка, которую делают пользова­тели фьючерсных торговых систем — это предположение, что резуль­тативность оптимизированного набора параметров во время тестово­го периода представляет собой прогноз потенциальной результативно­сти подобных наборов в будущем. Как было показано в предыдущем разделе, подобные предположения приведут к значительной переоцен­ке истинного потенциала системы. Необходимо понимать, что ценовые колебания на фьючерсном рынке в большой степени случайны. Таким образом, «горькая правда» состоит в том, что вопрос, какой из набо­ров параметров приведет к наилучшему результату в течение любого данного периода — в большой степени дело удачи. Законы вероятно­сти показывают, что если протестировано достаточное количество на­боров параметров, даже в бессмысленной торговой системе обнаружат­ся некоторые наборы с лучшей результативностью в прошлом. Оценка системы, основывающаяся на оптимизированных наборах параметров (т.е. наборах с наилучшей результативностью на рассматриваемом пе­риоде), является подгонкой системы под прошлые результаты, а не те­стированием системы. Если оптимизация не может использоваться для оценки результативности, как же тогда вы оцените систему? Следую­щий раздел описывает два разумных подхода.

Слепое моделирование

При использовании «слепого моделирования» система оптимизируется с использованием данных временного периода, который намеренно исключает последние годы. Результативность системы затем тестирует­ся с использованием полученных наборов параметров на последующих годах. В идеале, этот процесс следует повторить несколько раз.

Заметьте, что мы избегаем подгонки результатов, поскольку наборы параметров, используемые для измерения результативности в любой дан­ный период, выбираются полностью на основе предшествующих, а не те­кущих данных. В некотором смысле такой подход к тестированию воспро­изводит реальную жизнь (т.е. приходится на основании прошлых данных решать, при каком наборе параметров торговать). Оптимизационные те­сты из предыдущего раздела использовали этот тип процедуры, передви­гаясь во времени по двухгодичным интервалам; в частности, результаты системы для периода 1981-1988 гг. использовались, чтобы выбрать на­боры параметров с наилучшей результативностью, которые потом тести­ровались для периода 1989-1990 гг. Далее результаты системы для пе­риода 1983-1990 гг. использовались при выборе наиболее результатив-

722 ЧАСТЬ 4. торговые системы и измерение эффективности торговли

ных наборов параметров, которые затем были протестированы для пери­ода 1991-1992 гг. И наконец, результаты системы за период 1985-1992 гг. использовались при выборе наиболее результативных наборов пара­метров, которые затем были протестированы для периода 1993-1994 гг. Важнейший момент состоит в том, чтобы периоды «слепого моде­лирования» и оптимизации не накладывались один на другой. Модели­рование, которое производится на том же периоде, что и оптимизация, не имеет ценности.

Средняя результативность набора параметров

Отыскание средней результативности набора параметров требует преж­де всего определения полного списка всех наборов параметров, кото­рых нужно протестировать. Затем проводятся тесты для всех выбран­ных наборов параметров, и средний результат для всех протестирован­ных наборов используется в качестве показателя потенциальной резуль­тативности системы. Этот подход является жизнеспособным, посколь­ку вы всегда можете наугад выбрать параметр из широкого диапазона значений. Если вы сделаете такой выбор достаточное количество раз, ваша итоговая прибыль будет равна среднему результату набора пара­метров. Важный момент состоит в том, что этот средний результат дол­жен быть вычислен для всех наборов параметров, а не лишь для тех на­боров, которые доказали свою прибыльность. Обратите внимание, что трейдер все-таки может выбрать для будущей торговли оптимизирован­ные наборы параметров (вместо выбранных случайным образом), но оценка результативности системы будет основываться на средней ре­зультативности для всех протестированных наборов (что эквивалентно процессу случайного выбора).

Слепое моделирование, возможно, подходит наиболее близко к воспроизведению обстоятельств торговли, осуществляемой в реальной жизни. Однако средняя результативность набора параметров, возмож­но, не менее консервативна и имеет то преимущество, что требует на­много меньше вычислений. Оба подхода предоставляют жизнеспособ­ные процедуры для тестирования систем.

Одно важное предостережение: в рекламе торговых систем термин «результаты моделирования» (simulated results) часто используется в ка­честве эвфемизма для оптимизированных результатов (вместо того, что­бы подразумевать результаты, основанные на процессе слепого моде­лирования (blind simulation)). В таких случаях весомость, придаваемая результатам, должна быть равна количеству денег, которые вам не жал­ко выбросить, т.е. нулю. Часто встречающееся неправильное употреб­ление и искажение результатов моделирования детально исследуется в следующем разделе.