Глава 20. Тестирование и оптимизация торговых систем 717

Хотя наихудший в прошлом набор параметров, похоже, оказывается и наихудшим набором параметров в будущем, другие прошлые оценки результативности, как кажется, подразумевают значительно меньшую предсказательную ценность. Средняя (нейтральная) оценка набора па­раметров равна 4,5 (если отбросить наихудшую оценку 9). Посмотрим, как себя вел набор параметров, оптимальный для предшествующего восьмилетнего периода. Как видно из табл. 20.15, в первый тестовый период этот набор сохранил свое первое место, во второй — спустил­ся на седьмое, а в третьем периоде занял второе место. Итого в сред­нем за три тестовых периода этот набор получил оценку 3,3, что все-таки лучше, чем нейтральная оценка 4,5. Однако, набор параметров, который на предшествующем восьмилетнем периоде занял всего лишь четвертое место, на тестовых периодах достиг значительно лучшего результата (2,3). Также заметьте, что наборы параметров, занявшие по­чти полярно противоположные места на предшествующем восьмилет­нем периоде (2 и 8), на трех тестовых периодах дают почти идентич­ные результаты: 4,7 и 5,0.

Чтобы понять, почему наихудшая оценка результативности на пред­шествующем периоде точно предсказывает будущую результативность (набор параметров продолжает давать плохие результаты), в то время как другие оценки результативности, по-видимому, имеют мало пред­сказательного значения, мы исследуем оценку результативности, осно­ванную на значениях параметров. В табл. 20.16 показаны результаты наборов параметров, перечисленные в порядке возрастания значения самого параметра (а не в порядке возрастания результативности за про­шедший восьмилетний период, как это было в табл. 20.15).

Как видно из табл. 20.16, на каждом из тестовых периодов наихуд­шую результативность показал один и тот же набор параметров! Этот набор параметров с постоянной наихудшей результативностью распо­лагается на одном из концов протестированного диапазона наборов па­раметров: N = 20.

Хотя N = 20 — наиболее чувствительное из протестированных зна­чений наборов параметров — постоянно приводит к наихудшей резуль­тативности (когда применяется к портфелю), другие протестированные значения (от N = 30 до N = 100) ведут себя не так стабильно. Обрати­те внимание на то, что набор параметров N = 80 показал невероятно высокий средний ранг 1,3. Однако средние ранги двух соседних зна­чений N (6,7 и 3,3) подразумевают, что звездная результативность зна­чения N = 80, скорее всего, была статистической случайностью. Как уже объяснялось ранее в этой главе, недостаточная устойчивость к из­менению параметра предполагает, что прошлая превосходная резуль­тативность данного параметра, вероятно, отражает лишь своеобразие тестируемых исторических данных, а не ту модель, которая будет по­вторяться в будущем.

718 ЧАСТЬ 4. торговые системы и измерение эффективности торговли

Таблица 20.15.

Система пробоя (портфель):

РАНГИ НАБОРОВ ПАРАМЕТРОВ НА ДВУХГОДИЧНЫХ ТЕСТОВЫХ ПЕРИОДАХ ПО СРАВНЕНИЮ С РАНГАМИ НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ

Ранг набора Ранг того же параметров на набора	Ранг того же набора	Ранг того же набора	Средний ранг
предшествующем параметров 8-летнем периоде в 1989-1990	параметров в 1991-1992	параметров в 1993-1994
1 1	7	2	3,3
2 5	1	8	4,7
3 3	6	4	4,3
4 2	4	1	2,3
5 4	8	6	6,0
6 6	3	7	5,3
7 7	5	3	5,0
8 8	2	5	5,0
9 9	9	9	9,0

Таблица 20.16