Систематическая ошибка отбора при выборе торговой системы

[!!NIKA!!]

 

Ранее я говорил об опасностях систематической ошибки выжившего и важности даты начала. Я также говорил о необходимости сберегать данные вне выборки и поддерживать как можно меньшее количество оптимизируемых параметров, чтобы избежать ошибки, связанной с интеллектуальным анализом данных.

 

Кроме того, я упомянул, что единственными истинными данными вне выборки являются будущие данные, поскольку мы уже знаем, что рынок делал в прошлом.

 

В этой статье я расскажу о другой важной теме, известной как систематическая ошибка отбора. При разработке торговой системы систематическая ошибка отбора может возникать, когда трейдер тестирует на истории столь большое количество торговых идей, что почти наверняка натолкнется на хорошие результаты бэктестирования, но обнаружит, что это всего лишь случайность и везение.

 

Данную концепцию очень хорошо объяснил Майкл Харрис в блоге PAL.

 

Систематическая ошибка отбора в торговых системах

 

Рассмотрим процесс тестирования и оптимизации торговой системы. С помощью компьютера и торговой платформы можно протестировать сотни и тысячи различных комбинаций настроек.

 

Если вы протестируете достаточное количество разных стратегий, то в конечном итоге найдете ту, которая будет обеспечивать высокую доходность и показывать очень привлекательную кривую капитала.

 

Большинство трейдеров на этом этапе поймут, что если вы планируете рисковать своими с трудом заработанными деньгами на рынке, вы не можете полагаться только на одну красивую кривую капитала.

 

Одна кривая капитала не дает достаточной уверенности для торговли и может возникнуть по чистой случайности. Проблема в том, что потенциальная прибыль системы может быть случайной и, следовательно, вряд ли повторится в будущем.

 

Некоторые неопытные трейдеры могут подумать, что наткнулись на самую прибыльную торговую систему. Но на самом деле, если данная система случайна, она начнет работать неэффективно, как только будет запущена на реальном рынке.

 

Экспертная визуальная оценка кривой капитала

 

Майкл Харрис рассказывает об интересной аналогии с подбрасыванием монеты, которую мы можем использовать для объяснения этой проблемы.

 

Допустим, вы занимаетесь построением торговых систем и ищете систему с низкими просадками, положительным ожиданием и плавной восходящей кривой капитала.

 

Если да, то в вашем воображении всплывет нечто подобное приведенной ниже кривой капитала:

 

 

Уверен, вы согласитесь, что это неплохая кривая капитала. Она определенно не похожа на случайный график. Если бы ваш торговый счет мог расти такими же темпами, как этот график, то с полной уверенностью могу сказать, что в течение ряда лет вы были бы просто счастливы.

 

Но что, если я скажу вам, что приведенная выше кривая на самом деле является результатом 10 000 случайных подбрасываний монет?

 

Верно, случайные результаты могут генерировать красивые кривые капитала. Даже при таком размере выборки, как 10 000.

 

Таким образом, даже если результат подбрасывания монеты составляет 50/50 между орлом и решкой, запустите несколько симуляций, и вы можете натолкнуться на довольно жесткие последовательности прибылей/убытков и, следовательно, на некоторые возмутительно выглядящие графики капитала. Графики, которые выглядят совсем не рандомно.

 

Итак, проблема в том, что привлекательная кривая капитала может обмануть трейдера, заставив его поверить, что у него есть прибыльная торговая система, которая не является случайной.

 

Эта проблема может усугубиться, когда трейдер получает положительную кривую капитала для данных вне выборки, что также могло возникнуть по чистой случайности.

 

Это может произойти по той же причине. Если вы протестируете достаточное количество стратегий, то в конечном итоге найдете ту, которая хорошо выглядит как для данных внутри выборки, так и для данных за ее пределами, но в целом результат может оказаться случайностью, которая вряд ли повторится в будущем, когда вы запустите эту же систему на реальном рынке.

 

Эта проблема с еще большей вероятностью возникнет, когда трейдер использует только небольшой объем данных внутри выборки или вне выборки. Поскольку чем меньше размер выборки, тем легче возникают случайные результаты. См. закон малых чисел.

 

Случайна ли ваша торговая система?

 

Знать эту информации важно, но как трейдеры могут создавать торговые системы и быть уверенными в том, что они не являются случайными?

 

Ответ не всегда прост и во многом связан со статистикой. Но для начала мы можем использовать несколько основных принципов:

 

1) Прежде чем приступить к разработке своей торговой системы, убедитесь, что она основана на теоретических принципах. Не ищите в данных прибыльные закономерности, поскольку вы обязательно найдете множество прибыльных паттернов, которые на самом деле случайны. Это простой способ найти случайности и увлечься результатами на экране.

 

Если вы всё же решите пойти по этому пути, убедитесь, что у вас есть исчерпывающие методы для оценки надежности ваших паттернов.

 

2) Всегда имейте в запасе достаточно данных вне выборки для проверки своей системы. После того, как вы протестировали систему на данных внутри выборки, протестируйте ее один раз на данных вне выборки, чтобы увидеть, работает ли она аналогичным образом.

 

Не возвращайтесь к данным внутри выборки и не настраивайте систему на основе результатов вне выборки, потому что это пагубно скажется на данных и в значительной степени будет способствовать их подстройке. По сути, вы обманываете себя, используя последние данные для формирования правил на этапе отбора внутривыборочных данных.

 

Чем чаще вы тестируете свои данные, тем больше вероятность того, что вы обнаружите случайность, и тем сложнее вам будет ответить на этот вопрос.

 

Кроме того, вы можете первоначально протестировать свою систему на данных вне выборки, прежде чем протестировать ее на данных в пределах выборки, а также после тестирования на данных в пределах выборки. Иными словами, вы можете сделать это в конце или в начале. Или и так, и так.

 

Вы также можете запустить свою стратегию, используя разные даты начала и разные таймфреймы, чтобы лучше понять, был ли ваш первоначальный запуск случайным. Для логической автоматизации этого процесса можно настроить форвардный анализ.

 

3) Сохраняйте как можно меньшее количество параметров. Увеличение числа настраиваемых параметров увеличивает количество кривых капитала, которые могут быть сгенерированы, и экспоненциально увеличивает вероятность ошибки, связанной с интеллектуальным анализом данных.

 

Существуют прибыльные торговые системы, которые состоят всего из одного или двух настраиваемых параметров. Такие стратегии легче проверить на значимость, следовательно, они с большей вероятностью будут надежными.

 

4) При оптимизации параметров не обязательно выбирать наиболее эффективную переменную. Найдите диапазон переменных, в котором система работает хорошо, а затем выберите переменную, находящуюся в этом диапазоне.

 

Например, если система хорошо работает на пробое скользящей средней с периодом 100 дней, она должна также хорошо работать и на пробое скользящей средней с периодом 98 или 95 дней. Или на пробое скользящей средней с периодом 102 или 110 дней.

 

Если ваша система приносит годовую прибыль в размере 20% на пробое скользящей средней с периодом 100 дней и в то же время приносит убыток на пробое скользящей средней с периодом 99 или 101 день, то, вероятнее всего, ваша система с использованием скользящей средней с периодом 100 дней выдала вам случайный результат. Небольшие изменения параметров не должны оказывать сильное влияние на конечный результат.

 

Если ваша система не работает с очень похожими переменными, значит, велика вероятность того, что данный результат является случайным.

 

5) Протестируйте свою систему на других рынках. Аналогичным образом, как вы тестируете свою систему на данных вне выборки, для оценки ее надежности вы также можете протестировать свою систему и на других рынках.

 

Система, которая хорошо работает на сырой нефти, не обязательно должна работать на золоте, но если она показывает хорошие результаты и там, то это добавляет дополнительный уровень уверенности в том, что вы, скорее всего, нашли преимущество.

 

6) Для подтверждения результатов вашей системы относительно базового случайного результата используйте тесты значимости, такие как тест Монте-Карло и тест Уайта. Вы должны иметь возможность опровергнуть гипотезу, согласно которой ваша система может быть случайной.

 

Другими словами, вы должны иметь возможность сказать, что результаты вашей системы настолько хороши, что маловероятно, что ее положительная производительность будет случайным результатом.

 

Например, вы могли бы отыскать уровень значимости, который позволит вам с 99%-ной уверенностью сказать, что ваша система не является случайной. Никогда нельзя быть полностью уверенным ни в одной сфере науки. Лучшее, что вы можете сделать – это доказать, что нечто является маловероятным.

 

Систематическая ошибка отбора при выборе торговой системы: некоторые выводы

 

В целом, важно понимать, что на рынке очень мало «преимуществ», которыми может воспользоваться средний трейдер.

 

Основная цель системного трейдера должна заключаться в том, чтобы избегать аппроксимации (подстройки) данных, потому что это одна из самых распространенных и самых простых ошибок. Чем больше будет выполнено симуляций, тем больше вероятность возникновения этой ошибки.

 

Торговые системы должны быть простыми, и их надежность должна быть предпочтительнее, чем получение невероятной прибыли. Таким образом, трейдеры должны с осторожностью подходить к аппроксимации данных на каждом этапе своего пути, а также постоянно обращаться к статистике в целях получения бо́льшей уверенности в своих результатах. Трейдеры должны знать, что систематическая ошибка отбора/аппроксимация данных может происходить как среди данных вне выборки, так и внутри выборки.

 

 

Джо Марвуд, 
Переведено специально для Tlap.com

Изменено 11 мая, 2021 пользователем ju.vskv

[realnotstory]

Тот неудобный момент, когда после прочтения этой статьи, понимаешь случайность свое торговой системы.

А вообще, очень дельная вещь, мне особенно понравился пример теста 100 периодной скользящей и сопоставление результата с тестом 92-х периодно й и 110 перидной скользящей. Кстати, я всегда провожу проверку найденных систем на экстремальных отрезках кризиса 2008-го года, Довольно показательно, как они там сливают.

[Cohen]

Что значит проводить тестирование внутри выборки и вне выборки?

[pavlus777]

15 минут назад, Cohen сказал:

Что значит проводить тестирование внутри выборки и вне выборки?

При оптимизации.

Подобрали параметры под рынок 2015-2020. 

Тестируем также и 2021, на который не смотрели.

[ruudik]

       Доброго времени суток, трейдеры и сочувствующие... Большинство предлагаемых стратегий "привязывают" трейдера к одному из таймфреймов. Это происходит по тому, что их авторы не могут избавится от шумов на младших таймфреймах, применяя индикаторы с одним выбранным периодом. Ввиду того, что в расчёт любого индикатора входит его период (колич. баров или свечей) -  данный индикатор не может адекватно и одинаково верно воспроизвести торговую ситуацию на всех таймфреймах, поскольку один и тот же временной отрезок имеет разное количество баров или свечей.  Программисты "не хлопают ушами", создавая MTF-индикаторы.  Они (MTF-индикаторы) лишают трейдера шумов на младших таймфреймах. В этом их преимущество перед всеми другими индикаторами. На приведенном скриншоте представлен вид стратегии, с MTF-идикаторами. Здесь мы наблюдаем одну и ту же фазу тренда без шумов на младших таймфреймах.