4 сентября 2015 long-short.ru
Можно было бы подумать, что чем больше идей тестировать на исторических данных и чем чаще, тем выше шансы обнаружить торговое преимущество (edge). Однако случается прямо противоположное: шансы открыть что-то ценное уменьшаются с повышением частоты бэктестинга.
Если вы думаете, что это контр-интуитивно, попробуйте посмотреть на это так: если бы частота бэктестинга имела значение в обнаружении преимущества, тогда все эти трейдеры с алгоритмами машинного обучения были бы богатыми. Так что за процесс превращает бэктестинг со временем в бессмысленное занятие?
Ответ - предвзятость (bias) дата-майнинга. По мере того, как разработчик торговых систем тестирует все больше идей, новых или модифицированных старых, предвзятость дата-майнинга увеличивается и в какой-то момент становится такой большой, что вероятность обнаружения "торгового преимущества" через бэктестинг становится близкой к единице. По сути это означает, что сложилось двустороннее взаимодействие между тем кто бэктестирует и процессом бэктестинга. Это ключевой элемент, который упускается, когда трейдер верит, что с увеличением частоты бэктестинга шансы на успех растут.
Вероятность P обнаружения "торгового преимущества" как функция числа попыток бэктестинга N:
На иллюстрации выше, "а" это в общем случае нелинейная функция N и других параметров, принимающая значение меньшее или равное единице. Это значит, что вероятность P стремится к нулю с ростом N. По сути, те, кто проводят бэктестинг постоянно, имеют мало шансов обнаружить преимущество. В том числе программы машинного обучения, копающие данные беспрерывно, пока не обнаружится что-нибудь переподогнанное на-выборке (in-sample) и по чистой случайности подогнанное вне-выборки (out-of-sample) (более подробно здесь).
В общем, трейдеры должны использовать бэктестинг только когда у них уже есть отличная идея, которую нужно протестировать. Вообще, эта идея должна быть уникальной насколько это возможно. Тогда целью будет попытаться развенчать ее, а не доказать, что она хороша, если добавить в нее фильтров и условий.
Одна из базовых проблем пользователей бектестинга - они пытаются доказать, что идея хороша, вместо того, чтобы пытаться сделать совершенно противоположное. Причина этого в том - и это тоже контр-интуитивно - что торговых преимуществ очень мало и вероятность того, что найденная бектестингом идея это игра случая, близка к единице.
http://www.long-short.ru/ (C) Источник
Не является индивидуальной инвестиционной рекомендацией
При копировании ссылка обязательна Нашли ошибку: выделить и нажать Ctrl+Enter
Если вы думаете, что это контр-интуитивно, попробуйте посмотреть на это так: если бы частота бэктестинга имела значение в обнаружении преимущества, тогда все эти трейдеры с алгоритмами машинного обучения были бы богатыми. Так что за процесс превращает бэктестинг со временем в бессмысленное занятие?
Ответ - предвзятость (bias) дата-майнинга. По мере того, как разработчик торговых систем тестирует все больше идей, новых или модифицированных старых, предвзятость дата-майнинга увеличивается и в какой-то момент становится такой большой, что вероятность обнаружения "торгового преимущества" через бэктестинг становится близкой к единице. По сути это означает, что сложилось двустороннее взаимодействие между тем кто бэктестирует и процессом бэктестинга. Это ключевой элемент, который упускается, когда трейдер верит, что с увеличением частоты бэктестинга шансы на успех растут.
Вероятность P обнаружения "торгового преимущества" как функция числа попыток бэктестинга N:
На иллюстрации выше, "а" это в общем случае нелинейная функция N и других параметров, принимающая значение меньшее или равное единице. Это значит, что вероятность P стремится к нулю с ростом N. По сути, те, кто проводят бэктестинг постоянно, имеют мало шансов обнаружить преимущество. В том числе программы машинного обучения, копающие данные беспрерывно, пока не обнаружится что-нибудь переподогнанное на-выборке (in-sample) и по чистой случайности подогнанное вне-выборки (out-of-sample) (более подробно здесь).
В общем, трейдеры должны использовать бэктестинг только когда у них уже есть отличная идея, которую нужно протестировать. Вообще, эта идея должна быть уникальной насколько это возможно. Тогда целью будет попытаться развенчать ее, а не доказать, что она хороша, если добавить в нее фильтров и условий.
Одна из базовых проблем пользователей бектестинга - они пытаются доказать, что идея хороша, вместо того, чтобы пытаться сделать совершенно противоположное. Причина этого в том - и это тоже контр-интуитивно - что торговых преимуществ очень мало и вероятность того, что найденная бектестингом идея это игра случая, близка к единице.
http://www.long-short.ru/ (C) Источник
Не является индивидуальной инвестиционной рекомендацией
При копировании ссылка обязательна Нашли ошибку: выделить и нажать Ctrl+Enter