Гайд 4 из 8
Как избежать подгонки
Оптимизация параметров и её проверка на данных вне выборки, проверка на периодах и корзинах и почему важны соседние значения параметров.
Подгонка — это настройка стратегии под шум одного отрезка истории. Чем больше чисел вы подстраиваете и чем больше вариантов пробуете, тем проще найти тот, что отлично выглядит на свечах, где вы его проверяли, и ничего не даёт на следующих. Сам по себе бэктест не отличит преимущество от удачной подгонки. Каждый из инструментов ниже позволяет взглянуть на результат ещё раз.
Оптимизатор и проверка вне выборки
На вкладке Бэктесты режим Оптимизация параметров перебирает сетку значений: до трёх чисел сохранённой версии, до 25 значений на каждое. Объёмы ордеров и фильтр по стакану исключены намеренно: больший объём масштабирует результат, не проверяя идею, а стакан ни один бэктест измерить не может.
Выбранное окно делится по времени. Каждая комбинация ранжируется на первых 70% (в выборке), а затем прогоняется на последних 30% (вне выборки) — на свечах, которых ранжирование не видело, со стратегией, уже прогретой на всём, что было до них. В каждой строке таблицы видны оба результата и пометки:
- держится вне выборки — итог выше нуля и в выборке, и вне выборки.
- мало сделок — меньше 30 закрытых сделок на обоих отрезках вместе, а это в основном случайность.
- эта версия — собственные значения версии; эта строка всегда есть в таблице для сравнения.
Если чисел два, тепловая карта показывает результат в выборке для каждой пары — там делается выбор; переключатель показывает результат вне выборки, чтобы этот выбор проверить. Под таблицей результаты также говорят, сколько комбинаций держались бы вне выборки чисто случайно: доля прибыльных в выборке, умноженная на долю прибыльных вне её. Намного больше — признак того, что ранжирование что-то нашло; примерно столько же — шум. Любую другую строку можно сохранить как новую версию, чтобы прогнать её в бэктесте и запустить на бумаге, как любую другую. Оптимизации нужно не меньше 100 свечей, и она платит те же издержки, что и бэктест. Тариф определяет, сколько комбинаций может перебрать одна оптимизация и сколько оптимизаций можно запустить за день.
Смотрите на окрестность, а не на лучшую строку
Верхняя строка — та, что лучше всего подошла к свечам в выборке, то есть именно та, которая скорее всего оказалась подгонкой. Смотрите лучше на её соседей. Если значения вокруг неё тоже дают хороший результат, а область держится вне выборки, идея не зависит от одного точного числа. Если одна яркая клетка окружена убыточными, это везение. Выбирайте настройку в середине широкой области, которая держится, даже если другая строка стоит выше в рейтинге. Выбирайте по карте в выборке: строка, выбранная по результату вне выборки, уже израсходовала проверку, поэтому проверьте сохранённую версию на более позднем периоде.
Проверка на периодах
Проверка на периодах прогоняет одну версию на нескольких отрезках истории, каждый как отдельный бэктест. Разделите выбранный период на равные части, от 2 до 8, или выберите готовые рыночные режимы: бычий рынок 2021 года, медвежий рынок 2022-го, восстановление 2023-го, год халвинга 2024-го и 2025 год. Каждый период начинается с нового счёта, прогретого на свечах перед ним, и каждый засчитывается как один бэктест в ваш дневной лимит.
Стратегия, которая зарабатывает в одном режиме и теряет в остальных, — это ставка на этот режим, а не преимущество. Это стоит знать до того, как следующий режим придёт вместе с реальными деньгами.
Корзина рынков
Корзина рынков торгует одной версией сразу на нескольких рынках, от 2 до 20, с одного общего капитала. Каждый рынок — отдельный бэктест на том же окне и с тем же размером капитала, а по общему капиталу результаты складываются свеча за свечой: доходность, заработок за год на стартовый капитал, максимальная просадка с учётом минимумов внутри свечей, Шарп по дневным значениям и наибольший объём, открытый одновременно. Баланс у рынков один: когда капитал счёта доходит до поддерживающей маржи всего, что они держат, счёт ликвидируется и остаётся на нуле, а корзина, рынки которой держали одновременно больше, чем счёт несёт при своём плече, помечается. Каждый рынок засчитывается как один бэктест в ваш дневной лимит.
Правило, которое работает на одной монете и не работает на большинстве других, скорее всего, выучило прошлое этой монеты. Правило, которое скромно зарабатывает на большинстве из них, с большей вероятностью описывает что-то реальное.
Повышенные издержки
Прогоните тот же бэктест с издержками ×2 и ×3 и посмотрите на порог безубыточности. Реальные исполнения редко бывают так же хороши, как в бэктесте, и результат, который исчезает при удвоенных комиссиях, никогда не был достаточно большим, чтобы им торговать.
Что показало собственное исследование платформы
В собственном исследовании платформа проверила 1 039 конфигураций из 13 семейств стратегий на бессрочных фьючерсах за период с 2021 по 2026 год. Большинство внутридневных идей, а также идей на возврат к среднему и на пробой теряли деньги после издержек хотя бы на одном периоде. Дневное следование за трендом с рыночным фильтром выдержало проверку. Но даже лучшая из этих конфигураций в 2025 и 2026 годах заработала гораздо меньше, чем с 2021 по 2023 год.
Это выводы о прошлом, полученные в одном исследовании. Они не обещают, что какая-либо стратегия, включая трендовые шаблоны, будет зарабатывать.
Чек-лист
- Держите стратегию компактной: два-три условия, три-четыре числа.
- Предпочитайте дневные или 4-часовые свечи минутным: издержки на сделку те же, а на коротких свечах сделок гораздо больше.
- Решите, что будете проверять, до того как посмотрите на результаты, и считайте каждый испробованный вариант.
- Проверьте: не меньше тридцати сделок, результаты вне выборки, другие периоды и другие рынки.
- Берите значения из широкой области, которая держится, а не из одной лучшей строки.
- Запустите стратегию на бумаге на живом рынке, прежде чем вкладывать реальные деньги.