Все гайды

Гайд 4 из 8

Как избежать подгонки

Оптимизация параметров и её проверка на данных вне выборки, проверка на периодах и корзинах и почему важны соседние значения параметров.

Подгонка — это настройка стратегии под шум одного отрезка истории. Чем больше чисел вы подстраиваете и чем больше вариантов пробуете, тем проще найти тот, что отлично выглядит на свечах, где вы его проверяли, и ничего не даёт на следующих. Сам по себе бэктест не отличит преимущество от удачной подгонки. Каждый из инструментов ниже позволяет взглянуть на результат ещё раз.

Оптимизатор и проверка вне выборки

На вкладке Бэктесты режим Оптимизация параметров перебирает сетку значений: до трёх чисел сохранённой версии, до 25 значений на каждое. Объёмы ордеров и фильтр по стакану исключены намеренно: больший объём масштабирует результат, не проверяя идею, а стакан ни один бэктест измерить не может.

Выбранное окно делится по времени. Каждая комбинация ранжируется на первых 70% (в выборке), а затем прогоняется на последних 30% (вне выборки) — на свечах, которых ранжирование не видело, со стратегией, уже прогретой на всём, что было до них. В каждой строке таблицы видны оба результата и пометки:

Если чисел два, тепловая карта показывает результат в выборке для каждой пары — там делается выбор; переключатель показывает результат вне выборки, чтобы этот выбор проверить. Под таблицей результаты также говорят, сколько комбинаций держались бы вне выборки чисто случайно: доля прибыльных в выборке, умноженная на долю прибыльных вне её. Намного больше — признак того, что ранжирование что-то нашло; примерно столько же — шум. Любую другую строку можно сохранить как новую версию, чтобы прогнать её в бэктесте и запустить на бумаге, как любую другую. Оптимизации нужно не меньше 100 свечей, и она платит те же издержки, что и бэктест. Тариф определяет, сколько комбинаций может перебрать одна оптимизация и сколько оптимизаций можно запустить за день.

Оптимизатор делит окно по времени. Каждая комбинация ранжируется на первых 70% (в выборке), а затем прогоняется на последних 30% (вне выборки) — на свечах, которых ранжирование не видело, со стратегией, уже прогретой на всём, что было до них.
Свечи вне выборки — это проверка: ранжирование их не видело.

Смотрите на окрестность, а не на лучшую строку

Верхняя строка — та, что лучше всего подошла к свечам в выборке, то есть именно та, которая скорее всего оказалась подгонкой. Смотрите лучше на её соседей. Если значения вокруг неё тоже дают хороший результат, а область держится вне выборки, идея не зависит от одного точного числа. Если одна яркая клетка окружена убыточными, это везение. Выбирайте настройку в середине широкой области, которая держится, даже если другая строка стоит выше в рейтинге. Выбирайте по карте в выборке: строка, выбранная по результату вне выборки, уже израсходовала проверку, поэтому проверьте сохранённую версию на более позднем периоде.

Две условные тепловые карты результата по двум числам. Слева одна яркая клетка среди убыточных — это везение. Справа держится широкая область — берите настройку из её середины.
Условный пример. Середина широкой области, которая держится, надёжнее одной яркой клетки.

Проверка на периодах

Проверка на периодах прогоняет одну версию на нескольких отрезках истории, каждый как отдельный бэктест. Разделите выбранный период на равные части, от 2 до 8, или выберите готовые рыночные режимы: бычий рынок 2021 года, медвежий рынок 2022-го, восстановление 2023-го, год халвинга 2024-го и 2025 год. Каждый период начинается с нового счёта, прогретого на свечах перед ним, и каждый засчитывается как один бэктест в ваш дневной лимит.

Окно, разделённое на четыре равных периода. Каждый прогревается на свечах перед ним, начинается с нового счёта и даёт свой результат — в этом примере +6%, −9%, +2% и −4%.
Условные результаты. Заработано в одном периоде и потеряно в остальных — значит, это ставка на тот период.

Стратегия, которая зарабатывает в одном режиме и теряет в остальных, — это ставка на этот режим, а не преимущество. Это стоит знать до того, как следующий режим придёт вместе с реальными деньгами.

Корзина рынков

Корзина рынков торгует одной версией сразу на нескольких рынках, от 2 до 20, с одного общего капитала. Каждый рынок — отдельный бэктест на том же окне и с тем же размером капитала, а по общему капиталу результаты складываются свеча за свечой: доходность, заработок за год на стартовый капитал, максимальная просадка с учётом минимумов внутри свечей, Шарп по дневным значениям и наибольший объём, открытый одновременно. Баланс у рынков один: когда капитал счёта доходит до поддерживающей маржи всего, что они держат, счёт ликвидируется и остаётся на нуле, а корзина, рынки которой держали одновременно больше, чем счёт несёт при своём плече, помечается. Каждый рынок засчитывается как один бэктест в ваш дневной лимит.

Правило, которое работает на одной монете и не работает на большинстве других, скорее всего, выучило прошлое этой монеты. Правило, которое скромно зарабатывает на большинстве из них, с большей вероятностью описывает что-то реальное.

Повышенные издержки

Прогоните тот же бэктест с издержками ×2 и ×3 и посмотрите на порог безубыточности. Реальные исполнения редко бывают так же хороши, как в бэктесте, и результат, который исчезает при удвоенных комиссиях, никогда не был достаточно большим, чтобы им торговать.

Что показало собственное исследование платформы

В собственном исследовании платформа проверила 1 039 конфигураций из 13 семейств стратегий на бессрочных фьючерсах за период с 2021 по 2026 год. Большинство внутридневных идей, а также идей на возврат к среднему и на пробой теряли деньги после издержек хотя бы на одном периоде. Дневное следование за трендом с рыночным фильтром выдержало проверку. Но даже лучшая из этих конфигураций в 2025 и 2026 годах заработала гораздо меньше, чем с 2021 по 2023 год.

Это выводы о прошлом, полученные в одном исследовании. Они не обещают, что какая-либо стратегия, включая трендовые шаблоны, будет зарабатывать.

Чек-лист

Предыдущий: Как читать результаты Далее: Графы стратегий