Статьи ·

Как тестируется бэктест Metrand

У каждого правила, по которому рассчитывается бэктест, есть свои тесты: стоп, через который цена прошла гэпом, бар, дошедший и до стопа, и до тейка, лимитный ордер, через цену которого рынок так и не проторговал. Ещё две проверки держат движок целиком под двумя свойствами. Обе выполняются вместе с остальными тестами движка при каждом его изменении.

1. Прошлое не зависит от будущего

Проверка

Для стратегии и рынка:

  1. Прогнать стратегию.
  2. Выбрать момент T. Заменить каждую свечу, которая открывается в T или позже, другим случайным продолжением, а с ней более мелкие свечи внутри, свечи любого другого рынка, который читает стратегия, и ставки фандинга начиная с T.
  3. Прогнать её ещё раз.
  4. Сравнить всё до T. Оно должно совпасть до последней цифры:
    • каждое решение, принятое на баре, открывшемся до T, сравниваемое целиком как выданный план — сторона, размер, стоп, тейк и цены, которые стратегия видела;
    • самый низкий, самый высокий и закрывающий капитал каждого бара, открывшегося до T;
    • каждая сделка, закрытая до T, каждое её поле.

Бар, открывшийся до T, к моменту T уже закрыт, поэтому он может быть известен целиком; ничто, что открывается в T или позже, известно быть не может.

Два прогона одной стратегии: совпадают до момента T, после него — другое будущее. До T каждое решение, капитал на каждом баре и каждая закрытая сделка должны совпасть
Проверка: меняем будущее, прошлое остаётся прежним.

Почему решения, а не только сделки

Решение, принятое на закрытии бара, исполняется на открытии следующего. Если бы стратегия принимала решение на закрытии бара k−1, в момент T, по закрытию бара k, прогон с другим баром k изменил бы это решение — но сделка по нему начинается на открытии бара k, после T, и все сделки до T по-прежнему совпали бы. Подглядывание видно только в решении, поэтому проверка сравнивает решения.

Свечи с k−3 по k+1. Решение на закрытии бара k−1, в момент T, читает закрытие бара k; сделка по нему начинается на открытии бара k, после T
Подглядывание на бар вперёд видно в решении, а не в сделках.

Что она охватывает

Стратегии Что они делают
Каждый индикатор каталога, 32 лонг, пока индикатор растёт, шорт, пока падает, по рынку
Пять шаблонов Пересечение EMA, Моментум, Возврат к среднему, Пробой волатильности, Корзина трендового моментума — в опубликованном виде
Сетка и мартингейл сетка покупок под перепроданным рынком; мартингейл в шорт над перекупленным
Управляемые выходы и сессия входит post-only по моменту и объёму с 07:00 до 16:00 UTC; выходит через шесть баров или на баре шире среднего
Другой рынок лонг BTC, пока ETH его обгоняет, шорт, пока отстаёт

Каждая прогоняется восемью способами: обычный прогон; прогрев на 100 часах до окна; с фандингом; на плече 20× при трёхступенчатой таблице маржи; на рендж-барах в процентах от закрытия дня и в шагах цены; с решениями по часам и торговлей на их 15-минутных свечах; в прежней модели исполнения по закрытию сигнального бара. Рынок — 360 часов 15-минутных свечей со спокойными, оживлёнными и бурными отрезками, гэпами между свечами и редкими скачками, так что стопы пробиваются гэпом, стоп и тейк оказываются на одной свече, а счета с плечом ликвидируются. Всего 500 прогонов, в которых до точек разреза совпали 83 751 решение, 57 681 бар и 11 587 сделок.

Ловит ли она подглядывание?

Проверка, которая никогда не падает, ничего не доказывает, поэтому её один раз запустили на движке с подложенным подглядыванием: объём каждого бара заменён объёмом следующего. Она упала на относительном объёме, на решении, принятом на баре прямо перед разрезом.

2. Второй симулятор

Проверка

Правила записаны второй раз, отдельно от движка и как можно проще: одна позиция, один лимитный ордер, одна лестница, решение на пути к следующему открытию и на каждом отрезке бара список того, что цена может там встретить. Этот второй симулятор знает движок только через его публичные вызовы. Правила, которые он реализует:

Подробно о каждом правиле — в статьях Как бэктест Metrand исполняет ордера внутри бара и Как бэктест Metrand считает ликвидацию и наибольшую позицию.

Через оба симулятора проходят 4000 случайных сценариев: счета с комиссиями от 0 до 10 б. п., проскальзыванием до 10 б. п., плечом от 1× до 50×, плоской или трёхступенчатой таблицей маржи и лимитными ордерами с ограниченным сроком; рынки с гэпами, барами без движения и длинными тенями, фандингом на открытиях баров и внутри них; случайные решения — рыночные и post-only входы в обе стороны, развороты, управляемые выходы, сетки и мартингейлы. Оба должны совпасть до последней цифры по каждому полю каждой сделки, по самому низкому, самому высокому и закрывающему капиталу каждого бара, по просадке и по каждому счётчику.

Что встретилось в 4000 сценариях: 39 529 стоп-лоссов, 18 366 мейкерских входов, 16 088 тейк-профитов, 13 690 управляемых выходов, 10 917 позиций лестниц, 10 351 свеча, решённая худшим путём, 8661 истёкший ордер, 8090 сделок с фандингом, 6469 отклонённых post-only, 5122 входа сверх лимита позиции, 665 ликвидаций и 598 позиций, закрытых в конце данных
Проверка падает и тогда, когда сценарии перестают охватывать что-то из этого.

Ловит ли она ошибку?

Подложенная ошибка Поймана на
Post-only покупка ровно по цене аска принята, а не отклонена 3-м сценарии
Выплата фандинга счёту сохранена на баре, который закрыл позицию 3-м сценарии
Ничья между двумя путями бара разрешена в другую сторону 15-м сценарии
Оставшиеся ордера лестницы продолжают стоять после закрытия её позиции 3-м сценарии

Чего проверки не охватывают

Они показывают, что движок следует своим правилам и никогда не читает будущее. Совпадают ли правила с правилами биржи — другой вопрос; на него правило за правилом по документации бирж ответил аудит, и он оставляет оговорённые приближения: стопы срабатывают по биду или аску, построенным в половине спреда от цен бара, а не по последней сделке, ликвидация считается по середине спреда, а не по маркировочной цене, а у свечи нет стакана, поэтому рыночный ордер исполняется по лучшей цене плюс проскальзывание прогона, какого бы размера он ни был.

Запустите первую проверку сами

Проверку на заглядывание в будущее можно повторить на своей стратегии без единой строки кода. Прогоните её дважды на одном рынке по двум окнам, которые начинаются в один день, — например, часовые бары с 1 января по 31 марта, а затем с 1 января по 30 июня. Каждая сделка, которую короткий бэктест закрыл до своего конца, должна быть той же сделкой в длинном, до цента; отличаться может только позиция, ещё открытая в конце марта, — короткий бэктест закрывает её там. Оба окна прогреваются на одних и тех же барах до 1 января, пока ни одно из них не приближается к 50 000 баров.

В API движка POST /backtest с "marks": true возвращает ещё и самый низкий, самый высокий и закрывающий капитал каждого бара, так что то же сравнение можно сделать бар за баром.