Статьи ·
Как тестируется бэктест Metrand
У каждого правила, по которому рассчитывается бэктест, есть свои тесты: стоп, через который цена прошла гэпом, бар, дошедший и до стопа, и до тейка, лимитный ордер, через цену которого рынок так и не проторговал. Ещё две проверки держат движок целиком под двумя свойствами. Обе выполняются вместе с остальными тестами движка при каждом его изменении.
1. Прошлое не зависит от будущего
Проверка
Для стратегии и рынка:
- Прогнать стратегию.
- Выбрать момент T. Заменить каждую свечу, которая открывается в T или позже, другим случайным продолжением, а с ней более мелкие свечи внутри, свечи любого другого рынка, который читает стратегия, и ставки фандинга начиная с T.
- Прогнать её ещё раз.
- Сравнить всё до T. Оно должно совпасть до последней цифры:
- каждое решение, принятое на баре, открывшемся до T, сравниваемое целиком как выданный план — сторона, размер, стоп, тейк и цены, которые стратегия видела;
- самый низкий, самый высокий и закрывающий капитал каждого бара, открывшегося до T;
- каждая сделка, закрытая до T, каждое её поле.
Бар, открывшийся до T, к моменту T уже закрыт, поэтому он может быть известен целиком; ничто, что открывается в T или позже, известно быть не может.
Почему решения, а не только сделки
Решение, принятое на закрытии бара, исполняется на открытии следующего. Если бы стратегия принимала решение на закрытии бара k−1, в момент T, по закрытию бара k, прогон с другим баром k изменил бы это решение — но сделка по нему начинается на открытии бара k, после T, и все сделки до T по-прежнему совпали бы. Подглядывание видно только в решении, поэтому проверка сравнивает решения.
Что она охватывает
| Стратегии | Что они делают |
|---|---|
| Каждый индикатор каталога, 32 | лонг, пока индикатор растёт, шорт, пока падает, по рынку |
| Пять шаблонов | Пересечение EMA, Моментум, Возврат к среднему, Пробой волатильности, Корзина трендового моментума — в опубликованном виде |
| Сетка и мартингейл | сетка покупок под перепроданным рынком; мартингейл в шорт над перекупленным |
| Управляемые выходы и сессия | входит post-only по моменту и объёму с 07:00 до 16:00 UTC; выходит через шесть баров или на баре шире среднего |
| Другой рынок | лонг BTC, пока ETH его обгоняет, шорт, пока отстаёт |
Каждая прогоняется восемью способами: обычный прогон; прогрев на 100 часах до окна; с фандингом; на плече 20× при трёхступенчатой таблице маржи; на рендж-барах в процентах от закрытия дня и в шагах цены; с решениями по часам и торговлей на их 15-минутных свечах; в прежней модели исполнения по закрытию сигнального бара. Рынок — 360 часов 15-минутных свечей со спокойными, оживлёнными и бурными отрезками, гэпами между свечами и редкими скачками, так что стопы пробиваются гэпом, стоп и тейк оказываются на одной свече, а счета с плечом ликвидируются. Всего 500 прогонов, в которых до точек разреза совпали 83 751 решение, 57 681 бар и 11 587 сделок.
Ловит ли она подглядывание?
Проверка, которая никогда не падает, ничего не доказывает, поэтому её один раз запустили на движке с подложенным подглядыванием: объём каждого бара заменён объёмом следующего. Она упала на относительном объёме, на решении, принятом на баре прямо перед разрезом.
2. Второй симулятор
Проверка
Правила записаны второй раз, отдельно от движка и как можно проще: одна позиция, один лимитный ордер, одна лестница, решение на пути к следующему открытию и на каждом отрезке бара список того, что цена может там встретить. Этот второй симулятор знает движок только через его публичные вызовы. Правила, которые он реализует:
- Решение, принятое на закрытии бара, доходит до биржи на открытии следующего. Рыночный ордер исполняется по лучшей цене, сдвинутой проскальзыванием против счёта; вход против открытой позиции сначала закрывает её там же. Post-only ордер по цене через лучшую цену открытия отклоняется; иначе он стоит, пока рынок не проторгует через его цену или пока не истечёт его срок.
- Вход должен помещаться в покупательную способность в момент исполнения и в наибольшую позицию, которую таблица маржи рынка допускает при плече счёта; заявленный размер больше стартовой покупательной способности отклоняется.
- Фандинг начисляется на позицию, открытую на начало бара; выплата счёту сохраняется, только если бар заканчивается с той же позицией.
- Бар проходится открытие → минимум → максимум → закрытие и открытие → максимум → минимум → закрытие. На каждом отрезке цена встречает цену ликвидации, стоп, тейк и лимитные ордера в том порядке, в каком до них доходит; лонг выходит по биду, шорт по аску. Остаётся путь, после которого счёт на закрытии стоит меньше, а просадка берётся худшая из двух.
- Выходы платят проскальзывание и комиссию тейкера; ликвидация забирает весь баланс.
Подробно о каждом правиле — в статьях Как бэктест Metrand исполняет ордера внутри бара и Как бэктест Metrand считает ликвидацию и наибольшую позицию.
Через оба симулятора проходят 4000 случайных сценариев: счета с комиссиями от 0 до 10 б. п., проскальзыванием до 10 б. п., плечом от 1× до 50×, плоской или трёхступенчатой таблицей маржи и лимитными ордерами с ограниченным сроком; рынки с гэпами, барами без движения и длинными тенями, фандингом на открытиях баров и внутри них; случайные решения — рыночные и post-only входы в обе стороны, развороты, управляемые выходы, сетки и мартингейлы. Оба должны совпасть до последней цифры по каждому полю каждой сделки, по самому низкому, самому высокому и закрывающему капиталу каждого бара, по просадке и по каждому счётчику.
Ловит ли она ошибку?
| Подложенная ошибка | Поймана на |
|---|---|
| Post-only покупка ровно по цене аска принята, а не отклонена | 3-м сценарии |
| Выплата фандинга счёту сохранена на баре, который закрыл позицию | 3-м сценарии |
| Ничья между двумя путями бара разрешена в другую сторону | 15-м сценарии |
| Оставшиеся ордера лестницы продолжают стоять после закрытия её позиции | 3-м сценарии |
Чего проверки не охватывают
Они показывают, что движок следует своим правилам и никогда не читает будущее. Совпадают ли правила с правилами биржи — другой вопрос; на него правило за правилом по документации бирж ответил аудит, и он оставляет оговорённые приближения: стопы срабатывают по биду или аску, построенным в половине спреда от цен бара, а не по последней сделке, ликвидация считается по середине спреда, а не по маркировочной цене, а у свечи нет стакана, поэтому рыночный ордер исполняется по лучшей цене плюс проскальзывание прогона, какого бы размера он ни был.
Запустите первую проверку сами
Проверку на заглядывание в будущее можно повторить на своей стратегии без единой строки кода. Прогоните её дважды на одном рынке по двум окнам, которые начинаются в один день, — например, часовые бары с 1 января по 31 марта, а затем с 1 января по 30 июня. Каждая сделка, которую короткий бэктест закрыл до своего конца, должна быть той же сделкой в длинном, до цента; отличаться может только позиция, ещё открытая в конце марта, — короткий бэктест закрывает её там. Оба окна прогреваются на одних и тех же барах до 1 января, пока ни одно из них не приближается к 50 000 баров.
В API движка POST /backtest с "marks": true возвращает ещё и самый низкий, самый высокий и закрывающий капитал
каждого бара, так что то же сравнение можно сделать бар за баром.