Статьи ·
Аудит бэктеста, часть 4: проверка самого бэктеста
Часть 1 исправила то, как движок торгует, часть 2 — то, что он получает на вход, часть 3 — то, как читаются его результаты. Каждое исправление пришло со своими тестами. Эта часть добавляет две проверки, которые не ищут какую-то одну ошибку: они держат весь движок под двумя свойствами и выполняются при каждом его изменении.
Ничего из будущего
Бэктест честен, только если на каждом баре стратегия знает то, что к этому моменту знал бы живой запуск, и ничего больше. Подглядывание может прийти откуда угодно: индикатор, посчитанный по всему ряду сразу, рендж-бар с меткой времени раньше его закрытия, ставка фандинга, применённая до публикации, бар другого рынка, прочитанный до закрытия, настройка, выведенная из всех свечей разом.
Поэтому проверка не разбирает каждую из этих возможностей. Она прогоняет стратегию, затем прогоняет её ещё раз, заменив всё после случайного момента другим будущим — свечи, более мелкие свечи внутри них, свечи другого рынка и ставки фандинга, — и требует, чтобы всё до этого момента осталось ровно таким же:
- каждое решение, сравниваемое целиком как план, который стратегия выдала на своём баре: сторона, размер, стоп, тейк и цены, которые она видела;
- самый низкий, самый высокий и закрывающий капитал счёта на каждом баре;
- каждая сделка, закрытая до этого момента, поле за полем.
Сравниваются именно решения, а не только сделки, и это не случайно. Классическое заглядывание в будущее — решение по закрытию бара до того, как бар закрылся, — меняет решение, принятое прямо перед моментом, а торгует это решение уже после него. Проверка, сравнивающая только сделки, его бы не увидела.
Проверка проходит по всем 32 индикаторам каталога, пяти шаблонам, сетке и мартингейлу, стратегии с управляемыми выходами и фильтром по времени суток и стратегии, читающей другой рынок, — в восьми вариантах прогона: обычном; с прогревом на 100 предшествующих часах; с фандингом; на плече 20× при трёхступенчатой таблице маржи; на рендж-барах в процентах и в шагах цены; на 15-минутных свечах при решениях по часовым; и в прежней модели исполнения по закрытию сигнального бара. Всего 500 прогонов, в которых до точек разреза совпали 83 751 решение, 57 681 бар и 11 587 сделок. Кроме того, один и тот же вход дважды должен давать один и тот же результат.
Проверка ничего не нашла: ни одно решение движка не видит ничего после закрытия своего бара. Чтобы убедиться, что она увидела бы, мы подложили самое мелкое подглядывание, какое смогли придумать, — объём каждого бара заменён объёмом следующего — и запустили её. Она упала на относительном объёме, на решении, принятом на баре прямо перед разрезом.
Второй симулятор
Симулятор движка рос с каждым правилом, добавленным аудитом: бар, пройденный в обе стороны, гэпы, лимитные ордера, лестницы, ликвидация по таблице маржи рынка, фандинг. Его тесты проверяют каждое правило на написанных для него примерах; они не могут сказать, складываются ли правила так, как описано, когда всё происходит одновременно.
Поэтому правила теперь записаны второй раз, настолько просто, насколько это возможно, — одна позиция, один лимитный ордер, одна лестница и на каждом отрезке бара список того, что цена может там встретить, — в тесте, который знает движок только через его публичные вызовы. Затем через оба проходят 4000 случайных сценариев. У счетов комиссии от 0 до 10 б. п., проскальзывание до 10 б. п., плечо от 1× до 50×, плоская или трёхступенчатая таблица маржи и лимитные ордера с ограниченным сроком. На рынках есть гэпы, бары без движения и длинные тени, а фандинг списывается и на открытиях баров, и внутри них. Решения случайные: рыночные и post-only входы в обе стороны, развороты, управляемые выходы, сетки и мартингейлы, размеры вплоть до того, что счёт может нести, и больше.
Оба должны совпасть до последней цифры по каждому полю каждой сделки, по самому низкому, самому высокому и закрывающему капиталу каждого бара, по просадке и по каждому счётчику: сигналам, исполнениям, истёкшим ордерам, отклонениям, пропущенным и отказанным входам.
Они совпадают на всех 4000. Единственные расхождения по пути были в 28-й значащей цифре: второй симулятор складывал те же числа в другом порядке. Теперь он складывает их так же, как движок: баланс — это стартовый капитал плюс чистый результат.
Как и с первой проверкой, мы убедились, что эта может упасть. Четыре ошибки, по одной подложенные в движок:
| Подложенная ошибка | Поймана на |
|---|---|
| Post-only покупка ровно по цене аска принята, а не отклонена | 3-м сценарии |
| Выплата фандинга счёту сохранена на баре, который закрыл позицию | 3-м сценарии |
| Ничья между двумя путями бара разрешена в другую сторону | 15-м сценарии |
| Оставшиеся ордера лестницы продолжают стоять после закрытия её позиции | 3-м сценарии |
Что это доказывает и чего нет
Две проверки показывают, что движок делает то, что говорят его правила, и никогда не читает будущее. Они не могут показать, что правила совпадают с правилами биржи: два симулятора, написанные по одному описанию, совпадают друг с другом, а не с Binance. Это сравнение сделали первые три части — правило за правилом, по документации самих бирж, — и оно оставляет приближения, каждое из которых оговорено там, где применяется:
- стопы и тейки срабатывают по биду или аску, построенным в половине спреда от цен бара, а не по последней сделке или маркировочной цене;
- ликвидация считается по середине спреда, тогда как биржа использует маркировочную цену;
- у свечи нет стакана, поэтому рыночный ордер исполняется по лучшей цене плюс проскальзывание прогона, какого бы размера он ни был.
Как устроены обе проверки и как запустить первую на своей стратегии: Как тестируется бэктест Metrand.