Статьи ·

Аудит бэктеста, часть 4: проверка самого бэктеста

Аудит бэктеста, часть 4: ничего из будущего и два симулятора, совпавшие на 4000 сценариев

Часть 1 исправила то, как движок торгует, часть 2 — то, что он получает на вход, часть 3 — то, как читаются его результаты. Каждое исправление пришло со своими тестами. Эта часть добавляет две проверки, которые не ищут какую-то одну ошибку: они держат весь движок под двумя свойствами и выполняются при каждом его изменении.

Ничего из будущего

Бэктест честен, только если на каждом баре стратегия знает то, что к этому моменту знал бы живой запуск, и ничего больше. Подглядывание может прийти откуда угодно: индикатор, посчитанный по всему ряду сразу, рендж-бар с меткой времени раньше его закрытия, ставка фандинга, применённая до публикации, бар другого рынка, прочитанный до закрытия, настройка, выведенная из всех свечей разом.

Поэтому проверка не разбирает каждую из этих возможностей. Она прогоняет стратегию, затем прогоняет её ещё раз, заменив всё после случайного момента другим будущим — свечи, более мелкие свечи внутри них, свечи другого рынка и ставки фандинга, — и требует, чтобы всё до этого момента осталось ровно таким же:

Два прогона одной стратегии: совпадают до момента T, после него — другое будущее. До T каждое решение, капитал на каждом баре и каждая закрытая сделка должны совпасть
Всё до T не должно меняться, когда меняется всё после.

Сравниваются именно решения, а не только сделки, и это не случайно. Классическое заглядывание в будущее — решение по закрытию бара до того, как бар закрылся, — меняет решение, принятое прямо перед моментом, а торгует это решение уже после него. Проверка, сравнивающая только сделки, его бы не увидела.

Свечи с k−3 по k+1. Решение на закрытии бара k−1, в момент T, читает закрытие бара k; сделка по нему начинается на открытии бара k, после T
Подглядывание меняет решение до T, а сделка по нему начинается после T.

Проверка проходит по всем 32 индикаторам каталога, пяти шаблонам, сетке и мартингейлу, стратегии с управляемыми выходами и фильтром по времени суток и стратегии, читающей другой рынок, — в восьми вариантах прогона: обычном; с прогревом на 100 предшествующих часах; с фандингом; на плече 20× при трёхступенчатой таблице маржи; на рендж-барах в процентах и в шагах цены; на 15-минутных свечах при решениях по часовым; и в прежней модели исполнения по закрытию сигнального бара. Всего 500 прогонов, в которых до точек разреза совпали 83 751 решение, 57 681 бар и 11 587 сделок. Кроме того, один и тот же вход дважды должен давать один и тот же результат.

Проверка ничего не нашла: ни одно решение движка не видит ничего после закрытия своего бара. Чтобы убедиться, что она увидела бы, мы подложили самое мелкое подглядывание, какое смогли придумать, — объём каждого бара заменён объёмом следующего — и запустили её. Она упала на относительном объёме, на решении, принятом на баре прямо перед разрезом.

Второй симулятор

Симулятор движка рос с каждым правилом, добавленным аудитом: бар, пройденный в обе стороны, гэпы, лимитные ордера, лестницы, ликвидация по таблице маржи рынка, фандинг. Его тесты проверяют каждое правило на написанных для него примерах; они не могут сказать, складываются ли правила так, как описано, когда всё происходит одновременно.

Поэтому правила теперь записаны второй раз, настолько просто, насколько это возможно, — одна позиция, один лимитный ордер, одна лестница и на каждом отрезке бара список того, что цена может там встретить, — в тесте, который знает движок только через его публичные вызовы. Затем через оба проходят 4000 случайных сценариев. У счетов комиссии от 0 до 10 б. п., проскальзывание до 10 б. п., плечо от 1× до 50×, плоская или трёхступенчатая таблица маржи и лимитные ордера с ограниченным сроком. На рынках есть гэпы, бары без движения и длинные тени, а фандинг списывается и на открытиях баров, и внутри них. Решения случайные: рыночные и post-only входы в обе стороны, развороты, управляемые выходы, сетки и мартингейлы, размеры вплоть до того, что счёт может нести, и больше.

Оба должны совпасть до последней цифры по каждому полю каждой сделки, по самому низкому, самому высокому и закрывающему капиталу каждого бара, по просадке и по каждому счётчику: сигналам, исполнениям, истёкшим ордерам, отклонениям, пропущенным и отказанным входам.

Что встретилось в 4000 сценариях: 39 529 стоп-лоссов, 18 366 мейкерских входов, 16 088 тейк-профитов, 13 690 управляемых выходов, 10 917 позиций лестниц, 10 351 свеча, решённая худшим путём, 8661 истёкший ордер, 8090 сделок с фандингом, 6469 отклонённых post-only, 5122 входа сверх лимита позиции, 665 ликвидаций и 598 позиций, закрытых в конце данных
Всё это оба рассчитали одинаково.

Они совпадают на всех 4000. Единственные расхождения по пути были в 28-й значащей цифре: второй симулятор складывал те же числа в другом порядке. Теперь он складывает их так же, как движок: баланс — это стартовый капитал плюс чистый результат.

Как и с первой проверкой, мы убедились, что эта может упасть. Четыре ошибки, по одной подложенные в движок:

Подложенная ошибка Поймана на
Post-only покупка ровно по цене аска принята, а не отклонена 3-м сценарии
Выплата фандинга счёту сохранена на баре, который закрыл позицию 3-м сценарии
Ничья между двумя путями бара разрешена в другую сторону 15-м сценарии
Оставшиеся ордера лестницы продолжают стоять после закрытия её позиции 3-м сценарии

Что это доказывает и чего нет

Две проверки показывают, что движок делает то, что говорят его правила, и никогда не читает будущее. Они не могут показать, что правила совпадают с правилами биржи: два симулятора, написанные по одному описанию, совпадают друг с другом, а не с Binance. Это сравнение сделали первые три части — правило за правилом, по документации самих бирж, — и оно оставляет приближения, каждое из которых оговорено там, где применяется:

Как устроены обе проверки и как запустить первую на своей стратегии: Как тестируется бэктест Metrand.

Аудит, все четыре части